分布式視頻流存儲元數(shù)據(jù)服務(wù)器的設(shè)計與實(shí)現(xiàn).pdf

1、近年來公共安全威脅愈發(fā)嚴(yán)峻，將安防監(jiān)控技術(shù)應(yīng)用到公共安全中刻不容緩?，F(xiàn)有安防監(jiān)控領(lǐng)域?qū)?shù)據(jù)的存儲普遍采用普通分布式存儲系統(tǒng)架構(gòu)。然而，這樣的存儲架構(gòu)下，系統(tǒng)使用多副本策略保證數(shù)據(jù)的可靠性，存儲空間利用率低；此外，多數(shù)系統(tǒng)使用輪詢調(diào)度算法調(diào)度存儲節(jié)點(diǎn)，忽略了存儲節(jié)點(diǎn)的負(fù)載均衡性問題，導(dǎo)致節(jié)點(diǎn)性能抖動較大；而且，在數(shù)據(jù)丟失恢復(fù)任務(wù)中，沒有考慮視頻流存儲的有效時長等因素，數(shù)據(jù)恢復(fù)價值較低。本系統(tǒng)將分布式存儲架構(gòu)技術(shù)與安防監(jiān)控行業(yè)相結(jié)合，設(shè)計與

2、實(shí)現(xiàn)了元數(shù)據(jù)服務(wù)器，旨在提高監(jiān)控數(shù)據(jù)的可靠性和系統(tǒng)可擴(kuò)展性，在接入互聯(lián)網(wǎng)的情況下，支持用戶在合法權(quán)限內(nèi)，獲取任意攝像頭的任意時間的數(shù)據(jù)。
　　元數(shù)據(jù)服務(wù)器結(jié)合時間戳策略，設(shè)計了基于糾刪碼的分布式存儲系統(tǒng)和卷式元數(shù)據(jù)管理結(jié)構(gòu)，實(shí)現(xiàn)了對存儲任務(wù)和恢復(fù)任務(wù)的均衡調(diào)度。具體研究內(nèi)容如下：
　　1.設(shè)計和實(shí)現(xiàn)了時間戳策略來維護(hù)存儲系統(tǒng)中不同服務(wù)器之間卷信息元數(shù)據(jù)的一致性。存儲系統(tǒng)中的每個服務(wù)器同時記錄系統(tǒng)中所有卷數(shù)據(jù)的時間戳信息，以元

3、數(shù)據(jù)服務(wù)器上的卷時間戳信息為系統(tǒng)唯一參考標(biāo)準(zhǔn)，判斷其余模塊中卷信息元數(shù)據(jù)的有效性。
　　2.設(shè)計和實(shí)現(xiàn)了以節(jié)點(diǎn)和卷為索引的兩個維度的元數(shù)據(jù)管理結(jié)構(gòu)。元數(shù)據(jù)服務(wù)器維護(hù)每個存儲節(jié)點(diǎn)的系統(tǒng)健康狀態(tài)信息，為任務(wù)的均衡調(diào)度提供參考；同時，記錄每個存儲節(jié)點(diǎn)上數(shù)據(jù)分布情況和卷式數(shù)據(jù)的糾刪碼策略相關(guān)信息，為數(shù)據(jù)丟失后的恢復(fù)任務(wù)提供依據(jù)。同時，支持系統(tǒng)節(jié)點(diǎn)的動態(tài)擴(kuò)展。
　　3.設(shè)計和實(shí)現(xiàn)了基于多目標(biāo)優(yōu)化算法的任務(wù)調(diào)度策略。針對存儲任務(wù)的分發(fā)，

4、目標(biāo)函數(shù)不僅保證節(jié)點(diǎn)的負(fù)載均衡，而且讓不同節(jié)點(diǎn)之間的執(zhí)行任務(wù)數(shù)量差值最??；針對恢復(fù)任務(wù)優(yōu)先級的制定，目標(biāo)函數(shù)優(yōu)先選擇數(shù)據(jù)冗余率低、丟失率高、視頻剩余有效時間長的卷，提高系統(tǒng)的可靠性。
　　通過對分布式視頻流存儲系統(tǒng)進(jìn)行功能和性能測試，元數(shù)據(jù)服務(wù)器達(dá)到了對視頻流數(shù)據(jù)存儲、讀取和恢復(fù)等功能的控制管理需求；另外，存儲任務(wù)和恢復(fù)任務(wù)的調(diào)度策略，不僅降低了存儲節(jié)點(diǎn)的負(fù)載失衡機(jī)率，而且延遲了低效恢復(fù)任務(wù)的執(zhí)行，提高了系統(tǒng)恢復(fù)數(shù)據(jù)的后期使用價值