基于Zeromq的分布式存儲系統(tǒng)設(shè)計.pdf

1、隨著云存儲、云計算技術(shù)的快速發(fā)展，數(shù)據(jù)的存儲、索引、搜索已經(jīng)成為互聯(lián)網(wǎng)數(shù)據(jù)管理中心的一個重要技術(shù)瓶頸，這是因為現(xiàn)行互聯(lián)網(wǎng)數(shù)據(jù)都是海量的，而基于ACID理論的關(guān)系數(shù)據(jù)庫很難滿足現(xiàn)行數(shù)據(jù)管理的需求。因此，分布式存儲成為當(dāng)前互聯(lián)網(wǎng)世界數(shù)據(jù)存儲及管理的基本方式。
　　雖然分布式系統(tǒng)能夠適應(yīng)快速的橫向擴(kuò)張，但各個系統(tǒng)之間的交互變得越來越復(fù)雜，各數(shù)據(jù)結(jié)點(diǎn)間的數(shù)據(jù)遷移，結(jié)點(diǎn)的探測與發(fā)現(xiàn)，結(jié)點(diǎn)的恢復(fù)與備份導(dǎo)致整個系統(tǒng)消息傳遞十分龐大，因此，優(yōu)秀的

2、消息機(jī)制是分布式系統(tǒng)實現(xiàn)中的關(guān)鍵因素。
　　本系統(tǒng)在對比現(xiàn)行分布式消息機(jī)制的基礎(chǔ)上，選用輕量級ZEROMQ為本系統(tǒng)實現(xiàn)的基礎(chǔ)，提出分布式存儲系統(tǒng)的架構(gòu)方案、設(shè)計方案、部署策略。在具體實現(xiàn)上，整個系統(tǒng)包括三個重要部分:collector信息收集、broker信息分發(fā)與策略制定以及DB數(shù)據(jù)存儲。使用ZEROMQ的Routor/Delear方式來處理數(shù)據(jù)，通過組播方式探測鄰近集群以及集群內(nèi)主機(jī)的性能信息，根據(jù)各部分負(fù)載情況來實現(xiàn)負(fù)載均衡