基于Zeromq的分布式存儲(chǔ)系統(tǒng)設(shè)計(jì).pdf

1、隨著云存儲(chǔ)、云計(jì)算技術(shù)的快速發(fā)展，數(shù)據(jù)的存儲(chǔ)、索引、搜索已經(jīng)成為互聯(lián)網(wǎng)數(shù)據(jù)管理中心的一個(gè)重要技術(shù)瓶頸，這是因?yàn)楝F(xiàn)行互聯(lián)網(wǎng)數(shù)據(jù)都是海量的，而基于ACID理論的關(guān)系數(shù)據(jù)庫很難滿足現(xiàn)行數(shù)據(jù)管理的需求。因此，分布式存儲(chǔ)成為當(dāng)前互聯(lián)網(wǎng)世界數(shù)據(jù)存儲(chǔ)及管理的基本方式。
　　雖然分布式系統(tǒng)能夠適應(yīng)快速的橫向擴(kuò)張，但各個(gè)系統(tǒng)之間的交互變得越來越復(fù)雜，各數(shù)據(jù)結(jié)點(diǎn)間的數(shù)據(jù)遷移，結(jié)點(diǎn)的探測與發(fā)現(xiàn)，結(jié)點(diǎn)的恢復(fù)與備份導(dǎo)致整個(gè)系統(tǒng)消息傳遞十分龐大，因此，優(yōu)秀的

2、消息機(jī)制是分布式系統(tǒng)實(shí)現(xiàn)中的關(guān)鍵因素。
　　本系統(tǒng)在對(duì)比現(xiàn)行分布式消息機(jī)制的基礎(chǔ)上，選用輕量級(jí)ZEROMQ為本系統(tǒng)實(shí)現(xiàn)的基礎(chǔ)，提出分布式存儲(chǔ)系統(tǒng)的架構(gòu)方案、設(shè)計(jì)方案、部署策略。在具體實(shí)現(xiàn)上，整個(gè)系統(tǒng)包括三個(gè)重要部分:collector信息收集、broker信息分發(fā)與策略制定以及DB數(shù)據(jù)存儲(chǔ)。使用ZEROMQ的Routor/Delear方式來處理數(shù)據(jù)，通過組播方式探測鄰近集群以及集群內(nèi)主機(jī)的性能信息，根據(jù)各部分負(fù)載情況來實(shí)現(xiàn)負(fù)載均衡