分布式存儲系統(tǒng)中的資源定位與數(shù)據(jù)存儲技術(shù)研究.pdf

1、在計算機網(wǎng)絡(luò)中存在著大量空閑的存儲資源，例如臺式機、服務(wù)器、工作站等，雖然這些節(jié)點的計算與存儲能力各異，但都可以向其他節(jié)點提供一定的共享存儲空間，并且這些節(jié)點也可能成為共享資源的訪問者。分布式存儲系統(tǒng)為了有效組織這些節(jié)點，并合理利用節(jié)點的資源，需要考慮節(jié)點異構(gòu)性與連接異構(gòu)性。
　　 節(jié)點異構(gòu)性是指節(jié)點的存儲能力各異，存儲空間多的節(jié)點應(yīng)當適當分擔更多的負載，并且數(shù)據(jù)存儲策略應(yīng)當考慮到節(jié)點的負載狀況，并動態(tài)判斷和選擇合適的節(jié)點存儲。

2、連接異構(gòu)性是指節(jié)點之間的連接耗費不同，同一實驗室中的兩個節(jié)點傳輸數(shù)據(jù)比起不同城市之間的兩個節(jié)點傳輸數(shù)據(jù)要更加快速，因此在存儲系統(tǒng)中對數(shù)據(jù)訪問時，應(yīng)盡量避免通過高耗費的連接進行，優(yōu)先在本地相近節(jié)點中訪問數(shù)據(jù)。
　　 本文針對上述問題，基于結(jié)構(gòu)化P2P系統(tǒng)中DHT技術(shù)所提供的資源定位功能，設(shè)計一個分布式存儲系統(tǒng)，向用戶提供面向文件的存儲與讀取服務(wù)。該存儲系統(tǒng)所基于的DHT協(xié)議Cycord，利用CCC圖的拓撲特征對節(jié)點進行組織，首先將

3、節(jié)點組成本地圈再將本地圈連接在一起，以方便區(qū)分節(jié)點之間低耗費的本地連接與高耗費的遠程連接。利用此特性，在DHT路由協(xié)議、關(guān)鍵字分配的動態(tài)負載均衡、文件裂片存儲位置選擇的動態(tài)負載均衡、文件裂片索引冗余存儲等方面都盡量減少通過遠程連接的數(shù)據(jù)傳輸，提高網(wǎng)絡(luò)資源的利用效率。
　　 本文的主要貢獻有：
　　 (1)基于CCC圖和DHT協(xié)議，設(shè)計了一個新的資源定位協(xié)議Cycord。理論與實驗數(shù)據(jù)的分析比較說明，在條件2L＜λ*(lo

4、g2m)滿足時，Cycord比Chord具有更低的查詢耗費。進一步對Cycord協(xié)議查詢產(chǎn)生的本地跳進行優(yōu)化，以適當擴大路由表規(guī)模的代價，進一步提升Cycord查詢效率。針對Cycord中關(guān)鍵字在節(jié)點間均衡分配的問題，提出了一種Cycord本地動態(tài)均衡策略，達到關(guān)鍵字在節(jié)點間遷移的目的。
　　 (2)在Cycord協(xié)議所提供的資源定位功能的基礎(chǔ)上，設(shè)計了一個面向文件存儲與讀取的分布式存儲系統(tǒng)。該系統(tǒng)通過一定的負載均衡策略、數(shù)據(jù)冗