云存儲系統(tǒng)中數據分布研究.pdf

1、密級碩士學位論文題目題目云存儲系統(tǒng)中數據分布研究(英文英文)ResearchonDataDistributioninCloudStageSystem研究生學號:1402201054研究生姓名:康文杰指導教師姓名、職稱指導教師姓名、職稱:王勇（教授）申請學位門類:工學碩士學科、?？?、專業(yè):信息與通信工程論文答辯日期:2017年6月摘要I摘要隨著社交網絡及物聯網的快速發(fā)展，個體及社會應用產生的數據呈指數增長，海量數據的存儲需求日益強烈。傳統(tǒng)

2、的存儲模式無法應對海量數據存儲需求的容量可擴展性、數據可靠性以及高性能，云存儲系統(tǒng)在這種背景下應運而生。云存儲系統(tǒng)采用分布式文件系統(tǒng)等技術將不同的存儲設備通過網絡連接的方式匯集成一個資源池，統(tǒng)一提供存儲服務，具有高可擴展性、高可靠性等優(yōu)點?，F有的面向云存儲的分布式文件系統(tǒng)有很多種，Ceph分布式文件系統(tǒng)以其開源性、提供統(tǒng)一存儲能力的特點在企業(yè)和科研領域得到廣泛關注。數據分布策略是分布式文件系統(tǒng)中關鍵技術，其決定了數據存儲位置以及系統(tǒng)的負

3、載均衡和容錯性。CRUSH算法是Ceph分布式文件系統(tǒng)中的偽隨機數據分布算法，可以在異構的大規(guī)模層級結構化存儲集群中高效地分布數據對象及其副本。然而，CRUSH算法在存儲節(jié)點負載均衡的設計上存在不足，并沒有把底層網絡狀況和節(jié)點負載考慮在內，當存儲節(jié)點的網絡情況惡化后比如集群內部進行數據遷移會占用大量的網絡帶寬而目前系統(tǒng)中數據選擇存儲位置僅僅是以節(jié)點的存儲容量作為權重因子，這使得集群的性能明顯下降，降低系統(tǒng)的讀寫性能。因此，在CRUSH算

4、法中加入網絡狀態(tài)和節(jié)點負載的測量對提高負載均衡性具有非常重要的作用。傳統(tǒng)的網絡架構中，獲取網絡狀態(tài)需要繁瑣的配置和大量的測量開銷，軟件定義網絡作為新型網絡架構采用控制平面和數據平面相分離，通過集中化的控制平面，SDN簡化了網絡測量和管理并提供靈活、高效的維護策略，因此論文采用SDN技術完成對網絡和節(jié)點負載的監(jiān)測。改進后的CRUSH算法結合SDN技術能綜合考慮網絡和主機負載信息，設計出合理的數據分布策略。論文的主要創(chuàng)新性工作總結如下：(1

5、)針對CRUSH算法中權重因子只以存儲容量作為約束條件導致的存儲節(jié)點負載不均衡問題，提出改進的CRUSH算法，在節(jié)點權重因子中添加網絡狀態(tài)和負載的因素，權重因子的確定具有更細的粒度。(2)在獲取節(jié)點網絡狀態(tài)和負載狀態(tài)問題上，設計軟件定義網絡和Ceph分布式文件系統(tǒng)結合的架構，通過對SDN控制器進行應用開發(fā)，提出主被動相結合的測量方式分別測量存儲節(jié)點網絡狀態(tài)和負載狀態(tài)。論文通過大量的實驗對提出的解決方案進行測試，測試結果表明設計的SDN監(jiān)