云存儲系統(tǒng)中數(shù)據冗余存儲策略的研究.pdf

1、云計算是一種具有高適應性的分布式計算。它的主要目的是將海量數(shù)據的計算任務拆分成多個規(guī)模較小的子任務，通過深度定制的網絡控制，將子任務交付于服務器集群進行實際運算，最終通過網絡傳輸將計算結果返回給用戶。云計算在發(fā)展中融合了虛擬化、負載均衡、網絡存儲、軟件定義網絡等技術，從而能夠將用戶對海量數(shù)據的計算和處理高效交付至大規(guī)模數(shù)據中心，實現(xiàn)了軟硬件資源的高效整合和集中管理。
　　云存儲是伴隨著云計算概念的發(fā)展而產生的。它需要支撐起云計算龐

2、大的數(shù)據存儲總量，并提供高可靠性高可用性的存儲服務。Hadoop是一個由Apache基金組支持與維護的開源云計算項目。在眾多的云計算框架中，由于Hadoop在不斷發(fā)展下所展示的高擴展性、高可靠性和高可用性，逐漸成為了一種重要而突出的云計算框架。Hadoop的底層分布式文件系統(tǒng)（HDFS，Hadoop Distributed File System）則因Hadoop取得的成功，成為了云存儲研究中的一個顯著熱點。
　　本文針對于HDF

3、S中的冗余數(shù)據存儲方案，分析了其數(shù)據流中存在的兩個主要問題：數(shù)據傾斜和隨機訪問。數(shù)據傾斜會使得靜態(tài)數(shù)據冗余方案性能下降并造成存儲資源浪費。而隨機訪問的發(fā)生則會顯著地影響數(shù)據冗余方案的性能。在對這兩大問題的深入探究后，本文提出了新的數(shù)據存儲方案動態(tài)冗余異構存儲系統(tǒng)（DHS，Dynamic Heterogeneous Storage system）。DHS在設計上，一方面結合了兩種不同的主流數(shù)據冗余技術，另一方面引入了混合存儲架構。本文工作

4、的創(chuàng)新性體現(xiàn)在以下三個方面：首先同現(xiàn)有的存儲改進方案不同，DHS根據歷史訪問記錄提出了訪問負載的概念并通過統(tǒng)計分析進行預測；其次DHS采用了全新的反饋存儲調節(jié)機制，適應訪問需求制定存儲方案；最后DHS詳盡考量了普通磁盤上的訪問流，制定了混合存儲以及競爭緩解機制，提升磁盤組整體性能。DHS能夠在保證原始HDFS方案數(shù)據的高可靠性的前提下，改善其存儲的服務性能，在整體上節(jié)約存儲開銷，從而提供高性價比的數(shù)據存儲方案。本文將在對HDFS的深入剖