基于Hadoop的HDFS性能優(yōu)化方法的研究與改進.pdf

1、HDFS作為云計算平臺Hadoop的文件存儲系統(tǒng)，其集群能部署在廉價的服務(wù)器上、降低企業(yè)或機構(gòu)的運營成本，而且具有高可靠性、高性能、廉價、可橫向擴展等特性，國內(nèi)外的互聯(lián)網(wǎng)公司甚至傳統(tǒng)行業(yè)都紛紛選擇Hadoop作為數(shù)據(jù)處理的架構(gòu)平臺。HDFS可以橫向擴展添加節(jié)點服務(wù)器，因其節(jié)點的高擴展性，理論上講可以為企業(yè)處理任何積級別的數(shù)據(jù)，而且因內(nèi)部的存儲機制，HDFS還具有良好的文件備份以及數(shù)據(jù)容錯等功能。以上種種特性，讓HDFS在眾多數(shù)據(jù)存儲平臺

2、脫穎而出。
　　自從Hadoop問世以來，在大數(shù)據(jù)的存儲和處理中都占據(jù)著重要地位。然而，Hadoop的HDFS系統(tǒng)因其自身結(jié)構(gòu)和平臺的局限性，存在著單點失效、海量小文件存儲等問題。這些問題的存在，使得銀行數(shù)據(jù)的安全性，淘寶高峰時用戶的訪問都難以得到保證，所以能否解決以上HDFS存在的問題，是Hadoop是否能進一步向前發(fā)展與完善的關(guān)鍵。論文主要是針對HDFS的小文件存儲和Namenode單節(jié)點失效的問題做的優(yōu)化工作。在小文件存儲的

3、問題上，在原來的HDFS系統(tǒng)基礎(chǔ)上，增加了一個元數(shù)據(jù)服務(wù)器，使小文件的元數(shù)據(jù)存儲在該服務(wù)器上，達到減輕主節(jié)點內(nèi)存壓力的目的。在單點失效的問題上，介紹了如今常見的分布式存儲系統(tǒng)單點失效問題的解決方案，對這些解決方案進行詳細的研究后，提出了自己的單點解決機制，這種機制可以自動切換Namenode節(jié)點，支持二次故障，并且在切換節(jié)點和發(fā)生故障后能夠保持數(shù)據(jù)的完整性。
　　最后通過搭建Hadoop集群驗證了小文件存儲優(yōu)化方案在一定程度上減緩