基于HBase的小文件存儲系統(tǒng)的研究及實現(xiàn).pdf

1、如今，信息社會已進入云計算時代，數(shù)據的生產速度越來越快，一些企業(yè)和組織機構積累的數(shù)據量也越來越龐大，海量數(shù)據的處理和應用已成為當今信息技術領域所面臨的巨大難題。Hadoop作為處理海量數(shù)據的一大利器，是當前云計算技術中最熱門的話題之一，而與Hadoop同一陣營的HBase則為海量數(shù)據的實時讀寫提供了一套解決方案。HBase是Apache Hadoop生態(tài)圈的重要組成部分，通常使用Hadoop文件系統(tǒng)(HDFS)作為其底層的存儲平臺，是一

2、個高可靠性，高性能，面向列且伸縮性強的分布式非關系數(shù)據庫。HBase在起初設計時忽略了許多SQL操作并著重加強了對系統(tǒng)高性能、高容量、高可靠性和可伸縮性等特性的開發(fā)，已成為現(xiàn)今最流行的NoSQL數(shù)據庫之一。
　　本文首先從當前形勢出發(fā)，探討了當前云計算時代的熱點問題，歸納總結出云計算的概念和技術體系結構，理清了當前技術變革的原因、動力和方向。然后，通過對Hadoop兩個核心組件和NoSQL理論的研究和介紹，詳細的說明了當前業(yè)界用以

3、處理海量數(shù)據的最先進的分布式系統(tǒng)的設計思想和架構技術，闡述了HBase誕生的技術基礎和理論基礎。隨后詳細的闡述了HBase系統(tǒng)的設計原理和它的內部構造，并進一步對其訪問流程作深入的探究。在此基礎上，本文提出優(yōu)化HBase系統(tǒng)的思路和出發(fā)點，并給出了在實踐操作中總結出的幾個簡單有效地的優(yōu)化方法。
　　本文在實驗部分提出并實施了基于HBase的小文件系統(tǒng)的設計方案。在HBase表結構設計上，使用了簡單的二級索引技術。對于實驗系統(tǒng)的上傳