基于Hadoop的MapReduce計算模型優(yōu)化與應用研究.pdf

1、隨著互聯網的迅速發(fā)展，特別是近年來，突飛猛進的移動互聯網和電子商務的發(fā)展，網絡已經進入了互聯網+時代?！盎ヂ摼W+”時代具有如下特點：大規(guī)模數據集，多終端等。企業(yè)建立一套IT系統(tǒng)不僅需要購買硬件等基礎設施，還需要專人維護。當企業(yè)的規(guī)模擴大時還要繼續(xù)升級各種軟硬件設施以滿足需要，傳統(tǒng)數據處理方法存在數據存儲成本過高、數據管理效率低、可靠性較低、并行處理程序編寫復雜等不足。尤其是對于中小企業(yè)，計算機等硬件和軟件本身并非所需，提高計算和存儲效率

2、才是其真正的期盼。
　　云計算通過整合服務器集群中的閑散資源，為大數據分布式存儲、并行計算等提供了一個有效解決方案。Hadoop以其開源、可伸縮與低成本等優(yōu)勢，已成為一種主流的云計算平臺。但是，在某些應用場景，Hadoop也存在一定的缺陷。例如MapReduce的Mapper會產生大量中間結果，而這時的Reducer并沒有被調用來合并這些中間結果，增加了網絡傳輸大量中間結果的負擔以及造成 Reducer的閑置，總體上降低了MapR

3、educe的效率。
　　本文通過對MapReduce計算模型的工作原理、運行機制和容錯機制的研究，提出了一種MapReduce計算模型優(yōu)化方案。即在Yarn框架中，使用MPI技術實現Reducer與Mapper并行處理中間結果。通過實驗可知，本方法提升了MapReduce計算效率，降低了計算與存儲的耦合性。另外，通過應用實例——重點污染物排放量測算系統(tǒng)，在不改變該系統(tǒng)的基礎上，利用Sqoop數據遷移技術，結合優(yōu)化后的MapRedu