基于Hadoop的分布式計算系統(tǒng)的設計與實現.pdf

1、本文對如何快速處理大量數據進行了研究，目的是構造一個規(guī)模小，成本低、性能高、風險小的分布式計算系統(tǒng)。將分布式計算與并行計算融合在一起，面向Windows開發(fā)，運行在小型、安全的局域網內，快速處理大量數據，解決傳統(tǒng)計算框架不利于擴展，單臺設備的計算瓶頸問題。
　　本文在研究Hadoop框架的基礎上提出了構建本系統(tǒng)的兩大服務:分布式存儲服務和分布式計算服務。系統(tǒng)采用三層架構設計來支撐整個集群的運行，Master負責全局信息掌控，Job

2、負責調度任務，Task負責數據存儲和計算。支持用戶上傳自定義格式的數據，不對原數據進行二次切分，可支持某些特定原生數據類型的計算。開放算法API，并對傳統(tǒng)MapReduce框架作了擴展，計算時可攜帶其它數據源，方便數據交互處理。Reduce過程本地化，節(jié)省Map中間數據的網絡傳送時間。通過調度服務的合并接口匯總最終計算結果，將計算壓力分散，充分利用集群內機器。采取添加動態(tài)鏈接庫(DLL文件)的形式支持用戶嵌入自定義算法，算法預先存儲在T

3、ask節(jié)點，節(jié)省啟動時間。默認集群內計算機具有一定的可靠性，簡化容災設計。在計算時對硬件資源的使用策略是搶占式的，單機在執(zhí)行任務時根據配置文件預加載緩存，加快下一次計算。數據塊數量決定線程數量，在線程安全范圍內開啟多線程，高并發(fā)，充分發(fā)揮CPU性能。最后針對本次實現的分布式計算系統(tǒng)，構造了兩類測試算法:一類是與Hadoop集群作對比的WordCount算法，另一類是體現數據交互操作的圖像比對算法。通過分析測試數據驗證了本系統(tǒng)對小數據量計