Hama圖并行計算框架中任務槽模型及其對作業(yè)調度性能的影響.pdf

1、如今Hadoop平臺及其相關技術已經(jīng)滲透到眾多領域當中并得到廣泛使用，已經(jīng)成為大數(shù)據(jù)的代名詞。經(jīng)過幾年的迅猛發(fā)展，Hadoop平臺及其相關技術實際上已經(jīng)成為企業(yè)大數(shù)據(jù)計算的標準，它的核心Map-Reduce計算框架在大規(guī)模并行處理計算方面更是發(fā)揮了巨大作用。雖然表現(xiàn)得如此優(yōu)秀，但是Hadoop仍有其不足之處，尤其是其不能適應圖并行計算。Hama的出現(xiàn)可以彌補Hadoop的不足，它不僅實現(xiàn)了類似Hadoop的并行計算，而且在圖計算方面更是

2、發(fā)揮了其特色。
　　但由于目前Hama仍處于開發(fā)之中，很多功能還不是很完善，還不能投入到實際應用當中。同時Hama又是一個可進行二次開發(fā)的圖并行計算框架，在實際應用中可根據(jù)需求設計合適的作業(yè)調度器。如Hadoop中的公平調度器和能力調度器，就是在實際生產中不斷形成的兩種優(yōu)秀的作業(yè)調度器。所以可以借鑒Hadoop中兩種作業(yè)調度器的設計思想，同時為了滿足實際應用，用戶可以設計出自己的Hama圖計算作業(yè)調度器。
　　在本文中，將先

3、對Hadoop平臺及其生態(tài)系統(tǒng)作簡要介紹，以了解Hadoop的數(shù)據(jù)處理方式，這些內容主要包括分布式文件系統(tǒng)HDFS以及Map-Reduce并行計算框架這兩大塊。同時，將重點介紹Hadoop現(xiàn)有的三種流行作業(yè)調度算法，這些算法的設計思想為本文的算法設計提供了思路及參考。接著，將通過BSP并行計算模型展開對Hama的學習，重點了解其超步計算的原理。結合它的功能結構了解各個節(jié)點的功能及作用，并通過分析Hama源碼，從更深層次了解Hama的作業(yè)