基于Hadoop作業(yè)內(nèi)計(jì)算任務(wù)調(diào)度優(yōu)化的研究.pdf

1、隨著信息科學(xué)技術(shù)的快速發(fā)展，互聯(lián)網(wǎng)與社會各個(gè)方面的結(jié)合越來越緊密。互聯(lián)網(wǎng)所產(chǎn)生的信息數(shù)據(jù)也以指數(shù)級的速度飛速增長。面對海量的信息數(shù)據(jù)，傳統(tǒng)的計(jì)算模式已經(jīng)顯得力不從心。云計(jì)算作為傳統(tǒng)計(jì)算模式與網(wǎng)絡(luò)技術(shù)融合的產(chǎn)物，能夠?qū)⒂?jì)算分布在大量的機(jī)器上，從而高效的對海量數(shù)據(jù)進(jìn)行處理。Hadoop作為一個(gè)能夠高效的處理大規(guī)模數(shù)據(jù)集的分布式計(jì)算框架，現(xiàn)已被越來越多的機(jī)構(gòu)作為基礎(chǔ)計(jì)算框架來構(gòu)建云計(jì)算平臺。如何提升其執(zhí)行效率是業(yè)界的一個(gè)熱門研究方向，調(diào)度問題

2、作為影響Hadoop執(zhí)行效率的一個(gè)關(guān)鍵因素，發(fā)現(xiàn)其不足之處并加以改進(jìn)是非常具有意義的。
　　通過對現(xiàn)有的改進(jìn)后的Hadoop調(diào)度算法進(jìn)行調(diào)研可以發(fā)現(xiàn)，大多數(shù)優(yōu)化算法集中在如何對多個(gè)作業(yè)進(jìn)行合理調(diào)度也即作業(yè)間的調(diào)度研究，而對作業(yè)內(nèi)部的計(jì)算任務(wù)調(diào)度研究甚少。此外，對異構(gòu)集群節(jié)點(diǎn)間的計(jì)算能力差異性也沒有充分考慮，或只是根據(jù)機(jī)器配置來設(shè)置一個(gè)理論值，與現(xiàn)實(shí)存在脫節(jié)。本文主要針對Hadoop作業(yè)內(nèi)的計(jì)算任務(wù)調(diào)度問題進(jìn)行研究，主要工作包括：<

3、br>　　一、對課題的背景知識以及調(diào)度過程中涉及到的Hadoop組件進(jìn)行了介紹。分析了Hadoop默認(rèn)使用的任務(wù)調(diào)度算法所存在的不足以及任務(wù)調(diào)度過程中有關(guān)的類及方法的作用。在借鑒了現(xiàn)階段一些改進(jìn)后調(diào)度算法的主要思想、設(shè)計(jì)思路、優(yōu)點(diǎn)以及不足的基礎(chǔ)上，提出了基于 Hdoop作業(yè)內(nèi)的數(shù)據(jù)本地化任務(wù)調(diào)度算法。該算法能夠根據(jù)節(jié)點(diǎn)的真實(shí)計(jì)算性能以及當(dāng)前節(jié)點(diǎn)所存儲的還未被處理的數(shù)據(jù)塊數(shù)目來計(jì)算出該節(jié)點(diǎn)的數(shù)據(jù)本地化飽和程度并依此進(jìn)行計(jì)算任務(wù)調(diào)度。在傳統(tǒng)

4、的任務(wù)調(diào)度過程中，節(jié)點(diǎn)所存儲的數(shù)據(jù)塊沒有做區(qū)分，每次調(diào)度時(shí)都是隨機(jī)選取數(shù)據(jù)塊。本文引入了數(shù)據(jù)塊標(biāo)記值這個(gè)概念，在調(diào)度過程中對每個(gè)數(shù)據(jù)塊進(jìn)行標(biāo)記，并按標(biāo)記值大小進(jìn)行調(diào)度。本文提出的算法可以提高作業(yè)內(nèi)計(jì)算任務(wù)調(diào)度效率，能夠結(jié)合其它多作業(yè)調(diào)度算法進(jìn)一步提高Hadoop平臺執(zhí)行效率，并且在異構(gòu)集群下也能很好工作。
　　二、搭建了一個(gè)異構(gòu)的Hadoop集群作為實(shí)驗(yàn)環(huán)境，對上述優(yōu)化后的任務(wù)調(diào)度算法以及默認(rèn)的任務(wù)調(diào)度算法進(jìn)行了實(shí)驗(yàn)驗(yàn)證，并對實(shí)驗(yàn)