基于SLA的MapReduce調(diào)度機制研究.pdf

1、MapReduce作為一種有效的數(shù)據(jù)分析和處理解決方案已被廣泛應(yīng)用于大規(guī)模數(shù)據(jù)處理領(lǐng)域。隨著MapReduce應(yīng)用的擴大，越來越多的服務(wù)提供商對外提供MapReduce商業(yè)服務(wù)。服務(wù)提供商通過運行MapReduce作業(yè)實現(xiàn)一系列業(yè)務(wù)邏輯，最終將數(shù)據(jù)分析和處理結(jié)果返回給用戶。為保證雙方權(quán)益，用戶與服務(wù)提供商之間簽訂服務(wù)水平協(xié)議(SLA)，服務(wù)提供商必須遵循SLA，滿足作業(yè)響應(yīng)時間等性能需求，否則可能收到違約處罰。因此，如何有效的進行作業(yè)及

2、任務(wù)調(diào)度以滿足用戶的SLA已成為服務(wù)提供商關(guān)注的問題。
　　SLA的差異性和集群的共享性為解決這一問題帶來了諸多挑戰(zhàn)。1）用戶需求的不同，造成了作業(yè)類型的多樣化，集群中可能同時運行著即席查詢作業(yè)，處理生產(chǎn)型的大作業(yè)、機器學(xué)習(xí)型作業(yè)等，即使處理同一數(shù)據(jù)集，也可能出現(xiàn)短交互式作業(yè)和長批量作業(yè)混雜的復(fù)雜場景，相應(yīng)地，用戶對SLA中作業(yè)響應(yīng)時間也就有著迥然相異的要求。2）服務(wù)提供商為節(jié)約構(gòu)建獨立集群和跨集群數(shù)據(jù)復(fù)制帶來的網(wǎng)絡(luò)和存儲成本，使

3、得MapReduce集群在多用戶群組間共享，但同時也造成作業(yè)性能容易受到其他并發(fā)作業(yè)的影響，給滿足用戶的SLA增添了挑戰(zhàn)。
　　現(xiàn)有的MapReduce調(diào)度機制重點關(guān)注集群資源在用戶間的公平共享，或者通過基于優(yōu)先級的策略進行資源分配和調(diào)度。但是這些調(diào)度機制缺乏對用戶SLA的感知，作業(yè)優(yōu)先級難以體現(xiàn)用戶SLA具體的差異，粒度過大，無法建立優(yōu)先級和用戶SLA間準(zhǔn)確的映射關(guān)系。同時，還缺乏對集群運行狀態(tài)和作業(yè)執(zhí)行狀態(tài)動態(tài)變化的感知，從而

4、無法準(zhǔn)確而有效的滿足用戶的SLA。
　　針對上述問題和挑戰(zhàn)，本文從作業(yè)性能模型構(gòu)建、作業(yè)級調(diào)度和任務(wù)級調(diào)度優(yōu)化等幾個方面著手，提出了基于SLA的MapReduce調(diào)度機制。本文的主要工作和成果包括:
　　1.提出基于SLA的MapReduce調(diào)度架構(gòu)，引入可插拔的調(diào)度支持節(jié)點，從作業(yè)級和任務(wù)級兩個層次對用戶的SLA提供靈活支持，并給出了該架構(gòu)下動態(tài)自適應(yīng)的作業(yè)性能模型，該模型基于歷史記錄、集群和作業(yè)運行狀態(tài)，準(zhǔn)確地預(yù)測和判斷

5、是否可能出現(xiàn)SLA作業(yè)響應(yīng)時間上限違例的情況。
　　2.針對用戶SLA的差異性，結(jié)合作業(yè)性能模型，提出基于SLA的兩階段作業(yè)調(diào)度機制，該機制預(yù)測滿足用戶SLA所需的最小資源量以及作業(yè)預(yù)期邊際收益，據(jù)此實現(xiàn)集群資源劃分，進行作業(yè)調(diào)度以最大限度地滿足用戶的SLA，避免集群閑置資源的盲目分配，并提高服務(wù)提供商可能獲得的全局收益。
　　3.在作業(yè)級調(diào)度策略的基礎(chǔ)上，提出感知數(shù)據(jù)分布的任務(wù)分配優(yōu)化機制，盡可能減少組成作業(yè)的若干任務(wù)執(zhí)行