云計算中的網(wǎng)絡拓撲設計和Hadoop平臺研究.pdf

1、云計算是2007年底正式提出的一個新的概念，它可以說是一個革命性的創(chuàng)新，意味著計算能力也可以作為一種商品進行流通，就像煤氣、水電一樣，取用方便，費用低廉，不同之處只是在于它是使用互聯(lián)網(wǎng)進行傳輸?shù)?。至今為止，Google、Microsoft、IBM、亞馬遜等IT商業(yè)巨頭都推出了自己的云計算平臺，并把云計算作為其未來發(fā)展的最主要戰(zhàn)略之一。因此，云計算的研究不但緊跟業(yè)界技術發(fā)展的趨勢，同時還具有較高的應用價值。 在云計算系統(tǒng)的后端，有

2、成千上萬的服務器，如何有效組織如此大量的服務器是云計算系統(tǒng)高效穩(wěn)定運行關鍵問題之一。一個合理的網(wǎng)絡拓撲不但可以提高網(wǎng)絡的性能，而且能夠保證網(wǎng)絡的穩(wěn)定性，使網(wǎng)絡在部分節(jié)點或鏈路故障或擁擠時也能正常工作。云計算系統(tǒng)后端的網(wǎng)絡拓撲特性有別于一般的網(wǎng)絡拓撲，需要我們重新考慮和研究。 Hadoop是一個在集群上運行大型數(shù)據(jù)庫處理應用程序的開放式源代碼框架。它支持通過Google的MapReduce編程范例來創(chuàng)建并執(zhí)行的應用程序，在很多大

3、型網(wǎng)站上都已經得到了應用，可以說是目前最為廣泛應用的開源云計算軟件平臺，但其發(fā)展時間較短，研究還不夠深入，還有較多值得改進的地方。 本文主要研究工作和貢獻如下： 1.通過調研云計算的網(wǎng)絡需求，分析云計算的網(wǎng)絡拓撲結構特點，提出云計算網(wǎng)絡拓撲結構應該由中心的主干交換部分和外圍的樹狀子網(wǎng)組成的基本構想；利用圖論和最優(yōu)化理論，基于貪心算法思想，針對其主干交換網(wǎng)絡的拓撲設計，提出了自動拓撲設計算法RGA并仿真實現(xiàn)。實驗結果表明，

4、與已有算法比較，所提出算法更為有效。 2.通過調研Hadoop的相關資料，在實驗室搭建配置了8臺PC組成的Hadoop平臺；對Hadoop的MapReduce工作模式進行分析，針對它的多任務調度，提出了基于優(yōu)先級的加權輪詢算法(PBWRR)，并在Hadoop平臺上編程實現(xiàn)。實驗結果表明，與Hadoop平臺默認使用的FIFO調度算法相比，所提出的算法--PBWRR的性能更加優(yōu)越。 最后我們對論文工作進行了總結，并討論了對進