面向分布式文件系統(tǒng)的基準(zhǔn)測試框架研究與設(shè)計(jì).pdf

1、隨著云計(jì)算技術(shù)的不斷發(fā)展，需要存儲的數(shù)據(jù)正在以指數(shù)型增長，云平臺環(huán)境變得更加復(fù)雜和多樣化，人們對數(shù)據(jù)存儲性能的需求也日益上升和不斷改變。作為云平臺的基礎(chǔ)組件，分布式文件系統(tǒng)為整個(gè)云平臺提供了高效可靠的海量數(shù)據(jù)存儲能力，成為當(dāng)前流行的數(shù)據(jù)存儲解決方案，因此分布式文件系統(tǒng)性能的優(yōu)化和提高對整個(gè)云平臺性能的提升至關(guān)重要。然而，當(dāng)前并沒有針對分布式文件系統(tǒng)的通用評測框架，通過統(tǒng)計(jì)模擬的方式對復(fù)雜的云環(huán)境I/O負(fù)載進(jìn)行真實(shí)地模擬。而且云環(huán)境I/O

2、負(fù)載的異質(zhì)性以及分布式文件系統(tǒng)自身的復(fù)雜性使得其性能評測困難重重，如何對其進(jìn)行真實(shí)高效地測試并使得測試報(bào)告能夠?qū)ο到y(tǒng)的性能優(yōu)化、容量規(guī)劃等提供指導(dǎo)意義，已經(jīng)成為當(dāng)前的熱點(diǎn)研究問題。
　　在對分布式文件系統(tǒng)的評測過程中，本文其影響因素分為兩類，第一類是預(yù)設(shè)數(shù)據(jù)集，即如何預(yù)先生成文件、目錄等以對其進(jìn)行I/O操作。在分布式文件系統(tǒng)中，元數(shù)據(jù)服務(wù)器對文件的元數(shù)據(jù)進(jìn)行管理，數(shù)據(jù)的特征會影響其I/O操作的性能。因此，實(shí)驗(yàn)數(shù)據(jù)集是非常重要的評測

3、因素。本文從文件副本數(shù)、目錄深度、文件數(shù)量、文件大小、文件類型等方面對其進(jìn)行研究并驗(yàn)證。
　　第二類是I/O請求到達(dá)模式。這也是非常重要的負(fù)載因素，然而許多的評測框架都把這些指標(biāo)給簡化了，通常以固定速率或者泊松過程代替，這在云環(huán)境中是不合適的。為了解決這個(gè)問題，本文深入研究了云環(huán)境I/O請求特征，將其分成了四個(gè)部分：（1）I/O請求到達(dá)速率；（2）I/O請求到達(dá)時(shí)間間隔；（3）周期性；（4）I/O請求數(shù)據(jù)。這四個(gè)特征共同作用生成真