面向現(xiàn)代服務(wù)業(yè)的大規(guī)模分布式文件存儲(chǔ)系統(tǒng)設(shè)計(jì)和實(shí)現(xiàn).pdf

1、隨著Internet技術(shù)的發(fā)展與深入應(yīng)用，互聯(lián)網(wǎng)上的信息量呈爆炸式增長(zhǎng)，如何有效的存儲(chǔ)和管理這些數(shù)據(jù)成為專(zhuān)家學(xué)者們關(guān)注的焦點(diǎn)。到目前為止，對(duì)于分布式文件系統(tǒng)已經(jīng)展開(kāi)了大量的研究工作，設(shè)計(jì)實(shí)現(xiàn)了一批基于Linux的文件服務(wù)器來(lái)存儲(chǔ)和管理這些數(shù)據(jù)。這些服務(wù)器通過(guò)高速的局域網(wǎng)絡(luò)相連接組成服務(wù)器集群，對(duì)外提供高效、穩(wěn)定的服務(wù)。 通過(guò)對(duì)國(guó)內(nèi)外比較優(yōu)秀的分布式文件系統(tǒng)進(jìn)行學(xué)習(xí)和總結(jié)，結(jié)合國(guó)家支撐計(jì)劃現(xiàn)代服務(wù)業(yè)關(guān)鍵技術(shù)平臺(tái)項(xiàng)目，論文設(shè)計(jì)并實(shí)現(xiàn)

2、面向現(xiàn)代服務(wù)業(yè)服務(wù)基礎(chǔ)技術(shù)平臺(tái)的大規(guī)模分布式文件存儲(chǔ)系統(tǒng)。 文章首先從用戶(hù)需求、外部接口及系統(tǒng)性能和可靠性需求三個(gè)方面對(duì)系統(tǒng)需求進(jìn)行了分析，在此基礎(chǔ)上提出了系統(tǒng)的總體架構(gòu)。系統(tǒng)主要由主服務(wù)器(MasterServer)、文件塊存儲(chǔ)服務(wù)器(Chunk Server)及客戶(hù)端(Client)三部分組成。Master Server主要負(fù)責(zé)對(duì)元數(shù)據(jù)進(jìn)行管理，包括名字空間，文件到文件塊的映射，文件塊到Chunk Server的映射；Chu

3、nk Server負(fù)責(zé)管理文件塊的I/O操作，根據(jù)Master Server的指令對(duì)文件塊進(jìn)行新建、刪除和復(fù)制等操作；Client為應(yīng)用端提供文件操作接口，包括文件的創(chuàng)建、追加、讀取及刪除操作。 然后介紹了分布式文件系統(tǒng)涉及到的關(guān)鍵技術(shù)--主要包括實(shí)現(xiàn)方案、緩存設(shè)計(jì)及負(fù)載均衡算法設(shè)計(jì)三個(gè)方面。根據(jù)實(shí)際應(yīng)用的需要，本系統(tǒng)采用共享文件系統(tǒng)的實(shí)現(xiàn)方案，在客戶(hù)端主存對(duì)數(shù)據(jù)進(jìn)行緩存以及通過(guò)write-through算法保證緩存的一致性。

4、文章通過(guò)基于可配置權(quán)值的動(dòng)態(tài)自適應(yīng)請(qǐng)求調(diào)度算法實(shí)現(xiàn)對(duì)客戶(hù)端請(qǐng)求和文件塊分配負(fù)載均衡以及基于最小發(fā)送請(qǐng)求數(shù)算法實(shí)現(xiàn)文件塊的Rebalance。最后對(duì)負(fù)載均衡算法進(jìn)了測(cè)試分析。 接著詳細(xì)介紹了數(shù)據(jù)交互的總體架構(gòu)和具體流程，主要包括文件的創(chuàng)建、追加、讀取及刪除操作。為了保證數(shù)據(jù)的可用性和一致性，本文提出了文件塊拷貝、數(shù)據(jù)校驗(yàn)以及垃圾回收等機(jī)制。 文章最后給出了系統(tǒng)原型實(shí)現(xiàn)類(lèi)圖并對(duì)整體性能進(jìn)行了測(cè)試。在系統(tǒng)實(shí)現(xiàn)部分，介紹了基于I