面向Lustre文件系統(tǒng)的存儲系統(tǒng)模擬器的設計與實現.pdf_第1頁
已閱讀1頁,還剩80頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

1、近年來,高性能計算機技術和應用技術飛速發(fā)展,在科學研究與國民經濟建設中正發(fā)揮著日益重要的作用。以國家超級計算天津中心為例,該中心使用的天河一號超級計算機(TH-1A),應用領域廣泛,主要應用領域包括石油勘探數據處理、生物醫(yī)藥研發(fā)、氣象氣候和海洋環(huán)境研究、航空航天飛行器研制、工程仿真等。TH-1A超級計算機在天津超算中心運行已4年多,實際運行表明:系統(tǒng)設計合理、綜合性能好,系統(tǒng)穩(wěn)定可靠,成功地完成了許多大規(guī)模、典型和復雜的計算任務。TH-

2、1A采用Lustre文件系統(tǒng)作為存儲系統(tǒng),實踐表明,Lustre系統(tǒng)為TH-1A的存儲系統(tǒng)提供了良好的性能支撐,Lustre配置的靈活性使得TH-1A在面對不同應用時可以通過不同的配置參數實現應用性能的調優(yōu),特別是在超大規(guī)模的石油數據處理中的應用,獲得了較好的應用,對充分發(fā)揮TH-1A系統(tǒng)的整體應用性能起到了非常重要的作用。
  同時,隨著TH-1A應用服務范圍的不斷擴展,以及應用程序所處理的數據量的不斷增加,TH-1A存儲系統(tǒng)在

3、海量數據存儲和處理上也表現出了一些問題。如某些I/O密集型應用要求存儲系統(tǒng)具有較快的讀寫速度,而Lustre文件系統(tǒng)易于在元數據存儲和處理上形成瓶頸,影響存儲系統(tǒng)整體的讀寫速度。另外,由于受限于內部高速互連網絡端口的數量,使得OST的數量難以大幅擴充,以大容量磁盤(如3TB或者更大容量)替換目前的1-2TB磁盤來擴大存儲系統(tǒng)的容量又會在磁盤失效時帶來過長的數據恢復時間,影響存儲系統(tǒng)的可維性,這兩個原因使得TH-1A的存儲系統(tǒng)在擴充存儲容

4、量時遇到了困難。
  TH-1A作為目前先進的高性能計算機,在存儲系統(tǒng)方面表現出來的問題具有一定的代表性。在當前HPC TOP50的超級計算機,存儲系統(tǒng)多采用Lustre,在面對相同的應用情況時也會表現出與TH-1A相類似的技術問題。
  由于超級計算機的Lustre系統(tǒng)在數據密集型應用時表現出一些問題,同時,我們又在研制新一代的超級計算機,為了了解現有的存儲系統(tǒng)在各種典型的應用過程中出現不同問題的原因,研究解決問題和優(yōu)化性

5、能的技術方法,并為研制新一代超級計算機的新型存儲系統(tǒng)提供研究和分析手段,有必要構建面向存儲系統(tǒng)的功能和性能的模擬器,對目標系統(tǒng)進行模擬,分析存儲系統(tǒng)的運行特性,研究分析存儲系統(tǒng)的各種設計參數,優(yōu)化現有存儲系統(tǒng),指導新的存儲系統(tǒng)的設計。
  本文設計并實現了一種基于Lustre存儲系統(tǒng)的存儲系統(tǒng)模擬器,主要進行了以下幾項研究工作:
 ?。?)研究目前典型I/O密集型應用對存儲系統(tǒng)的性能要求,結合Lustre文件系統(tǒng)的組成結構和

6、I/O操作流程,分析Lustre文件系統(tǒng)在I/O密集型應用時可能表現的問題。
  (2)分析目前軟件模擬器設計的主要方法,提出了本文的Lustre系統(tǒng)模擬器的設計方法。
 ?。?)設計并實現了以Lustre文件系統(tǒng)為目標系統(tǒng)的存儲系統(tǒng)模擬器LustreSim,并通過與TH-1A超級計算機Lustre系統(tǒng)性能測試和逆時偏移抽道集應用程序運行的對比分析,驗證了其正確性與可用性。
 ?。?)研究了影響Lustre文件系統(tǒng)性能

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論