面向Lustre文件系統(tǒng)的存儲系統(tǒng)模擬器的設計與實現.pdf

1、近年來，高性能計算機技術和應用技術飛速發(fā)展，在科學研究與國民經濟建設中正發(fā)揮著日益重要的作用。以國家超級計算天津中心為例，該中心使用的天河一號超級計算機（TH-1A），應用領域廣泛，主要應用領域包括石油勘探數據處理、生物醫(yī)藥研發(fā)、氣象氣候和海洋環(huán)境研究、航空航天飛行器研制、工程仿真等。TH-1A超級計算機在天津超算中心運行已4年多，實際運行表明：系統(tǒng)設計合理、綜合性能好，系統(tǒng)穩(wěn)定可靠，成功地完成了許多大規(guī)模、典型和復雜的計算任務。TH-

2、1A采用Lustre文件系統(tǒng)作為存儲系統(tǒng)，實踐表明，Lustre系統(tǒng)為TH-1A的存儲系統(tǒng)提供了良好的性能支撐，Lustre配置的靈活性使得TH-1A在面對不同應用時可以通過不同的配置參數實現應用性能的調優(yōu)，特別是在超大規(guī)模的石油數據處理中的應用，獲得了較好的應用，對充分發(fā)揮TH-1A系統(tǒng)的整體應用性能起到了非常重要的作用。
　　同時，隨著TH-1A應用服務范圍的不斷擴展，以及應用程序所處理的數據量的不斷增加，TH-1A存儲系統(tǒng)在

3、海量數據存儲和處理上也表現出了一些問題。如某些I/O密集型應用要求存儲系統(tǒng)具有較快的讀寫速度，而Lustre文件系統(tǒng)易于在元數據存儲和處理上形成瓶頸，影響存儲系統(tǒng)整體的讀寫速度。另外，由于受限于內部高速互連網絡端口的數量，使得OST的數量難以大幅擴充，以大容量磁盤（如3TB或者更大容量）替換目前的1-2TB磁盤來擴大存儲系統(tǒng)的容量又會在磁盤失效時帶來過長的數據恢復時間，影響存儲系統(tǒng)的可維性，這兩個原因使得TH-1A的存儲系統(tǒng)在擴充存儲容

4、量時遇到了困難。
　　TH-1A作為目前先進的高性能計算機，在存儲系統(tǒng)方面表現出來的問題具有一定的代表性。在當前HPC TOP50的超級計算機，存儲系統(tǒng)多采用Lustre，在面對相同的應用情況時也會表現出與TH-1A相類似的技術問題。
　　由于超級計算機的Lustre系統(tǒng)在數據密集型應用時表現出一些問題，同時，我們又在研制新一代的超級計算機，為了了解現有的存儲系統(tǒng)在各種典型的應用過程中出現不同問題的原因，研究解決問題和優(yōu)化性

5、能的技術方法，并為研制新一代超級計算機的新型存儲系統(tǒng)提供研究和分析手段，有必要構建面向存儲系統(tǒng)的功能和性能的模擬器，對目標系統(tǒng)進行模擬，分析存儲系統(tǒng)的運行特性，研究分析存儲系統(tǒng)的各種設計參數，優(yōu)化現有存儲系統(tǒng)，指導新的存儲系統(tǒng)的設計。
　　本文設計并實現了一種基于Lustre存儲系統(tǒng)的存儲系統(tǒng)模擬器，主要進行了以下幾項研究工作：
　?。?）研究目前典型I/O密集型應用對存儲系統(tǒng)的性能要求，結合Lustre文件系統(tǒng)的組成結構和

6、I/O操作流程，分析Lustre文件系統(tǒng)在I/O密集型應用時可能表現的問題。
　?。?）分析目前軟件模擬器設計的主要方法，提出了本文的Lustre系統(tǒng)模擬器的設計方法。
　?。?）設計并實現了以Lustre文件系統(tǒng)為目標系統(tǒng)的存儲系統(tǒng)模擬器LustreSim，并通過與TH-1A超級計算機Lustre系統(tǒng)性能測試和逆時偏移抽道集應用程序運行的對比分析，驗證了其正確性與可用性。
　　（4）研究了影響Lustre文件系統(tǒng)性能