基于MongoDB的BESⅢ分布式計算記賬系統(tǒng)的研究與實現(xiàn).pdf

1、北京譜儀Ⅲ(BESⅢ)高能物理實驗每年產生PB量級的實驗數(shù)據(jù)，實驗人員需要對海量數(shù)據(jù)進行處理和分析。為此，BESⅢ實驗于2011年開始聯(lián)合多個合作單位構建統(tǒng)一的分布式計算平臺，以應對大數(shù)據(jù)量對存儲資源和計算資源提出的挑戰(zhàn)。對于大規(guī)模的網(wǎng)格系統(tǒng)，需要有效的記錄和分析資源的使用情況，提高資源使用效率。網(wǎng)格記賬系統(tǒng)是記錄網(wǎng)格環(huán)境下資源使用情況的系統(tǒng)，對于BESⅢ分布式計算平臺記賬系統(tǒng)來說，它的作用不僅僅是測量和記錄網(wǎng)格環(huán)境中各種操作的資源消耗

2、情況，還包括對這些信息進行有效的分析和使用。本文主要對BESⅢ分布式計算平臺記賬系統(tǒng)的設計和實現(xiàn)進行了研究。主要的研究內容如下:
　　(1)對記賬系統(tǒng)的功能模塊設計進行研究。在信息收集模塊的設計上，針對傳統(tǒng)的日志解析框架帶來的記賬延遲問題，提出了一種及時記賬框架，實現(xiàn)快速記賬;在存儲模塊的設計上，以MongoDB為基礎，反范式化數(shù)據(jù)建模，采用復合片鍵對數(shù)據(jù)進行分片，提高系統(tǒng)可擴展性，并通過副本集策略提高系統(tǒng)可用性。
　　(2

3、)對統(tǒng)計查詢的實時響應問題進行研究。對用戶查詢請求進行了分析，提出了一種基于動態(tài)時間窗口的數(shù)據(jù)壓縮算法。該算法可以根據(jù)數(shù)據(jù)存在時間的不同對數(shù)據(jù)進行不同程度的壓縮預處理，在保留必要信息的基礎上，極大地壓縮了數(shù)據(jù)量并減小了計算量，使統(tǒng)計查詢的效率大大提升。
　　(3)對記賬系統(tǒng)進行整體實現(xiàn)。搭建了MongoDB集群作為系統(tǒng)底層存儲平臺;基于matplotlib設計實現(xiàn)了繪圖類，提高用戶查詢結果展示的豐富性?；趓unit機制實現(xiàn)了服務