實時流數據的存儲技術研究.pdf

1、數據庫技術的發(fā)展水平決定著國家信息化程度的高低。隨著生活社會化和網絡化的不斷深入，信息容量的爆炸式增長對數據庫技術的發(fā)展提出了更高的要求。伴隨在網絡監(jiān)控系統(tǒng)、金融分析系統(tǒng)、交通流量預測、Web應用等眾多領域中廣泛出現的被稱之為流數據(Streaming Data)的新型數據模型使傳統(tǒng)數據庫技術面臨著嚴峻的挑戰(zhàn)。
　　 流數據管理系統(tǒng)的出現彌補了傳統(tǒng)數據庫在處理動態(tài)數據上的不足，有效地解決了由潛在無限、高速動態(tài)、頻繁變化等數據特點

2、決定的，并與傳統(tǒng)數據模型不同的數據處理方式。流數據管理系統(tǒng)著眼于當前流入內存的實時數據，然而，幾乎30％-40％的應用涉及歷史流數據，因此，若不對流出系統(tǒng)的歷史數據有效地進行保存，那么有關趨勢預測、數據分析等方面的應用將很難得到滿足。
　　 本文在分析了流數據管理系統(tǒng)和關系數據庫系統(tǒng)優(yōu)缺點的基礎上，提出了基于流數據引擎和關系數據庫聯合系統(tǒng)的存儲體系結構，并從以下三個方面進行了詳細研究：
　　 第一，針對流數據管理系統(tǒng)和關

3、系數據庫在處理數據方式上的不同，通過采用等距無偏采樣和批處理方式實現系統(tǒng)的聯合，并有效地降低數據庫空間的存儲壓力；
　　 第二，依據用戶或應用程序對數據的關注程度，利用在內存中建立基于歷史數據的緩存方法來平衡實時數據和歷史數據在訪問速度上的較大差異，并提出基于數據訪問頻率的置換算法來保證緩存的性能；
　　 第三，隨著時間的不斷推移，采用基于時間粒度的二次存儲方法進一步提高外存關系數據庫的存儲能力。
　　 最后，較