DWMS中壓縮技術的研究與實現(xiàn).pdf

1、隨著社會的發(fā)展，人們對信息的需求量日漸上升，從大量數據中提取所需要的信息進行決策顯得更加重要，傳統(tǒng)的數據庫系統(tǒng)已經無法滿足要求。這樣，一種支持決策的、特殊的數據存儲技術應運而生，它就是數據倉庫。
　　 當前的數據倉庫系統(tǒng)大都是建立在數據庫管理系統(tǒng)(DBMS)之上的，并沒有專門的數據倉庫管理系統(tǒng)(DWMS)。隨著數據倉庫技術的不斷發(fā)展，數據倉庫中包含的數據量急劇增加，對傳統(tǒng)的行存儲模式的查詢提出了挑戰(zhàn)。為了提高讀優(yōu)化(read-o

2、ptimized)系統(tǒng)的性能，人們開始考慮一種與傳統(tǒng)行存儲不同的存儲方式-列存儲。列存儲技術是將數據表以列為單位進行存儲，數據表記錄中的同一屬性值被存儲在一起。在進行查詢的時候，列存儲數據倉庫系統(tǒng)只需要將需要的列讀入內存，一定程度上減少了讀入的數據量，使得系統(tǒng)的查詢效率得到提高。然而，數據倉庫需要處理的數據量是非常龐大的，這造成查詢時大量的I/O。由于CPU處理與磁盤訪問發(fā)展的不平衡，造成了I/O成為了查詢的瓶頸。因此，減少I/O的次數

3、能顯著的提高查詢的效率。而數據壓縮則能在一定程度上減少I/O的次數，因此，數據壓縮成為了一個研究的熱點。對于列存儲來說，數據具有相同的數據類型，增加了相鄰數據之間的相似性，使得列存儲系統(tǒng)和傳統(tǒng)的行存儲系統(tǒng)相比具有更好的壓縮效率。
　　 壓縮技術是列存儲數據管理的重要研究內容之一。目前多數方法對同一列數據使用單一壓縮方法進行壓縮，忽略了數據的局部分布特性，極大的影響了壓縮性能。本文提出一種區(qū)級壓縮模式，并在此模式下提出基于學習的壓