基于模糊查詢的大數據分析處理系統的研究與實現.pdf

1、隨著大數據分析技術的日漸成熟，大數據所蘊含的巨大價值已經越來越被重視。由于數據量巨大，對大數據進行分析一般是很耗費時間的。然而，在很多情況下，用戶并不需要精確的查詢結果，數據大概的輪廓就可以滿足大部分的分析需求。
　　本文研究并實現了一種基于模糊查詢的大數據分析處理系統。該系統為用戶定義了一套查詢接口，這些接口支持用戶進行各種聚集查詢(Group By)。系統將會為用戶查詢返回一個模糊結果。本系統可以在秒級內返回上百G數據的模糊查

2、詢結果。
　　利用在線聚集技術可以快速生成數據輪廓的特點，本文將在線聚集技術應用到了系統中。同時，系統中相鄰查詢得到的結果集是有交疊的，如果能夠將系統已經處理的查詢所采集到的樣本和計算出的中間結果保存起來，就可以加速系統處理后面查詢的速度?；诖?，本文對在線聚集技術做了優(yōu)化。
　　首先，本文對數據集進行隨機化處理，生成一個隨機數據集，這樣，就可以通過順序掃描隨機數據集來達到在數據集中隨機采樣的效果。然后，本文通過在線聚集技術

3、處理用戶的查詢請求。在線聚集技術在生成查詢結果的同時，會把已經獲取的樣本和產生的中間結果存儲在一棵樣本管理樹中。相應的，用戶的查詢也會首先在這棵樹中進行處理。當在樹中查詢到的結果不能滿足用戶的需求時，系統再從數據源讀取數據。通過這種方式，在線聚集技術中采取的樣本和中間結果可以有效地被多個查詢使用。同時，本文還提供了一種整合多個中間結果的方法，以生成最終查詢結果。最后，通過在TPC-H基準上的實驗結果，驗證了本文所設計并實現的系統的有效性