面向數據密集型應用的數據管理關鍵技術研究.pdf

1、當代社會數據規(guī)模越來越大，且都具有海量、異構、半結構化或非結構化的特點。通過網絡，基于海量數據的挖掘、分析以及處理等Web服務成為信息社會發(fā)展的趨勢。針對海量信息的數據密集型應用作為這種新型服務的支撐技術已引起廣泛關注。面向數據密集型應用的數據管理存在諸多難點，如海量數據的有效存儲，動態(tài)、異構數據的實時更新，索引視圖的建立和高效查詢分析等。因此，本文針對數據密集型應用中的海量、異構、非結構化數據的管理問題，研究并開發(fā)數據存儲、查詢以及數

2、據服務提供等關鍵技術。
　　本文首先建立了一個可擴展、高效的面向數據密集型應用的數據管理模型(DIA-DM)，針對該模型，創(chuàng)建了節(jié)點架構服務(DNN)，數據布局服務(HDL)，數據索引服務，數據壓縮服務和數據存取服務。
　　接著，設計了一種基于DIA-DM模型的查詢機制(QueryM)，它是一個將SQL查詢轉化為MapReduce作業(yè)的轉換器，運用一系列的規(guī)則將一個復雜的SQL查詢轉換為盡量少的MapReduce作業(yè)。其核心

3、是一種針對于SQL查詢轉換為MapReduce作業(yè)的作業(yè)合并算法(MR-JM)，根據QueryM查詢機制中定義的4條合并原則對作業(yè)進行合并。
　　最后，設計并實現了一個數據密集型典型應用——交通數據應用平臺，使用vSphere進行硬件架構，在HBase數據庫中使用HDL進行數據布局存儲，使用QueryM查詢機制對數據進行查詢。該應用平臺主要分為三大模塊，為數據管理、信息查詢和數據統計，通過應用分析來說明該平臺的實際可用性和查詢效率