大數據背景下并行動態(tài)關聯規(guī)則挖掘研究.pdf

1、目前，大數據技術在社會各個領域和層面都發(fā)揮著巨大作用，且地位不斷躍升。能否整合并利用好大數據已經成為政府和各經濟體事業(yè)成敗的關鍵。作為一種新型的戰(zhàn)略資源，大數據具有明顯的自身特征：體量大、種類多、產生速度快、實時性要求高、價值密度低，這意味著傳統(tǒng)的單機串行算法已不能滿足大數據的處理需求，面向多機、并行、分布式的大數據處理方式變得越來越重要。
　　數據挖掘是挖掘數據潛在價值的關鍵技術，關聯規(guī)則技術作為一種經典的數據挖掘方法備受關注。

2、傳統(tǒng)的關聯規(guī)則技術認為規(guī)則是靜態(tài)的、一成不變的，只要被挖掘出來便可永久用于指導生產實踐。然而，現實中的規(guī)則是隨著時間變化的，為更好地描述這種規(guī)則隨時間變化的特性，本文采用了支持度向量SV和置信度向量CV，重點研究動態(tài)關聯規(guī)則的并行分層挖掘方法。
　　首先，本文通過對現有并行技術、并行關聯規(guī)則挖掘算法和動態(tài)關聯規(guī)則挖掘算法進行研究，提出了一種能夠實時高效地處理大量數據的并行關聯規(guī)則挖掘算法——基于劃分的并行分層關聯規(guī)則挖掘（PHAR

3、M）算法。該算法基本思想是將整個數據集D隨機分割成若干個非重疊子數據集，并且每個子數據集還可繼續(xù)劃分成更小的子集，進而并行分層地挖掘出局部頻繁項集；根據頻繁項集先驗性質，連接局部頻繁項集得到全局候選項集；掃描D統(tǒng)計出每個候選項集的實際支持度，以確定全局頻繁項集。并通過建模分析和實驗，證明了該算法的高效性和在數據量較大時具有的明顯優(yōu)勢。
　　其次，本文在兩階段ITS算法的基礎上，將并行分層挖掘思想應用到動態(tài)關聯規(guī)則挖掘的第一階段，提