數據統(tǒng)計的概率算法研究與并行化設計.pdf

1、時至今日,大數據(BigData)時代已經來臨,尤其在電信、金融、互聯網行業(yè),數據量的增長已達TB甚至PB級。如何對大數據進行統(tǒng)計分析是我們面臨的巨大挑戰(zhàn)。云計算的出現和發(fā)展,為數據統(tǒng)計分析提出了新的方式,其安全可靠的海量數據存儲能力,簡單易行的并行計算能力,廉價普通的設備要求,具有節(jié)約成本,提高效率的優(yōu)點,成為解決數據統(tǒng)計分析問題的有效方式。
　　數據統(tǒng)計分析是我們日常生活工作中非常普遍的需求,例如求解數據集中數據項的基數、求解

2、數據集中最頻繁數據項集、求解最頻繁數據項集的頻度等等。隨著云計算的成熟,越來越多的電信和互聯網公司將數據的存儲和統(tǒng)計分析移植到云計算平臺下。如何在云計算的環(huán)境下進行數據的統(tǒng)計和分析是一個具有現實意義的問題。面對海量的數據,分布式的平臺,傳統(tǒng)的數據統(tǒng)計分析方法已無法有效的解決我們的數據統(tǒng)計分析需求,這也就客觀要求我們能夠采用不同于傳統(tǒng)的統(tǒng)計分析算法并且能夠并行化,部署到云計算平臺上運行。如果能夠采用有效的數據統(tǒng)計分析算法移植到云計算平臺上

3、,并且滿足我們的要求,問題便迎刃而解。
　　本文從實際需求出發(fā),綜合考慮現實要求,提出了在云計算平臺框架Hadoop下,采用Map Reduce并行編程模式實現數據統(tǒng)計分析算法的并行化,并通過實驗驗證其可行性和有效性。本文選擇基數求解和TOPK兩個常用的數據統(tǒng)計分析問題作為我們研究的對象,提出了基于概率的算法,通過MapReduce實現算法的并行化,借助于平臺Hadoop解決這兩個典型的數據統(tǒng)計分析問題。研究證明了在云計算平臺下,