基于Hadoop平臺的DBSCAN算法應用研究.pdf

1、伴隨信息時代的急劇發(fā)展，我們從互聯網獲取的數據越來越多，從而導致數據呈現出爆炸式增長，而且以更快的速度增加。數據庫的功能以及相關技術也在發(fā)生著升級和變化，尤其是數據庫中的數據量已經呈現出爆炸式的增長，我們要想從這些海量數據中獲取我們想要的信息和知識是非常困難的。這就促使我們要對大規(guī)模海量數據進行研究和分析，這種情況下，我們就需要用到數據挖掘技術。其中，聚類分析在挖掘領域內使用比較普遍，因此，將聚類分析的效率提高是有研究價值的。由于傳統(tǒng)算

2、法面向靜態(tài)數據庫，造成數據挖掘的結果不及時，先前已經被挖掘出的知識和規(guī)則可能已經不再適用于新的數據，從而使得決策的正確性在很大程度上降低。
　　 國內外現在也將云計算列為重點研究對象，它是眾多技術如網格、并行和分布計算的發(fā)展和延伸。在云計算平臺上，人們可以從網絡中獲得難以想象的計算能力、存儲能力以及基礎設施，通過將海量數據處理這樣的大問題，進行分解，分布到云中進行分節(jié)點處理，無需再像傳統(tǒng)使用昂貴的大型計算機來處理問題，這樣做既降

3、低了終端設備要求，又在很大程度上提高了計算能力。
　　 本文中首先論述了在數據挖掘中經常用到并且也是主要的一種挖掘算法，DBSCAN（Density-Based Spatial Clustering of Applications with Noise基于密度的空間聚類算法），在深入研究和探討了其挖掘原理的基礎上，對于其存在的一些不足，提出了一種基于增量的DBSCAN聚類算法。其次，本文結合云計算中一個開源的框架Hadoop，研

4、究并利用其MapReduce的編程思想，將海量數據進行分塊，并且分布到云計算的計算機集群中，實現每一部分數據可以在集群中進行并發(fā)的運行。最后，本文實現增量式DBSCAN挖掘算法與Hadoop平臺相結合，將DBSCAN算法MapReduce化，當數據庫出現新增或刪除數據時，無需對整個數據庫集進行重新挖掘，只需對新增數據進行局部的挖掘，最后將獲取的局部挖掘知識與原先整體挖掘知識進行類簇相似性合并，形成最終的挖掘知識。與傳統(tǒng)的單節(jié)點服務器串行