基于Spark的K-means算法的并行化實現與優(yōu)化.pdf

1、移動互聯網浪潮衍生出海量的數據，這些數據中蘊含著不可估量的商業(yè)價值和指導價值，而如何從這些雜亂無章的海量數據中挖掘出有用的信息已經成為一個相當重要的研究課題。為了快速提升聚類算法處理海量數據集的效率，可以利用集群資源來高效地執(zhí)行挖掘任務，而基于分布式計算平臺Spark的并行化改進聚類算法能有效地解決此類難題。
　　本課題研究了K-means算法及其優(yōu)化算法在 Spark平臺上的并行化實現。一方面，基于K-means算法存在初始k值

2、不確定性、初始聚類中心點隨機選取的不穩(wěn)定性問題，本研究課題提出了基于預聚類算法Canopy來初始化K-means算法中的k值和初始聚類中心用以提高算法的收斂速度和聚類結果的穩(wěn)定性；另一方面，為了充分利用Spark的RDD特性優(yōu)勢，可以從內存優(yōu)化、數據壓縮、數據序列化、運行內存占比、運行堆占比、緩存大小等系統配置方面進行Spark調優(yōu)，從而利用Spark相比于Hadoop的平臺優(yōu)勢進一步加快改進Canopy_K-means（CKM）算法的

3、并行計算效率和分布式計算環(huán)境下的應用能力。
　　基于Spark集群環(huán)境下的K-means算法及其改進CKM算法的對比研究結果可得以下結論：（1）Spark分布式集群在迭代計算方面相對于Hadoop具有不可比擬的效率（收斂速率、聚類準確度）優(yōu)勢；（2）基于Spark的改進CKM并行算法比K-means并行算法的聚類結果更加準確可信、收斂速度更快；（3）基于Spark的改進CKM并行算法比 K-means并行算法加速比增幅更快、擴展比