流式數(shù)據(jù)的并行聚類算法研究.pdf

1、隨著計算機、移動和物聯(lián)網(wǎng)設備的普及，各類網(wǎng)絡應用逐漸泛在化，由此產生了大量多源、異構的流式數(shù)據(jù)，如網(wǎng)絡入侵數(shù)據(jù)、股票數(shù)據(jù)和天氣監(jiān)測數(shù)據(jù)等。流式數(shù)據(jù)具有多樣化、時序性、海量、連續(xù)到達、潛在無限等特點，從而使基于流式數(shù)據(jù)的挖掘任務變得更加復雜，且富有挑戰(zhàn)性。聚類作為一種無監(jiān)督的學習方式，是數(shù)據(jù)挖掘的一種重要方法，它能根據(jù)數(shù)據(jù)間的相似性對數(shù)據(jù)進行劃分，并根據(jù)劃分結果對數(shù)據(jù)進行歸類，從而有助于從海量數(shù)據(jù)中提取潛藏的、未知的、有價值信息。

2、　　基于流數(shù)據(jù)的數(shù)據(jù)挖掘一方面限制于有限的主存空間和低下的磁盤I/O效率，不能將數(shù)據(jù)全部持久化存儲；另一方面則受流式數(shù)據(jù)處理方法的制約，不能實時、在線挖掘。因而，如何實時、高效、可靠地處理流式數(shù)據(jù)，成為了數(shù)據(jù)挖掘方面一個值得關注的難點問題。近年來，并行與分布式計算、集群架構及其相關技術的迅速普及與應用，為解決大規(guī)模流式數(shù)據(jù)的實時挖掘帶來了曙光。本文將并行化的思想引入到流數(shù)據(jù)的聚類處理中，在分布式內存計算框架Spark下將聚類算法并行化，

3、實現(xiàn)數(shù)據(jù)在多臺計算機上的并行處理，從而提供高吞吐量、高容錯性的實時處理。本文具體研究內容如下：
　　（1）針對流式數(shù)據(jù)特點，對流式數(shù)據(jù)聚類算法進行了詳細研究，給出了流式數(shù)據(jù)聚類算法的分類，分析了分布式計算框架Hadoop上MapReduce編程模型的工作原理和實現(xiàn)機制，并在流數(shù)據(jù)處理方面與分布式內存計算框架Spark進行了比較，總結了Spark具有的并行處理優(yōu)勢。
　　（2）在研究 CluStream算法的基礎上，針對數(shù)據(jù)處

4、理時的時效性和算法參數(shù)敏感性問題，提出了一種針對流數(shù)據(jù)的基于變長滑動窗口和遺傳算法相結合的CluWin-GA聚類算法。實驗分析表明，該算法具有良好的時效性和可靠性，是一種具有動態(tài)自適應能力的流數(shù)據(jù)聚類新算法。
　?。?）將內存計算及并行化理念引入到流數(shù)據(jù)聚類過程中，繼而應用Spark分布式計算框架改進了流數(shù)據(jù)聚類算法的并行化策略。借助Spark平臺，本文實現(xiàn)了CluStream算法以及改進算法CluWin-GA的聚類并行化。結果表