基于復雜網(wǎng)絡的網(wǎng)絡大數(shù)據(jù)聚類應用研究.pdf

1、本文以網(wǎng)絡大數(shù)據(jù)為研究對象，分析大數(shù)據(jù)的特性，得出復雜網(wǎng)絡是網(wǎng)絡大數(shù)據(jù)的重要組成形式，而復雜網(wǎng)絡中社區(qū)結(jié)構(gòu)的發(fā)現(xiàn)與聚類算法具備天然的相似性。因此本文即運用復雜網(wǎng)絡的方法來解決網(wǎng)絡大數(shù)據(jù)的聚類問題。
　　本文通過分析網(wǎng)絡大數(shù)據(jù)的特性得出網(wǎng)絡大數(shù)據(jù)所形成的復雜網(wǎng)絡節(jié)點數(shù)較多，規(guī)模較大，并且網(wǎng)絡大數(shù)據(jù)的聚類對是時間要求較高，所以全局發(fā)現(xiàn)算法不適合于網(wǎng)絡大數(shù)據(jù)的聚類。因此本文從局部發(fā)現(xiàn)的角度出發(fā)來進行網(wǎng)絡大數(shù)據(jù)的聚類研究。提出了基于局部關

2、鍵節(jié)點的大數(shù)據(jù)聚類算法。首先，引入局部關鍵節(jié)點的思想，結(jié)合全局關鍵節(jié)點的發(fā)現(xiàn)方法，提出了局部關鍵節(jié)點的發(fā)現(xiàn)方法。然后，將局部關鍵節(jié)點與其鄰居節(jié)點組成初始社區(qū)，并用推導后的適應度公式向外進行擴張得到最終社區(qū)。然后分析大數(shù)據(jù)集的特性，得出在大數(shù)據(jù)集中往往一個社區(qū)內(nèi)有多個關鍵節(jié)點，因此，從局部關鍵節(jié)點根據(jù)適應度公式向外逐個節(jié)點的擴張就可能導致其他的關鍵節(jié)點被排除在外，并且關鍵節(jié)點與其鄰居節(jié)點組成初始社區(qū)就有可能將相鄰社區(qū)的節(jié)點加入進來導致聚類

3、結(jié)果質(zhì)量下降。針對這兩點不足，提出了基于局部關鍵社區(qū)的大數(shù)據(jù)聚類算法，通過引入極大團的概念和進一步對適應度公式進行改進來提高聚類結(jié)果質(zhì)量。首先，分析極大團的特性，得出極大團是社區(qū)內(nèi)聯(lián)系最緊密的一組節(jié)點。所以由此可以判定，極大團的所有節(jié)點都在一個社區(qū)內(nèi)，一個社區(qū)內(nèi)規(guī)模最大的極大團則是這個社區(qū)內(nèi)最大團即是這個社區(qū)的最核心的類別，也是整個社區(qū)的極大類。因此，可以將局部關鍵節(jié)點的發(fā)現(xiàn)方法和極大團的發(fā)現(xiàn)方法相結(jié)合來發(fā)現(xiàn)局部關鍵社區(qū)。這樣可以將數(shù)據(jù)

4、集分為局部關鍵社區(qū)和普通節(jié)點兩個部分。由于原適應度公式只能適合單一節(jié)點向外擴張，而現(xiàn)在需要將較小的關鍵社區(qū)加入到社區(qū)中，因此對適應度函數(shù)進行改進。然后，以規(guī)模最大的局部關鍵社區(qū)為初始社區(qū)運用改進后的適應度公式向外擴張得到最終社區(qū)。最后在真實數(shù)據(jù)集上進行檢驗，證明算法具有可行性并且能減少時間消耗。接著分析所提出算法的組成部分，提出對應部分的并行策略和總體算法的并行策略，并在真實數(shù)據(jù)集上進行驗證。結(jié)果證明提出的并行策略在不影響結(jié)果質(zhì)量的前提