

版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、聚類算法作為一種非監(jiān)督學(xué)習(xí)的方法,在很多領(lǐng)域都有大量應(yīng)用。目前,針對(duì)數(shù)值數(shù)據(jù)的聚類分析已經(jīng)得到深入的研究,但針對(duì)數(shù)值數(shù)據(jù)的聚類分析方法并不適合處理現(xiàn)實(shí)中存在的大量分類數(shù)據(jù)。分類數(shù)據(jù)由非數(shù)值的屬性組成,其聚類模型與數(shù)值數(shù)據(jù)不同。大規(guī)模、高維度分類數(shù)據(jù)的聚類分析更具挑戰(zhàn)性。針對(duì)這一問題,本文對(duì)分類數(shù)據(jù)聚類算法特別是并行聚類算法進(jìn)行深入研究,對(duì)已有的一個(gè)分類數(shù)據(jù)聚類算法進(jìn)行改進(jìn)并在Hadoop平臺(tái)上實(shí)現(xiàn)了這個(gè)改進(jìn)算法的并行化。
首先
2、,在分析研究聚類算法,特別是分類數(shù)據(jù)的并行聚類算法之后,深入分析了代表性的分類數(shù)據(jù)聚類算法CLOPE。CLOPE采用一種基于統(tǒng)計(jì)直方圖的全局評(píng)估函數(shù)作為評(píng)價(jià)聚類優(yōu)劣的標(biāo)準(zhǔn),在大規(guī)模、稀疏、高維數(shù)據(jù)集的聚類上取得很好的聚類效果。然而該算法受輸入數(shù)據(jù)記錄的順序影響,難以獲得穩(wěn)定且全局最優(yōu)的聚類劃分結(jié)果。因此提出一種基于等分劃分再排列思想的MRCLOPE算法來(lái)克服這一不足。在MRCLOPE算法的每一次迭代過(guò)程中,對(duì)輸入數(shù)據(jù)進(jìn)行等分劃分,對(duì)劃分
3、塊進(jìn)行排列以形成不同順序的輸入數(shù)據(jù)集,然后對(duì)各種順序的輸入數(shù)據(jù)集分別聚類,并選取最優(yōu)的聚類結(jié)果作為下一次迭代的輸入。
其次,針對(duì)MRCLOPE計(jì)算過(guò)程中出現(xiàn)的相同中間結(jié)果,我們提出一種結(jié)果復(fù)用策略,通過(guò)充分利用可重用的中間結(jié)果可以較大程度地提高聚類的速度。
再次,為了進(jìn)一步降低MRCLOPE算法的時(shí)間復(fù)雜度,給出了分布式的解決方案,在Hadoop平臺(tái)上用MapReduce并行編模型實(shí)現(xiàn)了一個(gè)包含 MRCLOPE相關(guān)算
4、法的聚類工具,并發(fā)布到開源社區(qū)(https://github.com/j2cms/mrclope)方便其他人使用。
最后,使用蘑菇數(shù)據(jù)集等三個(gè)分類數(shù)據(jù)集測(cè)試了MRCLOPE算法。實(shí)驗(yàn)表明,MRCLOPE算法能比CLOPE算法取得更優(yōu)的聚類結(jié)果。對(duì)蘑菇數(shù)據(jù)集在CLOPE算法取得最優(yōu)聚類結(jié)果時(shí),MRCLOPE取得比CLOPE大35.7%的收益值。在處理大量數(shù)據(jù)時(shí),并行MRCLOPE比串行 MRCLOPE極大地縮短了聚類時(shí)間,取得了
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫(kù)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 數(shù)據(jù)挖掘分類與聚類算法并行化研究.pdf
- 流式數(shù)據(jù)的并行聚類算法研究.pdf
- 基于網(wǎng)格的并行聚類算法及數(shù)據(jù)流聚類算法研究.pdf
- 數(shù)據(jù)挖掘中聚類算法的并行優(yōu)化研究.pdf
- 分類型數(shù)據(jù)的聚類算法研究.pdf
- 流數(shù)據(jù)的聚類分類算法研究.pdf
- 基于MapReduce的醫(yī)學(xué)數(shù)據(jù)并行聚類算法研究.pdf
- 基因表達(dá)數(shù)據(jù)的并行聚類及其集成分類研究.pdf
- 面向分類數(shù)據(jù)的子空間聚類算法研究.pdf
- 分類數(shù)據(jù)的增量聚類算法研究與應(yīng)用.pdf
- 分類屬性數(shù)據(jù)聚類算法研究.pdf
- 云計(jì)算環(huán)境下海量數(shù)據(jù)的并行聚類算法研究.pdf
- 流式數(shù)據(jù)的并行分類算法研究.pdf
- 并行聚類算法的研究與實(shí)現(xiàn).pdf
- 基于MapReduce的并行聚類算法研究.pdf
- 基于免疫進(jìn)化的分類型數(shù)據(jù)聚類算法的研究.pdf
- 基于密度的并行聚類算法研究.pdf
- 并行LDA、聚類算法的研究及應(yīng)用.pdf
- 面向數(shù)據(jù)流挖掘的分類和聚類算法研究.pdf
- 改進(jìn)聚類算法的MapReduce并行化研究.pdf
評(píng)論
0/150
提交評(píng)論