K-medoids聚類算法研究及其在文本聚類中的應(yīng)用.pdf

1、文本聚類就是將給定的文本集合劃分為多個(gè)類簇，以期達(dá)到不同類的文檔相似度較小，而同類的文檔相似度較大。作為一種無(wú)監(jiān)督的機(jī)器學(xué)習(xí)方法，由于聚類算法不需要訓(xùn)練過(guò)程，并且無(wú)需事先對(duì)文檔進(jìn)行手工標(biāo)注類別，因此具有一定的自動(dòng)化處理能力和較高的靈活性，已經(jīng)成為對(duì)文本信息進(jìn)行摘要、導(dǎo)航和有效組織的重要手段，受到越來(lái)越多的研究人員關(guān)注。
　　在對(duì)文本進(jìn)行聚類處理時(shí)，主要采用基于TF-IDF統(tǒng)計(jì)的向量空間模型表示文檔，其涉及到文本預(yù)處理、中文分詞、特

2、征提取、特征權(quán)重計(jì)算、聚類算法、聚類性能測(cè)評(píng)等多個(gè)過(guò)程。其中特征項(xiàng)權(quán)重計(jì)算和聚類算法的選擇是基于向量空間模型的文本聚類算法中重要的兩個(gè)環(huán)節(jié)，關(guān)系到文本的聚類效果。
　　針對(duì)傳統(tǒng)的特征項(xiàng)權(quán)重計(jì)算方法只考慮頻率和逆文檔頻率，忽略了文檔所屬類別對(duì)特征權(quán)重的影響的問(wèn)題，結(jié)合實(shí)際應(yīng)用中可能沒(méi)有標(biāo)準(zhǔn)分類數(shù)據(jù)集，本文提出了一種新的結(jié)合類別與語(yǔ)義貢獻(xiàn)度的特征項(xiàng)權(quán)重計(jì)算方法。該方法首先提出了語(yǔ)義貢獻(xiàn)度，并將其與模糊聚類相結(jié)合，對(duì)沒(méi)有類別信息的文本集

3、合進(jìn)行粗略聚類得到帶類別信息的文本集合；然后提出了類別信息熵，并和語(yǔ)義貢獻(xiàn)度相結(jié)合對(duì)傳統(tǒng)的TF-IDF權(quán)重計(jì)算方法進(jìn)行改進(jìn)，從而得到更有效的權(quán)重計(jì)算方法。利用復(fù)旦大學(xué)中文自然語(yǔ)言處理開(kāi)放平臺(tái)中的中文文本分類語(yǔ)料庫(kù)數(shù)據(jù)集進(jìn)行測(cè)試，結(jié)果表明新的特征項(xiàng)權(quán)重計(jì)算方法優(yōu)于傳統(tǒng)的權(quán)重計(jì)算方法。
　　針對(duì)K-medoids聚類算法對(duì)選擇的聚類初始中心點(diǎn)敏感，不當(dāng)?shù)某跏贾行狞c(diǎn)選擇可能導(dǎo)致聚類效果達(dá)到局部最優(yōu)的問(wèn)題，本文提出了一種半徑自適應(yīng)的初始中

4、心點(diǎn)選擇K-medoids聚類算法。該算法在每次迭代過(guò)程中會(huì)根據(jù)剩余樣本點(diǎn)的分布特征重新對(duì)半徑進(jìn)行計(jì)算，從而實(shí)現(xiàn)動(dòng)態(tài)計(jì)算對(duì)應(yīng)樣本點(diǎn)的鄰域半徑和局部方差，以此選出更優(yōu)的聚類初始中心點(diǎn)，達(dá)到更好的聚類效果。分別在帶有不同比例隨機(jī)點(diǎn)的模擬數(shù)據(jù)集和規(guī)模大小不等的UCI數(shù)據(jù)集上進(jìn)行測(cè)試，并采用5個(gè)通用的聚類評(píng)價(jià)指標(biāo)進(jìn)行性能評(píng)價(jià)，結(jié)果表明，本算法性能較同類算法有明顯提高。
　　最后對(duì)本文改進(jìn)的文本聚類算法設(shè)計(jì)成一個(gè)文本聚類系統(tǒng)，該系統(tǒng)對(duì)整個(gè)流