高維數(shù)據(jù)的聚類(lèi)方法研究與應(yīng)用.pdf

1、聚類(lèi)分析是數(shù)據(jù)挖掘中重要的研究課題，在信息過(guò)濾、資料自動(dòng)分類(lèi)、生物信息學(xué)等領(lǐng)域得到廣泛應(yīng)用。隨著技術(shù)進(jìn)步，聚類(lèi)分析許多應(yīng)用領(lǐng)域的數(shù)據(jù)具有很高的維度，例如，各種類(lèi)型的文檔數(shù)據(jù)、基因表達(dá)數(shù)據(jù)等其維度(屬性)可以達(dá)到成百上千維，甚至更高。由于高維數(shù)據(jù)存在的普遍性，高維數(shù)據(jù)的聚類(lèi)分析具有非常重要的意義。 數(shù)據(jù)在高維空間中的表現(xiàn)相對(duì)于低維空間有很大的差異。在高維空間的許多情況下，由于數(shù)據(jù)分布的內(nèi)在稀疏性，低維數(shù)據(jù)聚類(lèi)常用的Lp距離等相似度

2、度量有效性大大降低；高維空間中簇類(lèi)往往只存在于某些低維子空間中，而不同的簇類(lèi)其所處的子空間也可能存在差異。受“維度效應(yīng)”的影響，許多在低維數(shù)據(jù)上表現(xiàn)良好的聚類(lèi)方法運(yùn)用于高維數(shù)據(jù)時(shí)無(wú)法獲得很好的效果，需要采用一些特殊的方法進(jìn)行高維數(shù)據(jù)的聚類(lèi)分析。 本文從高維數(shù)據(jù)子空間聚類(lèi)的數(shù)學(xué)統(tǒng)計(jì)模型入手，研究其潛在的概率統(tǒng)計(jì)模型，繼而提出新的聚類(lèi)算法、開(kāi)展高維數(shù)據(jù)的聚類(lèi)有效性等研究；并在文本分類(lèi)、網(wǎng)絡(luò)入侵檢測(cè)和惡意軟件鑒別中進(jìn)行應(yīng)用研究，具有一

3、定的理論意義和實(shí)際應(yīng)用價(jià)值。 本文的主要工作及貢獻(xiàn)如下： 1．提出了一種高維數(shù)據(jù)子空間聚類(lèi)的概率統(tǒng)計(jì)模型及其學(xué)習(xí)算法，分析了子空間聚類(lèi)算法的目標(biāo)優(yōu)化函數(shù)； 2．建立了現(xiàn)有軟子空間聚類(lèi)算法與統(tǒng)計(jì)模型之間的聯(lián)系，對(duì)其中兩種代表性算法進(jìn)行了多方面的改進(jìn)；提出檢測(cè)局部離群點(diǎn)的方法，提高了子空間聚類(lèi)算法的魯棒性； 3．基于統(tǒng)計(jì)模型給出了模糊隸屬度的新定義，提出一種高維數(shù)據(jù)的模糊聚類(lèi)算法；結(jié)合三種改進(jìn)的子空間聚類(lèi)有效