基于頻繁項(xiàng)集的文本聚類方法研究.pdf

1、文本是一種重要的信息載體，其數(shù)量隨著互聯(lián)網(wǎng)的不斷發(fā)展極速膨脹。文本聚類作為一種無監(jiān)督的機(jī)器學(xué)習(xí)方法，已成為對(duì)文本信息進(jìn)行有效的組織、摘要和導(dǎo)航的重要手段，為越來越多的科研工作者所關(guān)注。在很多文本挖掘和信息檢索系統(tǒng)中，文本聚類發(fā)揮著越來越重要的作用。 論文研究如何改進(jìn)與中文文本聚類相關(guān)的若干處理過程來得到一個(gè)好的聚類結(jié)果。文本聚類相關(guān)的處理過程主要包括文本預(yù)處理、特征項(xiàng)選擇、文本表示和聚類，它們對(duì)聚類質(zhì)量起至關(guān)重要的作用。傳統(tǒng)的文

2、本聚類算法基于向量空間模型（VSM），該模型使用關(guān)鍵詞作為特征項(xiàng)，忽略了詞語間的潛在語義關(guān)系，其固有的“高維詛咒”問題成為了算法性能提升的瓶頸，這些問題極大地干擾了算法的效率。論文引入知網(wǎng)作為算法的背景知識(shí)庫，通過將文本中的關(guān)鍵詞映射為知網(wǎng)中的概念，使算法在概念集上進(jìn)行，來彌補(bǔ)VSM存在的語義缺失問題。為提高算法性能，引入頻繁項(xiàng)集和非重疊度的概念，使用一種新的文本集劃分策略實(shí)現(xiàn)對(duì)原始文本集的劃分。在此基礎(chǔ)上，論文提出了一種基于頻繁項(xiàng)集的