基于粗糙集理論的文本分類研究.pdf

1、隨著網(wǎng)絡與信息技術的發(fā)展,信息量急劇擴增,給人們的工作和生活帶來了極大方便。人們在享受日益豐富的信息的同時,也被其所淹沒,想要搜索自己感興趣的信息或者管理這些信息都變得越來越困難,這是一個迫切需要解決的問題。自動文本分類技術可以很好的幫助人們解決這些問題。文本分類是當今信息檢索和數(shù)據(jù)挖掘等領域的研究熱點,其主要任務是在預先給定類別標記集合的情況下,根據(jù)文本的內(nèi)容來判定其類別屬性。目前文本分類已在信息的組織與管理、信息過濾、信息檢索等方面

2、都有重要應用?，F(xiàn)在已有很多分類算法應用到文本分類領域,比如K近鄰方法、樸素貝葉斯方法、決策樹方法以及支持向量機方法等。粗糙集理論是波蘭華沙理工大學的坡那克(PaWlak)教授在1982年提出,這是一種分析不確定知識的強有力的數(shù)學工具。與目前常用的分類算法比較起來,將粗糙集理論應用到文本分類中具有以下優(yōu)點:首先,粗糙集處理問題比較客觀,不需要除所需處理的數(shù)據(jù)集合外的任何先驗信息;其次,將粗糙集理論應用到文本分類可以在不影響分類精度的條件下

3、降低特征向量的維數(shù),并且可以得到顯式表達的分類規(guī)則。
　　 本文通過深入分析粗糙集理論和逆文本頻率加權方法,提出了一種基于粗糙集的特征加權方法。在粗糙集理論中,近似分類質(zhì)量和近似分類精度可以在全局的角度去分析特征詞對文本分類的作用,可以利于粗糙集的這些方法對特征詞進行加權。不過這兩個度量只是體現(xiàn)了全局的一種重要性,加權過程是對每個文檔中的特征詞進行加權,所以在處理過程中還要考慮到單個文本的特性。在本文中筆者認為如果某個特征詞在一

4、類文本中文本頻次比較高,而在其他類的文本頻率又比較低,則該特征詞含有比較多的分類信息,應該賦予較大的權重。本文結合逆文本頻率加權方法的思想,將詞頻、近似分類質(zhì)量和近似分類精度結合起來構建了新的加權公式。通過粗糙集的約簡理論可以得到分類規(guī)則,但是在對新文本進行分類的過程中,經(jīng)常遇到分類規(guī)則與新的對象不能很好匹配的情況。這主要是由于測試文本的多樣性,通過對訓練集的訓練不能得到非常全面的分類規(guī)則。本文分析了常用的完全匹配與部分匹配方法,結合部