基于粗糙集理論的文本自動分類研究.pdf

1、文本自動分類是目前信息檢索和自然語言處理領域的研究熱點之一。九十年代以后，機器學習方法逐步廣泛應用于文本自動分類?；跈C器學習的文本自動分類是一個非常復雜的信息處理任務，目前仍然面臨著許多亟待解決的難題。本文將針對文本自動分類涉及的幾個主要問題進行比較深入的研究和探索。具體研究內容和創(chuàng)新性研究成果概括如下：　　1.基于N-gram的中英文文本表達方法。文本表達是指將表達文獻主題內容的詞匯抽取出來的過程。常用的向量空間表達法主要采用TF

2、/IDF等權重法。該類權重法普遍存在兩大缺點：一是需要計算詞匯在整個數(shù)據(jù)集中頻率，標引效率較低；二是不能直接應用于中文等東方語種文獻。否則，必須首先解決分詞技術問題?！　?.標引詞的語義異構性處理。通過文本表達獲得的標引詞，通常是沒有進行語義規(guī)范控制的自由詞。如果直接將這些標引詞作為特征項輸入文本自動分類算法，會直接導致計算時間復雜度的增加和分類性能的降低。人工方法和經典相似度計算方法是目前建立標引詞語義轉換關系的主要方式。本文的研究

3、成果是提出了一種基于粗糙集理論和索引語言理論的標引詞語義轉換模型，可以用于建立來源于多個索引語言的標引詞之間的語義關系，解決標引詞的語義異構性問題。該模型的優(yōu)點表現(xiàn)在：克服了人工轉換方法成本高、效率低的缺點；克服了經典相似度計算方法單向性和不能明確定義標引詞之間語義關系的缺點；能夠快速有效地實現(xiàn)多個索引語言在不同兼容水平上的標引詞語義雙向轉換；能夠較大范圍地集成具有語義關系的標引詞，克服特征抽取方法受限于數(shù)據(jù)集的缺點?！　?.粗糙集理