基于機器學習的中文文本主題分類及情感分類研究.pdf

1、隨著計算機技術、網絡技術、數據庫技術的快速發(fā)展與普及應用，網絡信息爆炸式增長，而其中絕大部分信息以文本形式存在。如何從這海量的信息中快速高效的獲取數據，成為信息處理領域亟待解決的問題。文本自動分類技術作為處理和組織大量文本數據的關鍵技術應運而生并取得了快速的發(fā)展。
　　基于主題的文本分類是根據文本的內容將文本劃分到預先定義好的類別中去。機器學習方法由于其自身的靈活性并能夠取得較好的分類效果，因此在文本分類中得到了廣泛的應用。機器學

2、習方法要經過文本的預處理，特征選擇，特征加權，訓練分類器并進行分類等過程。特征加權是文本分類中的重要環(huán)節(jié)，對文本的分類性能有直接的影響。通過考察傳統(tǒng)的特征選擇函數，發(fā)現互信息方法在特征加權過程中表現尤為突出。為了提高互信息方法在特征加權時的性能，加入了詞頻信息、文檔頻率信息以及類別相關度因子，提出了一種基于改進的互信息特征加權方法，實驗表明，該方法比傳統(tǒng)的特征加權方法TFIDF具有更好的分類性能。
　　情感分類是文本分類的重要分支

3、，它已經逐漸成為了信息檢索和自然語言處理領域的熱點研究問題。機器學習方法同樣適用于文本的情感分類，但是其效果卻與傳統(tǒng)的基于主題的文本分類有所不同。本文選用了在網絡上被廣泛使用的中文情感分類數據集，采用機器學習方法，對比分析了在機器學習的各個過程中不同方法對情感分類性能的影響。
　　由于情感分類的語料更加復雜多變，傳統(tǒng)的機器學習方法很難在情感分類中取得較高的性能。本文通過對評論性文本的分析，結合基于詞典和規(guī)則的方法將文本劃分成情感句