基于協同訓練的半監(jiān)督短文本分類方法研究.pdf

1、隨著互聯網的迅猛發(fā)展，信息正在以指數形式飛速增長。通過互聯網人們可以輕而易舉地獲取大量的信息，從而對自己的行為起著非常重要的指引作用。短文本是互聯網中一種非常重要的信息載體，短文本中蘊含的信息早期是通過人工標記的方式直接獲取，但是人工標記的方式需要大量的專業(yè)技術人員參與，消耗了大量的人力物力，并且只能對少量的文本進行標記，而互聯網上的文本數量非常龐大，因此人工標記的方式不適合互聯網上大規(guī)模文本進行分類的需求。采用機器學習的方法對未標注樣

2、本進行標注，逐步成為互聯網上文本信息處理的一種趨勢，同時提高樣本標記效率已經成為當前研究的熱點。與人工標注的方法相比，使用機器學習技術對未標注樣本的標注，不僅準確率高，而且算法非常穩(wěn)定。半監(jiān)督協同訓練是方法目前機器學習中一種非常重要的文本分類方法。
　　本文主要對基于協同訓練的半監(jiān)督短文本分類進行研究，主要包含以下幾個方面的內容：
　　1．對短文本分類問題進行分析，給出了基于協同訓練的半監(jiān)督短文本分類系統模型。短文本分類模型

3、可以分成三個功能模塊：預處理模塊、訓練模塊和測試模塊。預處理模塊，主要是對非結構化的短文本進行處理，通過對短文本去除格式標記、分詞、去停用詞、特征提取、詞頻統計、文本向量化等一系列步驟得到結構化的數據集。訓練模塊，一方面是根據差異性原理構造分類器，使用分類器對未標注樣本進行標注；另一方面使用訓練樣本集對分類器進行協同訓練，從而得到不斷優(yōu)化的分類器。測試模塊，使用測試樣本集對分類器進行測試，驗證協同訓練方法的可行性和有效性。
　　2

4、．結合半監(jiān)督協同訓練，給出了短文本分類方法，進一步改進了特征提取方法和協同訓練方法。
　?。?）特征提取方法的改進。根據短文本中文字數量較少的特點，從詞語之間語義聯系的角度，來構造短文本中詞語之間的鄰接矩陣，然后通過鄰接矩陣相似度的計算來構造一個無向圖，再根據無向圖的鄰接度計算特征度，將特征度高的特征詞進行提取。這種特征提取方法相比于傳統方法兼顧了詞語之間語義的相似關系，有助于對短文本進行有效分類。
　　（2）協同訓練算法改

5、進。為了對未標注樣本進行標注，通過多分類器“互助”方式訓練分類器。在二分類問題中，對某個未標注樣本進行標注如果三個分類器的標注結果相同，代表標注結果有較高的置信度，把標注樣本放入到已標注樣本集中；如果標注結果不同，那么必有兩個分類器的標注結果相同，使用兩個分類器的標注結果訓練第三個分類器。在標注過程中，反復訓練分類器，最終獲得性能較好的分類器。
　　3．利用互聯網網站搜集到的短文本進行對比實驗，驗證了協同訓練半監(jiān)督短文本分類方法的

6、有效性。通過選取新浪、搜狐和網易等各大網站搜集到的短文本帖子作為數據集，將本文改進后的方法與傳統的短文本分類方法進行對比實驗，通過評估指標準確率、召回率和F1值對本文分類方法進行評估，從而驗證本文方法的可行性和有效性。
　　因此，本文構建了基于協同訓練的半監(jiān)督短文本分類模型，給出了相應的分類方法，同時對短文本特征提取方法和半監(jiān)督協同訓練進行了改進，并將改進的方法與傳統的方法進行了對比實驗。實驗結果表明，本文給出的方法能有效提高短文