基于詞語網(wǎng)絡(luò)的關(guān)鍵字提取策略研究.pdf

1、關(guān)鍵字是表述文檔中心內(nèi)容的詞匯，是計算機(jī)系統(tǒng)標(biāo)引論文內(nèi)容特征的詞匯，是便于信息系統(tǒng)匯集以供讀者檢索的詞匯。關(guān)鍵字提取是文本挖掘領(lǐng)域的一個分支，是文檔檢索、文檔比較、摘要生成、文檔分類和聚類的基礎(chǔ)性工作。 關(guān)鍵字提取算法可分為兩類：基于訓(xùn)練集的關(guān)鍵字提取策略和不需要訓(xùn)練集的關(guān)鍵字提取策略。基于訓(xùn)練集的方法將關(guān)鍵字提取視為分類問題，通過將文檔中出現(xiàn)的詞語劃分到關(guān)鍵字類或非關(guān)鍵字類，再從關(guān)鍵字類中選擇若干個詞語作為關(guān)鍵字，該類算法由P

2、eter．D．Turney首次提出，其技術(shù)已日趨成熟。 不需要訓(xùn)練集的算法，可分為以下四類：基于統(tǒng)計的方法，如頻率統(tǒng)計：基于詞語圖的方法，如KeyGraph：基于詞語網(wǎng)絡(luò)的方法，如中介性指標(biāo)(BC，Betweenness Centrality)；基于SWN的方法；上述四種方法都是建立在詞頻統(tǒng)計基礎(chǔ)上?；诮y(tǒng)計的方法簡單快速，能夠提取高頻詞語，卻忽略對文檔具有重要意義但出現(xiàn)頻率不高的詞語，因此提取的關(guān)鍵字具有片面性。基于詞語圖的方

3、法需要設(shè)定的參數(shù)過多，如頂點(diǎn)數(shù)、邊數(shù)等，因而常造成邊界上的取舍問題，影響算法的穩(wěn)定性和精度?；赟WN的方法是以平均距離K度為關(guān)鍵字提取依據(jù)，而SWN理論以連通圖為基礎(chǔ)，故對非連通的文檔結(jié)構(gòu)圖，無法衡量頂點(diǎn)的重要性，也無法正確地提取文檔關(guān)鍵字。 本文主要研究基于詞語網(wǎng)絡(luò)的關(guān)鍵字提取算法，在分析已有基于詞語網(wǎng)絡(luò)的關(guān)鍵字提取算法的基礎(chǔ)上，針對存在問題，提出一個新的基于詞語網(wǎng)絡(luò)的英文文檔關(guān)鍵字提取策略，采用節(jié)點(diǎn)刪除指標(biāo)度量頂點(diǎn)(詞語)