基于全切分和碎片提取的中文自動分詞系統(tǒng).pdf

1、中文自動分詞是中文自然語言處理的一項基礎性工作，也是中文信息處理的一個重要問題，在很多領域扮演著非常重要的角色。中文自動分詞系統(tǒng)是利用計算機對中文文本進行詞語自動切分的系統(tǒng)。我國很早就開始了這一方面的研究工作，己經取得了很多成果，涌現出大量的基于各種算法的分詞系統(tǒng)。但是真正滿足實際需要的分詞系統(tǒng)還沒有出現，有待于進一步深入探討。 本文對已經出現的分詞算法進行了總結，對各種算法進行了優(yōu)缺點的分析，并結合漢語本身的特點指出了影響分詞

2、系統(tǒng)性能提高的主要因素。 本文的主要工作是：針對中文分詞系統(tǒng)實現中的主要難點——歧義切分和未登錄詞識別，進行了一些有意義的探討，提出了一種基于改進的全切分算法的粗分模型和基于碎片提取的未登錄詞處理相結合的方法。 按照通用的、已經成為標準的分詞系統(tǒng)評價標準(準確率P，召回率R和平均值F)，對基于該方法的分詞系統(tǒng)進行了小規(guī)模開放測試，試驗取得了比較好的結果，說明該方法對以后的自動分詞研究有一定的參考價值。 文章的最后