基于標注語料庫的漢語語義構詞模式預測研究.pdf

1、隨著中文信息處理技術的快速發(fā)展，由于計算機不能完全“理解”詞語的語義，從而導致文本和對話層面的多義和歧義現(xiàn)象以及未登錄詞等問題也日漸突出。如何使計算機準確“理解”漢語詞語的語義，這就需要計算機首先“明白”在語義的角度各個漢字轉化整合成詞語的規(guī)則。因此本文提出基于大規(guī)模標注語料庫構建漢語語義構詞模式預測模型的課題。該課題可以顯著提高未登錄詞釋義、消除歧義、詞典編纂、機器翻譯等的效率和準確度。
　　首先，在查閱文獻資料并咨詢漢語言文學

2、領域和模式識別領域的專家和學者基礎上，提出將漢語語義構詞規(guī)則與模式識別算法相結合的解決方案。針對該方案，對比分析多種模式識別算法，決定采用二分類Logistic回歸模型和樸素貝葉斯模型預測漢語語義構詞模式。另外，本文還通過加入漢字的詞性以進一步提高計算機預測漢語語義構詞模式的準確率，因此在建模之前，基于原標注語料庫對漢字的詞性進行自動標注和人工檢查。
　　然后，本文對預測漢語語義構詞模式問題研究中，基于二分類Logistic回歸和

3、樸素貝葉斯構建漢語語義構詞模式預測模型并進行仿真實驗。先將標注語料庫中的八類語義構詞模式兩兩分組，并劃分所得每組樣本集為訓練集和測試集，使得二分類Logistic回歸模型和樸素貝葉斯模型先基于每組的訓練集學習語義構詞規(guī)則，然后在每組的測試集上預測語義構詞模式，最后使用Kolmogorov-Smirnov檢驗統(tǒng)計量檢驗兩種模型的分類擬合度，以及計算兩種模型預測結果的混淆矩陣比較兩種模型的預測準確度。
　　最后，經(jīng)過仿真實驗結果發(fā)現(xiàn)，