中文自動(dòng)分詞中的歧義消解算法研究.pdf

1、信息網(wǎng)絡(luò)技術(shù)的飛速發(fā)展使信息的發(fā)布和共享超越了時(shí)空限制,中文信息處理技術(shù)逐漸成為熱點(diǎn)研究課題。中文自動(dòng)分詞是中文信息處理的基礎(chǔ),詞典算法的設(shè)計(jì)直接關(guān)系著分詞系統(tǒng)的切分速度,歧義字段又是影響分詞系統(tǒng)切分精度的重要因素。
　　 本課題針對(duì)中文分詞系統(tǒng)的兩個(gè)重要指標(biāo):切分速度和切分精度兩個(gè)方面進(jìn)行了深入的研究。在切分速度方面,給出了一種優(yōu)化的TRIE索引樹詞典機(jī)制,設(shè)計(jì)并實(shí)現(xiàn)了中文分詞詞典；在切分精度方面,給出了兩種消除歧義字段的算法

2、,為解決中文自動(dòng)分詞問題提供了一種新的途徑。
　　 論文首先對(duì)中文分詞相關(guān)技術(shù)作了簡(jiǎn)單介紹,分析了各種自動(dòng)分詞方法的優(yōu)缺點(diǎn),介紹了交集型歧義和組合型歧義的定義及識(shí)別方法。然后對(duì)語料庫以及分詞中的詞典機(jī)制進(jìn)行了分析和研究,在語料庫的建立環(huán)節(jié)采用關(guān)系數(shù)據(jù)庫來管理語料庫。在詞典生成環(huán)節(jié)采用基于優(yōu)化的TRIE索引樹的詞典機(jī)制,設(shè)計(jì)并實(shí)現(xiàn)了中文分詞詞典,有效地減少了詞典空間,同時(shí)在查詢速度上也有了較大幅度的提升。
　　 論文主體部

3、分對(duì)分詞中的歧義消除算法作了研究。在分析了常見消歧算法的優(yōu)缺點(diǎn)后,給出了兩種消除歧義的核心算法。一種是基于條件隨機(jī)場(chǎng)模型消除交集型歧義的算法,該算法將交集型歧義切分由二值分類問題轉(zhuǎn)化為序列標(biāo)注問題,不僅能夠處理任意鏈長(zhǎng)的歧義字串,而且能夠利用上下文信息,在不同的上下文環(huán)境中對(duì)真歧義作出正確的切分。另一種是基于C-支持向量機(jī)和規(guī)則相結(jié)合來消除組合型歧義的算法。該算法的主要思想是利用C-支持向量機(jī)分類模型結(jié)合上下文規(guī)則庫中的規(guī)則來對(duì)組合型歧