基于Hash結(jié)構(gòu)的機械統(tǒng)計分詞系統(tǒng).pdf

1、中文分詞作為中文信息處理的基礎(chǔ)，已經(jīng)吸引了眾多國內(nèi)外計算機專家的極大興趣，同時也涌現(xiàn)出了許多中文分詞系統(tǒng)。本文在綜合比較分析了常用的機械分詞方法和統(tǒng)計分詞方法基礎(chǔ)上，設(shè)計并實現(xiàn)了一個基于Hash結(jié)構(gòu)的機械統(tǒng)計分詞系統(tǒng)。 為使得機械分詞方法和統(tǒng)計分詞方法能有機結(jié)合，優(yōu)勢互補，最大發(fā)揮各自性能，本文在如下幾方面作了深入研究：在機械分詞階段，將最大匹配長度的賦值方式由靜態(tài)分配改進(jìn)為動態(tài)分配，以減少不必要的匹配操作；將詞頻信息作

2、為切分評估的另一標(biāo)準(zhǔn)，以彌補“長詞優(yōu)先”標(biāo)準(zhǔn)的不足；采用了Hash分詞詞典機制，以提高分詞的效率。在統(tǒng)計分詞階段，為了提高統(tǒng)計操作的效率，對分詞單位的概念進(jìn)行了泛化，并把詞頻統(tǒng)計操作融合于機械分詞操作，同時還采用了Hash表來存儲詞頻統(tǒng)計的結(jié)果，從而提高機械分詞速度。 在編程實現(xiàn)系統(tǒng)之后，對其進(jìn)行了大量語料的測試。通過歸納統(tǒng)計、曲線擬合等方法對系統(tǒng)性能進(jìn)行測試，發(fā)現(xiàn)該系統(tǒng)對不同領(lǐng)域、不同文本長度的語料進(jìn)行分詞操作都會表現(xiàn)出不同