基于Hash結構的機械統(tǒng)計分詞系統(tǒng).pdf

1、中文分詞作為中文信息處理的基礎，已經吸引了眾多國內外計算機專家的極大興趣，同時也涌現(xiàn)出了許多中文分詞系統(tǒng)。本文在綜合比較分析了常用的機械分詞方法和統(tǒng)計分詞方法基礎上，設計并實現(xiàn)了一個基于Hash結構的機械統(tǒng)計分詞系統(tǒng)。 為使得機械分詞方法和統(tǒng)計分詞方法能有機結合，優(yōu)勢互補，最大發(fā)揮各自性能，本文在如下幾方面作了深入研究：在機械分詞階段，將最大匹配長度的賦值方式由靜態(tài)分配改進為動態(tài)分配，以減少不必要的匹配操作；將詞頻信息作

2、為切分評估的另一標準，以彌補“長詞優(yōu)先”標準的不足；采用了Hash分詞詞典機制，以提高分詞的效率。在統(tǒng)計分詞階段，為了提高統(tǒng)計操作的效率，對分詞單位的概念進行了泛化，并把詞頻統(tǒng)計操作融合于機械分詞操作，同時還采用了Hash表來存儲詞頻統(tǒng)計的結果，從而提高機械分詞速度。 在編程實現(xiàn)系統(tǒng)之后，對其進行了大量語料的測試。通過歸納統(tǒng)計、曲線擬合等方法對系統(tǒng)性能進行測試，發(fā)現(xiàn)該系統(tǒng)對不同領域、不同文本長度的語料進行分詞操作都會表現(xiàn)出不同