基于概念的中文分詞模型研究.pdf

1、隨著信息社會(huì)的飛速發(fā)展，人們對(duì)信息的理解的準(zhǔn)確性提出了越來(lái)越高的要求。如何提高計(jì)算機(jī)自然語(yǔ)言處理的能力已經(jīng)成為擺在研究人員面前的一個(gè)非常緊迫的課題。計(jì)算機(jī)在處理中文語(yǔ)言的文本時(shí)，要對(duì)處理的文本要進(jìn)行詞的切分，正確的分詞是計(jì)算機(jī)對(duì)中文文本進(jìn)行理解的前提和基礎(chǔ)。本文提出了通過(guò)概念分詞對(duì)中文文本進(jìn)行處理的方法，有效地降低了文本向量的維度，處理了同義多義的語(yǔ)言現(xiàn)象，縮短了文本處理的時(shí)間。 1.在介紹了中文分詞技術(shù)發(fā)展的歷史以及所面臨的主

2、要問(wèn)題和難點(diǎn)；同時(shí)介紹了當(dāng)前中分詞技術(shù)所用到的一些主要的方法和他們的優(yōu)缺點(diǎn)。 2.為了構(gòu)建概念分詞所需要的概念知識(shí)庫(kù)，本文論述了概念理論領(lǐng)域內(nèi)主要的研究現(xiàn)狀，分析和比較了Hownet(知網(wǎng))和HNC(概念層次網(wǎng)絡(luò))理論各自的優(yōu)點(diǎn)和不足。 3.提出了概念空間模型的定義，通過(guò)概念知識(shí)庫(kù)的設(shè)計(jì)和概念語(yǔ)義距離的定義來(lái)計(jì)算文本向量的維度；同時(shí)，作者設(shè)計(jì)實(shí)現(xiàn)了概念分詞系統(tǒng)模型，包括系統(tǒng)的結(jié)構(gòu)設(shè)計(jì)和分詞相關(guān)的各種算法。 4.對(duì)