基于并行計(jì)算的中文分詞系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、當(dāng)前隨著計(jì)算機(jī)和互聯(lián)網(wǎng)技術(shù)的普及,人們已經(jīng)進(jìn)入了信息呈指數(shù)級(jí)爆炸式增長(zhǎng)的信息時(shí)代,每個(gè)人在實(shí)際生活中每時(shí)每刻都在不斷地與信息打交道:接收信息、加工信息和利用信息。面對(duì)各種海量信息,人們?cè)噲D引入計(jì)算機(jī)來(lái)幫助我們進(jìn)行信息管理,并取得不錯(cuò)的效果,然而這種管理通常局限于小部分的可用數(shù)據(jù)庫(kù)系統(tǒng)管理的結(jié)構(gòu)化信息,在IT應(yīng)用中除了結(jié)構(gòu)化信息外,還存在有非結(jié)構(gòu)化信息,如文本檔案、電子郵件、聲音、影片、圖像等。非結(jié)構(gòu)化信息隱含了許多有價(jià)值的關(guān)鍵信息,但由

2、于非結(jié)構(gòu)化信息的割裂性和不可操作性使得對(duì)這部分信息的提取很困難,目前人們已經(jīng)著力于各種技術(shù)的研究,以期在非結(jié)構(gòu)化信息提取中取得突破,中文信息處理技術(shù)就是其中一種,目前中文信息技術(shù)已經(jīng)呈現(xiàn)海量、自動(dòng)化和智能化的特征,并逐漸融合包括音頻、視頻在內(nèi)的多媒體技術(shù)特性。中文信息處理以詞作為加工的基本單位,可以說(shuō)中文分詞是中文信息處理的必備條件,分詞的處理效率將直接制約中文信息處理的效果。
　　 本文通過(guò)對(duì)目前存在的多種中文分詞技術(shù),如基于

3、機(jī)械匹配的分詞方法、基于統(tǒng)計(jì)的分詞方法及基于人工智能技術(shù)的分詞方法等的深入研究,發(fā)現(xiàn)目前的并行分詞算法大多都存在一個(gè)特點(diǎn):在單處理機(jī)上進(jìn)行并行處理。另一方面,各種并行計(jì)算機(jī)的研究已經(jīng)從理論模型研究階段進(jìn)入了商用階段,各種并行算法也如雨后春筍般迅速普及,并行計(jì)算的應(yīng)用已經(jīng)成為了可能。本論文將并行計(jì)算技術(shù)引入到中文分詞領(lǐng)域,設(shè)計(jì)出了一種基于并行計(jì)算的中文分詞系統(tǒng),使用該系統(tǒng)對(duì)大規(guī)模批量文本文件進(jìn)行中文分詞處理分詞性能得到了顯著的提升。該系統(tǒng)

4、從現(xiàn)有的基于詞典的機(jī)械匹配分詞算法出發(fā),通過(guò)一系列步驟,最終設(shè)計(jì)出一個(gè)能展示并發(fā)性、可擴(kuò)展性的并行分詞系統(tǒng)。此過(guò)程可分為四步,即任務(wù)劃分、通信分析、任務(wù)組合和處理器映射。在任務(wù)劃分階段通過(guò)域分解方法將中文分詞問(wèn)題劃分為一些小的計(jì)算任務(wù),以開(kāi)拓算法的并行性和滿足可擴(kuò)放性；在通信分析階段分析了各并行任務(wù)之間的通信要求和通信成本；在任務(wù)組合階段對(duì)算法的通信成本和總體執(zhí)行時(shí)間進(jìn)行了優(yōu)化,同時(shí)進(jìn)行必要的反復(fù)回溯；在處理器映射階段將經(jīng)過(guò)優(yōu)化的算法指