NLP技術(shù)在中文信息檢索中的應(yīng)用研究.pdf

1、隨著科學(xué)技術(shù)的高速發(fā)展和各種信息資源數(shù)量的不斷增多,為了提高效率,信息檢索己經(jīng)成為信息科學(xué)技術(shù)領(lǐng)域最重要的研究?jī)?nèi)容之一.其中涉及到自然語(yǔ)言處理(NLP)的技術(shù)有:分詞、信息抽取、自動(dòng)聚類(lèi)和分類(lèi)、自動(dòng)摘要、查詢擴(kuò)展、等等.近年來(lái),對(duì)網(wǎng)絡(luò)中文信息檢索的需求與日俱增.針對(duì)這一需求,本文對(duì)中文信息檢索中涉及到的幾項(xiàng)NLP關(guān)鍵技術(shù)進(jìn)行了研究. 本文在深入研究基于向量空間模型的文本聚類(lèi)方法的基礎(chǔ)上,提出了一個(gè)新的聚類(lèi)模型:即在傳統(tǒng)的基于相似

2、度的平面劃分聚類(lèi)模型中增加一個(gè)文本特征向量調(diào)整模塊.本文同時(shí)給出了用以進(jìn)行特征提取的特征評(píng)價(jià)函數(shù),對(duì)基于相似度的平面劃分聚類(lèi)算法做了改進(jìn).實(shí)驗(yàn)結(jié)果表明增加了文檔特征調(diào)整的聚類(lèi)模型具有較好的聚類(lèi)效果. 本文提出了一種基于主題聚類(lèi)的自動(dòng)摘要算法.在一篇文章中,主題思想由文中的各個(gè)子主題構(gòu)成,如同議論文中的論點(diǎn)由分論點(diǎn)構(gòu)成一樣,基于主題聚類(lèi)的自動(dòng)摘要算法把統(tǒng)計(jì)方法與知識(shí)理解相結(jié)合,既擺脫了領(lǐng)域限制,又使摘要的結(jié)果更為準(zhǔn)確.本文構(gòu)造出一

3、個(gè)新的依賴關(guān)系模型,能較好地為摘要算法選擇較為準(zhǔn)確的屬性,給出評(píng)價(jià)語(yǔ)句重要性的規(guī)則,這為摘要算法提供了選擇較為重要語(yǔ)句的尺度.本文還提出了一種較為客觀的、基于任務(wù)的摘要性能評(píng)估算法. 目前大多數(shù)檢索系統(tǒng)中,用戶的需求是通過(guò)查詢關(guān)鍵詞來(lái)表示的.用戶實(shí)際需求與查詢關(guān)鍵詞之間往往存在較大的語(yǔ)義差距,如何縮小這種語(yǔ)義差距是實(shí)現(xiàn)面向用戶個(gè)性化信息服務(wù)的關(guān)鍵問(wèn)題.本文提出了一種查詢擴(kuò)展優(yōu)化算法,給出了對(duì)查詢關(guān)鍵詞的增加、刪除和權(quán)重修改的自適