搜索引擎中面向分類與檢索的語義分析系統(tǒng)的設計與實現(xiàn).pdf

1、國內外搜索引擎面臨的主要問題在于:其一,用于垂直搜索的網頁分類器準確度低;其二,文本檢索智能化水平差、相關度低、冗余信息多。針對以上問題,我們的搜索引擎采用基于PLSA技術的語義分析系統(tǒng),旨在有效的提高分類器和檢索的準確度。
　　本系統(tǒng)通過主題建模,利用分布式計算和存儲進行參數(shù)訓練,利用得出的數(shù)據優(yōu)化共現(xiàn)矩陣,有效的解決語言中的歧義現(xiàn)象(同義詞和多義詞引起)。設計與實現(xiàn)了面向分類與檢索的語義分析系統(tǒng)。其中包括參數(shù)訓練模塊、文本分詞

2、模塊、主題識別模塊以及語義相關度計算模塊。同時對如下問題進行了研究:
　　首先,主題建模與參數(shù)訓練。主題模型的優(yōu)勢能夠克服傳統(tǒng)的向量空間模型的缺陷,使得文本相關度計算不僅僅進行字面匹配,同時降低了共現(xiàn)矩陣的維度,達到消除歧義,降低噪音的作用。模型的選取至關重要。確定模型后在參數(shù)訓練階段,用一臺計算機來對參數(shù)進行迭代顯然是不現(xiàn)實的,我們采用基于Hadoop體系結構的分布式計算和存儲技術,充分利用閑置的服務器。在參數(shù)訓練中,本文采用E

3、M算法作為參數(shù)迭代結束的約束條件,同時設置相對變化率,避免多余的計算開銷;為了充分利用多線程的優(yōu)勢,進行CPU多核優(yōu)化;為了防止阻塞等待I/O將計算密集的I/O與比較耗時的I/O運算分開,進行異步I/O的優(yōu)化;利用共享詞典,免去每個線程都要加載pwz矩陣的計算開銷。其次,針對文本分詞中,中英文單詞混雜現(xiàn)象,本文設計并實現(xiàn)一種對混合文本的處理方法,來適應此種普遍現(xiàn)象。這樣無論是中文、英文還是混合文本都能很好的處理。同時,進行語義分析研究。