垂直搜索引擎中主題爬行技術的研究.pdf

1、隨著互聯(lián)網(wǎng)技術的飛速發(fā)展，傳統(tǒng)的通用搜索引擎逐漸暴露出了覆蓋率低、結果不準確等弊端。為了滿足用戶精確搜索的需求，垂直搜索引擎應運而生。它利用主題爬行技術來搜集Web中與某個領域(主題)相關的網(wǎng)頁，并提供面向該領域的檢索服務。無疑，主題爬行技術是垂直搜索引擎的核心部分，直接影響著垂直搜索引擎的性能。本文重點研究了主題描述、候選鏈接優(yōu)先級的預測和自適應的爬行策略等主題爬行中的關鍵技術，主要內容包括：
　　 (1)提出了一種基于維基百

2、科的主題描述方法。對主題進行清晰、準確的描述是主題爬行器的基礎，主題的描述方式也決定了主題相關性的計算方式?，F(xiàn)有的算法多采用特征集來描述主題，并通過特征詞的機械匹配來計算主題的相關性，它不僅忽視了特征詞之間的語義關系，而且使得特征詞分布過于稀疏，降低了對主題的描述性；也有一些方法引入了本體或語義詞典來分析詞語之間的語義關聯(lián)，但現(xiàn)有的本體很少，而語義詞典多存在著開放性差、詞匯量有限、更新不及時的缺點。針對這些不足，本文將易于獲取、更新及時

3、、描述客觀的維基百科作為背景知識，根據(jù)分類樹來構建主題向量空間，并將主題描述文檔映射成向量來描述主題，并且在相關性計算時引入了語義分析；同時，利用消歧參照表來解決詞語映射到概念的過程中映射不符合實際或一詞多義的問題。實驗表明，該方法比傳統(tǒng)方法在信息量總和及查準率上均有顯著提高。
　　 (2)提出了一種基于網(wǎng)頁分塊的候選鏈接優(yōu)先級的預測方法。候選鏈接的優(yōu)先級預測決定了主題爬行的方向和結果，現(xiàn)有算法多根據(jù)頁面內容、錨文本和錨文本上下

4、文來預測候選鏈接的優(yōu)先級，但頁面中含有廣告等噪音數(shù)據(jù)，錨文本上下文難以界定，錨文本包含的信息量也很有限。因此，本文首先基于深度優(yōu)先遍歷對網(wǎng)頁進行分塊，過濾掉了部分噪音節(jié)點，再從網(wǎng)頁內容文本、塊文本和錨文本三個方面綜合預測候選鏈接的優(yōu)先級。實驗表明，引入網(wǎng)頁分塊有效改善了主題爬行的性能。
　　 (3)提出了基于信息增益和基于信息量總和比率的兩種自適應方法。由于根據(jù)分類樹的概念層次體系所獲得的主題初始描述往往不夠客觀和準確，所以本文

5、在每爬行一定數(shù)量的網(wǎng)頁后，根據(jù)兩種自適應方法對已爬行的所有網(wǎng)頁自動學習并反饋更新主題向量空間中每個概念的權重，從而完善主題描述。實驗表明，兩者都實現(xiàn)了主題的增量爬行；引入基于信息增益的自適應方法后爬取的網(wǎng)頁比引入基于信息量總和比率的自適應方法后爬取的網(wǎng)頁與主題更加相關，而基于信息量總和比率的自適應方法在總體上則比基于信息增益的自適應方法有更高的穩(wěn)定性。
　　 最后，設計并實現(xiàn)了一個主題爬行的原型系統(tǒng)，并利用該原型系統(tǒng)進行了一系列