搜索引擎系統(tǒng)網頁消重的研究與實現.pdf

1、Internet的迅速普及和飛速發(fā)展，使人們面臨著一個信息的海洋，快速從中獲得真正重要的信息變得至關重要。搜索引擎(主要指全文搜索系統(tǒng))即是提供這種功能的一種工具。然而在搜索引擎返回的檢索結果中，存在大量的重復網頁，它們主要來自網站之間的轉載。這些內容重復的網頁既占用了網絡帶寬，又浪費存儲資源，用戶不希望看到一堆內容相同或近似的檢索結果，真正有用的結果往往淹沒在這些重復信息之中而不易被發(fā)現。如果能夠有效消除這些重復網頁，不但會提高檢索的

2、準確率，節(jié)省用戶的時間和精力，而且對搜索系統(tǒng)本身而言可以節(jié)省大量的存儲資源，提高工作效率。 本文主要研究搜索引擎中的網頁消重問題。目前有效的網頁消重方法還比較少，主要都在服務器端實現，即在搜索系統(tǒng)的采集器進行網頁采集的過程中消除重復的網頁。目前使用的方法主要有基于相同URL的方法、基于聚類的方法、基于特征碼的方法和基于簽名的方法。其中聚類的方法是先將文本基于向量空問模型表示為一個向量，然后再應用各種方法來實現聚類或分類。這種方法

3、的向量夾角計算具有很高的計算復雜度因而占用較多的處理時間。此后提出的基于特征碼的方法具有較高的消重效率，但仍然難以抵抗網頁轉載時產生的噪聲。 與以往消重工作不同的是，本文將消重工作分為服務器端和客戶端兩部分進行。在研究了大量重復網頁的基礎上，將重復網頁的概念進一步細分，分成內容完全相同的網頁和經過適當編輯、裁剪等工作后形成的基本相同或相似網頁，并分別在搜索系統(tǒng)的服務器端和客戶端進行這兩種不同類型網頁的消重工作。 在以上研

4、究工作的基礎上提出了一種基于網頁內容特征串的新方法來解決服務器端的網頁消重問題。該方法充分利用了網頁的結構特征，采取主碼和輔碼相結合的方式來標識網頁文本。主碼用來標識網頁文本的段落結構信息，輔碼用來標識網頁文本的內容信息。本文采用對主碼進行聚類，對相應類別的輔碼進行匹配的策略，提高了消重的準確率和效率。實驗證明該方法具有比較理想的消重效果。 為了實現搜索系統(tǒng)的智能化和個性化定制功能，本文在服務器端消重的基礎上，又在客戶端提出了智

5、能代理模型。在此基礎上，分析了新聞類網頁的重復特點，提出了適用于客戶端的基于關鍵詞上下文匹配的網頁消重新算法。該算法利用新聞類網頁轉載率高、重復率高的特征，考慮到用戶搜索關鍵詞一般可以表征其所希望獲得的網頁，使用用戶提交關鍵詞的上下文來構成匹配串，對各匹配串進行比較來實現網頁消重。該算法采用模糊匹配的思想來抵抗網頁噪聲，引入可以根據需要進行調整的模糊因子和重疊因子等參數，得到了滿意的消重效果。 本文為了驗證所提出算法的有效性并比