搜索引擎中網頁分類和網頁凈化的研究與實現(xiàn).pdf

1、隨著社會的進步和科技的飛速發(fā)展，人們的生活已經越來越離不開網絡了，為了滿足人們日益增長的需求，海量的網頁信息也隨之產生了，如何從這些海量的信息中找到人們所需要的信息變得越來越困難，搜索引擎正是為了解決這一難題而產生的。
　　 用戶瀏覽的網頁可以從內容展現(xiàn)形式上分為目錄型網頁(hub)、主題型網頁(topic)和圖片型網頁(picture)這三類，現(xiàn)在將視頻型網頁也歸類為圖片型網頁。這三種類型的網頁在展現(xiàn)形式上的差異，直接影響到信

2、息提取的方法也有所不同，對于目錄型網頁，主要是提取中間的鏈接信息;而對于主題型網頁則是提取主題內容;圖片型網頁則主要是圖片和視頻。如何能對網頁進行快速、準確的分類是搜索引擎在預處理階段必須完成的工作。現(xiàn)在的網頁在分類上呈現(xiàn)出模糊化，許多目錄型的網頁中間包含著大量的說明性文字，使其看起來跟主題型網頁又有幾分類似，這對網頁分類又是一個巨大的挑戰(zhàn)。
　　 搜索引擎在預處理階段最主要的目的是信息提取，由于網頁是一種半結構化的數(shù)據(jù)，在信息

3、的提取過程中充滿著各種挑戰(zhàn)。為了頁面的內容豐富、布局美觀還有商業(yè)因素的慘雜，使得網頁一般都包含著無用的鏈接、廣告信息、版權信息等。這些信息嚴重影響到了網頁內容提取的準確度，進而影響到了返回給用戶檢索結果的準確性，因此在進行信息的提取過程中必須進行去噪處理。
　　 如何提高搜索引擎的搜索質量和搜索效率一直都是人們不斷研究和努力的方向，本文正是在研究搜索引擎的預處理過程中，著重研究了網頁分類和網頁凈化這兩點，研究的主要內容有:

4、>　　 (1)提出并實現(xiàn)了一種網頁分類的方法，該算法主要是對目錄型和主題型的網頁進行分類，通過一組多特征的啟發(fā)式的規(guī)則去甄別網頁的類型，實驗證明該算法在網頁分類上具有良好的效果。
　　 (2)采用網頁進行分塊的思想，通過觀察統(tǒng)計網頁的主題內容的特點，提出了通過計算該結構塊對整個網頁類型的支持率來判斷該塊是否為主題塊，同時針對不規(guī)范的網頁中主題內容離散的特點，針對性的采用了文本間相似度比較來判斷該塊是否為主題塊，實驗證明該算法是