Web Spam特征分析及其檢測技術研究.pdf

1、在當前全球信息化年代，人們可以通過 Internet網相互通信聯(lián)系，獲取信息。在過去的幾十年里，Internet網發(fā)展迅速，互聯(lián)網的普及更加快了新知識新思想的傳播。但同時，垃圾網頁也逐漸出現(xiàn)了，并嚴重降低了搜索引擎的搜索質量。垃圾網頁能誤導搜索引擎，導致垃圾網頁在搜索結果中比正常網頁排名靠前。因當今越來越多的人習慣于從互聯(lián)網上搜索信息，而Internet網的快速發(fā)展則使得垃圾網頁引起的后果越來越嚴重。
　　一般地，在搜索結果中越是

2、排在前面的網站，就意味著它的重要程度越高，也就能吸引到更多的用戶訪問它，因此給它帶來的商業(yè)利潤也越大。通常,人們只會看搜索結果的前十幾項，而忽略后面的。因此，垃圾網頁制作者出于經濟或商業(yè)利益，采用各種各樣的不正當手段欺騙搜索引擎，達到在搜索結果中排序靠前，從而獲取較高點擊率的目的。這種行為稱作“web spamming”，即網頁作弊。這種為獲取某種利益欺騙搜索引擎，破壞其排序結果，把自身不重要或與查詢不相關的網頁排在前面的網頁稱為垃圾網

3、頁（Web Spam）。
　　近些年來，Web spamming已逐漸成為困擾搜索引擎的嚴重問題，它使垃圾網頁排在某些正常網頁前面，騙取用戶點擊，嚴重干擾用戶獲取信息。這在很大程度上破壞搜索質量，降低用戶對搜索引擎的信任度。一方面，它浪費了人們大量的上網查詢時間；另一方面，它也浪費了搜索引擎大量的時空計算資源。垃圾網頁的出現(xiàn)給搜索引擎帶來了巨大的挑戰(zhàn)，也給專家學者們提出了新的研究課題：如何檢測或降級垃圾網頁。
　　目前，垃圾

4、網頁分為三大類：基于內容的垃圾網頁（content spam）、基于鏈接的垃圾網頁（link spam）及隱藏方式（cloaking）的垃圾網頁。對于這三類垃圾網頁，國內外專家學者陸續(xù)提出了許多降級或檢測的方法。
　　由于垃圾網頁欺騙搜索引擎，給人們的查詢帶來諸多的麻煩，因此需要采用降級或檢測垃圾網頁的方法。目前，一項檢測或降級垃圾網頁的最成功技術是垃圾網頁和正常網頁的特征取值是不同的，而且國際上研究成果極少。作者發(fā)現(xiàn)無論是內容特

5、征還是鏈接特征，垃圾網頁和正常網頁都表現(xiàn)出明顯不同的統(tǒng)計特性，因此首次在這個方面做了全面詳細的研究工作。本文對網頁的內容特征和鏈接特征做了深入細致的分析和研究，發(fā)現(xiàn)垃圾網頁和正常網頁的特征存在顯著差異。這寫些差異性可作為垃圾網頁檢測和降級的輔助信息。還有，作者對網頁排序算法做了深入的研究，并提出改進方法。著名的基于鏈接的網頁排序算法PageRank算法和TrustRank算法為搜索引擎提供了網頁排序依據(jù)，但網頁是按網絡正向鏈接單向計分。

6、作者在 TrustRank算法基礎上，提出利用雙向信息反饋機制計算網頁分數(shù)。大量實驗數(shù)據(jù)表明，具有雙向信息反饋機制的網頁排序算法能取得令人滿意的結果，且優(yōu)于PageRank算法和TrustRank算法。
　　本文的具體研究內容和主要貢獻包括以下三個方面。
　　1、網頁內容特征及其相關性分析
　　本文全面地研究了正常網頁和垃圾網頁的單個內容特征和含多個相關聯(lián)子特征的內容特征簇，作者得出的結論是：正常網頁的內容特征和垃圾網

7、頁的內容特征的確存在很大的差異。
　　作者探索了所有網頁的內容特征，發(fā)現(xiàn)正常網頁的單個內容特征包括：網頁單個內容特征即網頁單詞數(shù)量、網頁標題單詞數(shù)量、平均單詞長度、錨文本所占比例、可見文本所占比例及網頁壓縮率都具有較強的規(guī)律性，在一定范圍內大體與通用概率分布一致，而垃圾網頁則不然，垃圾網頁的單個內容特征則幾乎沒有規(guī)律可循。實驗表明，正常網頁的制作是規(guī)范的、合理的；而垃圾網頁的創(chuàng)建者為了提高網頁排名而隨心所欲地制作垃圾網頁，造成了垃

8、圾網頁內容特征的不規(guī)律性。
　　作者還提出了網頁的內容特征簇中子特征之間相關度包括網頁n-連詞分布熵和n-連詞獨立測度的相關度；含多個相關子特征的內容特征簇即語料庫準確率、語料庫召回率、查詢準確率、查詢召回率四個特征簇中子特征的相關度的計算公式，并做了相關實驗。內容特征簇中子特征之間的相關度的實驗表明：垃圾網頁的語料庫準確率和語料庫召回率高于正常網頁，說明垃圾網頁在制作時特意使用了大量的流行詞，而正常網頁在制作時并沒有刻意使用流行

9、詞；而垃圾網頁的查詢準確率遠遠低于正常網頁，其查詢召回率也低于正常網頁，說明垃圾網頁在很大程度上影響了搜索引擎的搜索質量，極大地降低了查詢準確率，浪費了用戶大量的查詢時間。
　　本文對網頁的內容特征作了全面詳細的分析。研究結果表明，無論是單個內容特征，還是內容特征簇中子特征之間相關度，正常網頁和垃圾網頁都有很大的差別。這項研究旨在為垃圾網頁的降級和檢測提供幫助。
　　2、網頁鏈接特征研究
　　本文對網頁的單個鏈接特征和

10、鏈接特征組做了深入的研究，發(fā)現(xiàn)正常網頁和垃圾網頁的鏈接特征存在明顯的差異。
　　通常，垃圾網頁eq_hp_mp取值為1的比例高于正常網頁。正常網頁的單個鏈接特征包括 assortativity_hp(/mp)、 avgin_of_out_hp(/mp)、 avgout_of_in_hp(/mp)、indegree_hp(/mp)、 outdegree_hp(/mp)、 pagerank_hp(/mp)、 prsigma_hp(/m

11、p)和trustrank_hp(/mp)都在某置信區(qū)間內與某通用概率分布近似一致（除了reciprocity_hp(/mp)），而垃圾網頁則不然。垃圾網頁的單個鏈接特征反映出垃圾網頁制作者隨意采用多種手段增加網頁入鏈接，提高自身網頁的排序結果，而造成網絡鏈接結構改變。所有這些方法都導致了垃圾網頁鏈接特征的不規(guī)律性。
　　垃圾網頁的鏈接特征組（包括neighbors組、siteneighbors組和truncatedpagerank

12、組）的統(tǒng)計結果則顯示出正常網頁與鏈接網頁的同次子特征及由此計算出的網頁和主機前驅增長率是有很大不同的。這反映出在實際的網絡鏈接圖中，與正常網頁相比，由垃圾網頁組成的子網是在某種程度上較獨立于整個網絡的，且垃圾網頁依仗其前驅網頁提高自身PageRank值的程度高于正常網頁。對鏈接特征組的研究同樣反映出正常網頁和垃圾網頁的鏈接結構是不同的。
　　本文對網頁的鏈接特征作了全面詳細的分析。研究結果表明，無論是單個鏈接特征，還是鏈接特征組，

13、正常網頁和垃圾網頁都存在差別。這項研究旨在為垃圾網頁的降級和檢測提供幫助。
　　3、提出有向網絡鏈接圖中建立雙向趨勢信息反饋的垃圾網頁檢測算法
　　本文在 TrustRank算法基礎上，提出了基于網絡鏈接結構的具有雙向趨勢信息反饋機制的網頁排序算法。算法假設網絡中的每個網頁都具備兩面性：趨向正常網頁的正面和趨向垃圾網頁的反面，因此每個網頁都被賦予正分和負分。該算法在網絡有向鏈接圖上建立雙向趨勢信息反饋機制，提出采用雙向趨勢信

14、息函數(shù)得出的反饋信息對網頁評分，并給出了相應排序算法用于檢測或降級垃圾網頁。算法中每次循環(huán)都會在整個網絡中根據(jù)雙向趨勢信息更新網頁的正分和負分，當算法收斂時網頁的得分趨于穩(wěn)定，最終得到了每個網頁的得分。大量實驗數(shù)據(jù)表明，該算法用于檢測或降級垃圾網頁的效果優(yōu)于 PageRank算法和TrustRank算法，能得到令人滿意的結果。
　　總之，因垃圾網頁干擾搜索引擎，降低查詢準確率，因此迫切需要檢測或降級垃圾網頁。本文主要研究Web S