面向搜索引擎的SPAM識別技術和對其準確率提升的研究.pdf

1、互聯網自出現以來，經過短短幾年已經發(fā)展成為一個巨大的全球化信息空間，隨著各種互聯網信息檢索系統(tǒng)(搜索引擎)的誕生，針對搜索引擎的作弊(SPAM)也成為影響用戶獲得有效結果，困擾搜索引擎發(fā)展的重要問題。本文論述了一套SPAM識別系統(tǒng)的設計到實現的過程。 文章簡述了搜索引擎常用的算法，指出了其中可能被作弊者利用的地方，并列舉了一些常用的作弊方式，分析了這些方法制作的網頁會被檢索到的原因。對于這些問題網站的處理目前都是加以人工參與，這

2、種方式準確率高，但是成本也很高，不能推廣，無法批量處理。這在海量信息的今天已經成為成為了瓶頸，這使得研發(fā)一套高效的自動識別系統(tǒng)成為必然。 系統(tǒng)考慮了實用性、擴展性、易用性等多方面因素，按三個層次進行設計。 數據采集層根據巴萊多定律對日志中的數據進行了優(yōu)化，保證在較少的設備資源投入下可以監(jiān)控較多流量的數據，在用戶體驗和成本間得到一個較好的平衡。 分類預測層通過獲取頁面的各種特征信息對頁面進行分類。這個過程是對支持向

3、量機模型的應用。將有一定特征的數據進行分析量化后轉化為訓練數據，提供給訓練模型程序，程序可以建立一個數學模型。使用訓練好的模型就可以對未知的數據進行預測，預測程序便會根據模型預測出待預測數據的分類。 數據過濾層是最后對系統(tǒng)校正的過程。一般分類結果得到的準確率在85％左右，作為生產精度還有距離。因此必須要對產出的數據再做一遍加工，使系統(tǒng)真正可以到達上線標準。 本系統(tǒng)是一個直接面向生產的系統(tǒng)，僅僅是對理論設計的實現還遠遠不夠