Web信息內容變化檢測技術研究與實現.pdf

1、當前,World Wide Web已經成為世界上最大的、類型最齊全的共享信息的載體。在互聯網為用戶提供豐富、快捷的信息的同時,也造成了信息過載的問題。World WideWeb中的網頁信息量的指數速度增長給Web信息提取和搜索引擎等應用帶來了巨大的壓力?；ヂ摼W中的信息變化頻繁,為了實時地獲取這些信息,需要對這些的變化進行檢測,并且隨著互聯網信息以指數級形式增長,需要檢測的數據的規(guī)模也隨之增加,這對網頁變化檢測算法的效率提出了更高的要求。

2、對Web信息變化檢測技術的研究具有重要意義。
　　 本文使用基于文檔結構樹比較法作為網頁變化檢測的核心技術,設計并實現了一個基于DOM結構的Web信息內容變化檢測方案。整個方案由檢測信息定制、網頁變化檢測和網頁變化可視化三個部分構成。其中本文的關鍵部分-網頁變化檢測又包括Web頁面預處理、Web頁面正文定位、Web頁面編碼和網頁變化比較四個部分。檢測信息定制部分是對需要檢測的網頁進行設置；Web頁面預處理過程中采用開源工具Htm

3、lCleaner對網頁進行清洗,并將HTML文檔轉化為DOM樹；Web頁面正文定位部分則采用基于文本密度的正文提取方法定位網頁的正文；為了減少網頁的存儲空間和加快后續(xù)的處理速度,Web頁面編碼部分則采用網頁摘要算法對DOM對象進行編碼,并將編碼所得的數組對象和數組列表對象存儲于數據庫中,作為網頁變化檢測部分的歷史數據,同時根據可視化顯示歷史網頁的需要,該部分還包含了將PDE集合信息轉化為HTML源文檔的功能；網頁變化檢測部分使用基于歷史