一種針對Deep Web深層數據獲取的網絡爬蟲設計與實現.pdf

1、當今的信息時代，互聯網中的信息不斷快速增長，存儲數據非常容易，但是想從中找到有用的信息卻越來越難。通用搜索引擎的出現為這一問題提供了解決方案。
　　網絡中有一部分數據信息是存放在各網站站點數據庫中的，這部分數據信息不能通過網頁中的鏈接直接獲取，而需要用戶手動填寫網站查詢表單，提交查詢命令才能訪問，這些數據被稱為DeepWeb數據。DeepWeb數據與其他網站靜態(tài)頁面中提供的信息相比，專業(yè)性更強，數據量更大，對用戶而言，更具利用有價

2、值。通用搜索引擎在進行網絡信息爬取時，無法爬取到DeepWeb數據，這對搜索引擎用戶而言，能夠獲得的有價值的信息有限。
　　E時代辛亥革命搜索引擎是一個為辛亥革命歷史事件的研究者提供檢索服務的垂直搜素引擎，網絡爬蟲子系統的研制就是該引擎必須解決的關鍵系統之一。本文在通用搜索引擎的基礎上，通過對DeepWeb數據結構特點進行分析，針對DeepWeb數據源的檢測和獲取提供了一套實現方案，解決了其中2個主要問題，即:
　　1.對D

3、eepWeb數據查詢接口的節(jié)點特征進行分析，建立節(jié)點特征庫。網絡爬蟲在獲取到新的頁面時，利用節(jié)點特征庫比對當前網頁的節(jié)點特征，尋找當前網頁中包含DeepWeb數據源的可能性，以此實現爬蟲進行數據爬取時，自動發(fā)現DeepWeb數據并將相關信息記錄至文件中。
　　2.爬蟲能夠讀取DeepWeb文件，拼裝DeepWeb數據源的查詢請求，獲取站點返回信息;通過頁面相似度的計算，為查詢結果頁面尋找一個“同類網頁”;通過對查詢結果頁面和其“同