深層網絡信息發(fā)掘技術研究.pdf

1、整個網絡中的信息按深度可分成兩個層次，表層和深層。表層主要包括“靜態(tài)網頁”，是指以文件形式靜態(tài)存放在服務器上的數據信息。深層則主要包括“動態(tài)網頁”，是指隱藏在表單背后，需要進行查詢輸入，由后臺數據庫動態(tài)生成的數據信息。這些“動態(tài)網頁”信息也被稱作深層網絡信息、Deep Web信息、Hidden Web信息，具有數量大、質量高、結構化等特點，但目前傳統(tǒng)搜索引擎卻無法將這些信息索引。如何大規(guī)模自動獲取深層網絡信息成為當前技術難題和研究熱點。

2、
　　本文對目前獲取深層網絡信息的主要方法進行研究，分析這些方法各自的優(yōu)缺點后，決定采用擴展當前搜索引擎爬蟲能力的方案，使其能夠自動填寫表單、構造查詢URL，從而獲取到返回頁面，這樣，搜索引擎便能像處理普通靜態(tài)頁面一樣將其索引，最后呈現(xiàn)給用戶。
　　為了達到上述目的，需要解決以下幾個主要問題：
　　(1) HTML表單的形式繁雜，如何正確的發(fā)現(xiàn)提供深層網絡數據源接口的表單并將其有用信息提取出來。
　　(2) HT

3、ML表單的控件類型多種多樣，如何選取查詢值組合，尤其是如何生成文本框輸入值。
　　(3)如何從查詢返回頁面中提取有用信息。
　　針對以上問題，本文對傳統(tǒng)搜索引擎爬蟲進行分析和優(yōu)化，給出深層網絡數據源發(fā)現(xiàn)及表單接口提取、自動填寫表單內容、查詢返回頁面內容抽取、深層網絡信息獲取過程中語義元數據的提取、抓取后頁面內容更新等關鍵技術的解決方案和算法。最后在傳統(tǒng)爬蟲的基礎上進行擴展，構建一個深層網絡信息發(fā)掘系統(tǒng)。同時，進行實際運行測試