

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領
文檔簡介
1、整個網絡中的信息按深度可分成兩個層次,表層和深層。表層主要包括“靜態(tài)網頁”,是指以文件形式靜態(tài)存放在服務器上的數據信息。深層則主要包括“動態(tài)網頁”,是指隱藏在表單背后,需要進行查詢輸入,由后臺數據庫動態(tài)生成的數據信息。這些“動態(tài)網頁”信息也被稱作深層網絡信息、Deep Web信息、Hidden Web信息,具有數量大、質量高、結構化等特點,但目前傳統(tǒng)搜索引擎卻無法將這些信息索引。如何大規(guī)模自動獲取深層網絡信息成為當前技術難題和研究熱點。
2、
本文對目前獲取深層網絡信息的主要方法進行研究,分析這些方法各自的優(yōu)缺點后,決定采用擴展當前搜索引擎爬蟲能力的方案,使其能夠自動填寫表單、構造查詢URL,從而獲取到返回頁面,這樣,搜索引擎便能像處理普通靜態(tài)頁面一樣將其索引,最后呈現(xiàn)給用戶。
為了達到上述目的,需要解決以下幾個主要問題:
(1) HTML表單的形式繁雜,如何正確的發(fā)現(xiàn)提供深層網絡數據源接口的表單并將其有用信息提取出來。
(2) HT
3、ML表單的控件類型多種多樣,如何選取查詢值組合,尤其是如何生成文本框輸入值。
(3)如何從查詢返回頁面中提取有用信息。
針對以上問題,本文對傳統(tǒng)搜索引擎爬蟲進行分析和優(yōu)化,給出深層網絡數據源發(fā)現(xiàn)及表單接口提取、自動填寫表單內容、查詢返回頁面內容抽取、深層網絡信息獲取過程中語義元數據的提取、抓取后頁面內容更新等關鍵技術的解決方案和算法。最后在傳統(tǒng)爬蟲的基礎上進行擴展,構建一個深層網絡信息發(fā)掘系統(tǒng)。同時,進行實際運行測試
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
- 6. 下載文件中如有侵權或不適當內容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 深層網絡信息發(fā)掘技術研究.pdf
- 論文-網絡信息檢索技術研究
- 58846.空間關聯(lián)規(guī)則發(fā)掘技術研究
- 深層網絡信息資源分析與獲取策略研究.pdf
- 網絡信息內容審計技術研究.pdf
- 基于信息柵格的網絡重構技術研究.pdf
- 互補結構網絡及其信息標引技術研究.pdf
- 榆黃蘑液體深層發(fā)酵技術研究.pdf
- 網絡信息抽取系統(tǒng)關鍵技術研究.pdf
- 網絡信息的情感傾向分類技術研究.pdf
- 異構信息網絡檢索技術研究.pdf
- 自適應網絡信息獲取服務技術研究.pdf
- 基于BitTorrent網絡的信息隱藏技術研究.pdf
- SDN中的網絡信息隱藏技術研究.pdf
- 網絡信息采集及智能處理技術研究.pdf
- 基于ICMP的網絡信息獲取技術研究.pdf
- 面向認知網絡的信息感知技術研究.pdf
- 網絡通信的信息隱藏技術研究.pdf
- 網絡多媒體信息還原系統(tǒng)實現(xiàn)技術研究.pdf
- 在線社會網絡中的信息推薦技術研究.pdf
評論
0/150
提交評論