網絡安全掃描器中網絡爬蟲的設計與實現.pdf

1、本文的研究目的在于設計和實現網絡爬蟲，該模塊是Web應用程序漏洞評估工具的重要組成部分，設計和開發(fā)Web應用程序漏洞評估工具目的在于掃描網站、識別安全漏洞并且給出掃描評估報告。
　　 網絡爬蟲同樣被稱為搜尋器或機器人，是一種自動從網站上下載WEB頁面的程序。設計網絡爬蟲的主要目的在于恢復WEB頁面。爬蟲的主要目標在于下載一系列重要的頁面，刷新已下載的頁面，發(fā)現新的頁面和保證頁面擁有一個合適的展現。
　　 網絡爬蟲同樣被用

2、在信息提取上，例如提取商業(yè)情報，一個公司可以利用網絡爬蟲從WEB網站上提取關于他們競爭對手的信息。網絡爬蟲的其他應用在于監(jiān)測WEB頁面和搜索引擎。爬蟲使得通過WEB頁面中的超鏈接自動提取網頁中的信息來實現上述功應用變得可能。一般來說，爬蟲開始都是從一個初始的頁面中提取超鏈接，然后從這些超鏈接中得到更多的頁面信息，直到頁面數量達到一定的規(guī)?；蛘咭呀泴崿F某些較高的目標。
　　 在這個簡單的敘述下面有更多復雜的研究點，例如可以利用的資