搜索引擎中網絡爬蟲的研究與實現.pdf

1、在互聯(lián)網快速發(fā)展的背景下,搜索引擎在人們生活工作中有著舉足輕重的作用,而網絡爬蟲是搜索引擎中的信息采集器,是搜索引擎技術的最基礎部分。特別是在今天這個大數據的時代,通過網絡爬蟲在互聯(lián)網上搜集到有價值的數據,再進行數據整理,是一個快速得到有效信息的重要手段。
　　本文是基于廣度優(yōu)先算法在 Linux平臺下研究并實現的多線程網絡爬蟲程序。爬蟲系統(tǒng)從指定的初始URL開始抓取網頁,進行網頁解析,獲取包含在網頁中未被爬取的URL,再對這些U

2、RL逐條地進行爬行,盡可能多的獲取互聯(lián)網海量數據。針對網絡爬蟲系統(tǒng)中涉及的相關技術,本文詳細分析與研究了網頁抓取算法、網頁去重算法,并提出半同步/半異步并發(fā)模型在系統(tǒng)中的應用,有效的利用網絡資源,提高CPU利用率。此外,為了增加爬蟲系統(tǒng)的并發(fā)度,采用基于 Libevent開源事件驅動框架庫的線程池設計。最終,通過模塊化程序設計思想將爬蟲系統(tǒng)分為請求連接模塊、數據分析模塊、URL管理模塊、URL調度模塊等,本文對其進行一一設計與實現,程序