分布式在線圖書爬蟲系統(tǒng)的設計與實現.pdf

1、在這個互聯網時代，電子化的產品已經深入到生活的方方面面，各種紙質的圖書也同時被各種格式的電子書所取代。只需下載到手機或者其他移動終端里，即可進行閱讀。但是在眾多的圖書之中如何進行選擇，如何大規(guī)模獲取圖書資源，一個圖書爬蟲就顯得非常重要。本文設計和實現分布式在線圖書爬蟲系統(tǒng)，采用了Scarpy架構，并通過Redis作為URL緩存隊列進行分布式擴展，使爬蟲的效率大大的提升，對Redis進行高可用配置，提升系統(tǒng)高可用性，并能夠完成增量爬取，保

2、證對于圖書的更新能夠第一時間掌握。
　　本研究主要內容包括：⑴調度器模塊，包括URL調度，URL去重等功能，主要實現了對URL按照安全哈希算法進行去重和按照URL的優(yōu)先級進行爬取，并通過Redis實現了爬蟲的分布式。⑵URL爬取模塊，通過分配給它的URL，下載對應的頁面，并對這個頁面進行解析，對于提取到的URL，繼續(xù)發(fā)送給URL緩存隊列，并把頁面里面的圖片、文件、圖書詳細信息等各種要爬取的信息發(fā)送給流水線進行下一步處理。⑶流水線模

3、塊，對于URL爬取模塊傳遞給它的信息進行規(guī)范化，通過不同的流水線進行存儲，把圖片、文件、圖書詳細信息這些數據傳到不同的存儲單元中去。⑷監(jiān)控模塊，對每個爬蟲的狀態(tài)進行監(jiān)控，監(jiān)控每個爬蟲所爬取的URL數量，爬蟲的運行情況，爬蟲運行了多長時間，并監(jiān)控每個爬蟲所在設備的狀態(tài)。⑸通過功能驗證表明新的Scrapy爬蟲系統(tǒng)滿足分布式圖書爬蟲系統(tǒng)的要求，能夠對分布式圖書網站進行有效的爬取，現在項目還是在測試階段，下一階段會對圖書內容和圖書的插圖等信息進