面向網絡輿情分析的Web數(shù)據源獲取關鍵技術研究.pdf

1、隨著互聯(lián)網的普及與發(fā)展,World Wide Web已經發(fā)展成一個巨大的信息空間,如何從浩瀚的信息資源中快速尋找并獲取到適合網絡輿情分析的源數(shù)據已經成為一個難題。現(xiàn)有的Web信息獲取技術具有一定的局限性,本文將從面向輿情分析的網絡爬蟲和自動化的Web信息抽取兩方面著手研究適合輿情分析的數(shù)據獲取技術,為網絡輿情分析提供數(shù)據支持。本文首先介紹了網絡爬蟲和Web信息抽取的背景及發(fā)展歷史,分析了現(xiàn)有典型技術的特點與不足。然后分析了網絡輿情分析對

2、源數(shù)據的特殊要求,根據這些特殊要求結合兩大數(shù)據源論壇和博客網站的特點分別設計了專用爬蟲。針對論壇類網站設計了三層頁面結構的爬行策略來提高效率；采用一次設置、重復使用的方法降低手工工作量；通過倒序爬行策略解決了回帖更新的問題。針對博客類網站采用了以用戶為單位的爬行策略,通過用戶ID直接內存映射的方式快速檢查重復用戶；采用原始數(shù)據頁面爬行,獲取更新數(shù)據RSS的策略保證獲取信息的效率；引入重點用戶監(jiān)控的概念保證重要數(shù)據獲取的實時性。接下來探討

3、了一種針對列表式頁面的全自動Web信息抽取與分類的方法。本文中的方法以頁面DOM Tree結構和文本的特征為基礎,首先對Web頁面進行預處理；然后構建出頁面的DOM Tree;再通過查找相似子樹和特征判斷的方法進行有效數(shù)據記錄集的抽??；接下來通過HTML標簽的結構特征從有效數(shù)據記錄集中的每一個數(shù)據記錄中抽取詳細信息；最后通過分析模板文本、HTML標簽的Class屬性值、樣式標簽名和文本格式等特征來對詳細信息進行分類。最后對本文中方法進行