基于DOM的智能網頁信息抽取技術研究.pdf

1、隨著Internet的快速發(fā)展，Web已經發(fā)展成為一種巨大的、分布式的和共享的信息資源。目前Web數(shù)據大都以HTML頁面的形式出現(xiàn)。由于HTML描述的數(shù)據是一種半結構化的數(shù)據，這使得由HTML描述的Web頁面只適合人類的瀏覽，應用程序無法直接解析并利用Web上的豐富信息。Web中一類重要的信息網頁是數(shù)據提供網站的動態(tài)Web頁面，如各種門戶新聞網站、電子商務網站等等。這類網頁中自由文本數(shù)據少，網頁結構化程度高，往往數(shù)量巨大且內容豐富，因而

2、信息抽取工作非常有價值。如何利用程序從海量的Web中快速抽取信息從而提高人們獲取信息的效率變得越來越重要。為了增強Web數(shù)據的可用性，提供更多的增值服務，出現(xiàn)了Web信息抽取技術。它通過包裝(Wrapper)現(xiàn)有的Web信息源，將網頁上的信息以結構化的方式抽取出來，為應用程序利用Web中的數(shù)據提供了可能，因此有著廣闊的前景，是當今數(shù)據庫領域的研究熱點之一。 本文設計了一個基于DOM模型的智能網頁信息自動抽取系統(tǒng)，做到能夠對網頁文

3、本進行分析處理、特征提取與選擇、文本分類以及頁面區(qū)域的分割與重構等，從而將抽取的有用信息以結構化數(shù)據存儲在數(shù)據庫中，并且可以隨時應用于針對特定信息查詢的應用程序中。 首先，本文簡述了信息抽取技術的研究與發(fā)展，對幾種典型的Web信息抽取技術進行了綜合比較，然后詳細介紹了DOM模型的理論和編程實踐以及文本分類技術。 接下來，本文詳細闡述了網頁主體信息抽取的體系結構、設計方法和處理流程。首先討論了基于DOM分析器的文本預處理的

4、解決方案，然后使用信息增益作為特征評估函數(shù)，以它的值作為評估函數(shù)值，用以對網頁文本進行特征項加權，進行文本特征提取。在文本自動分類的章節(jié)中，介紹了使用KNN－SVM算法進行自動分類，并介紹了利用映射表進行頁面區(qū)域分割，再根據內容相關性進行頁面重構。 最后，文章給出了基于DOM的智能網頁信息抽取系統(tǒng)的原型，取得了較好的實驗結果。從一系列動態(tài)網站提供的Web網頁的抽取實驗，以及與其他一些通過多個頁面的信息抽取的算法的結果對比可以看出