Deep Web數(shù)據獲取方法研究.pdf

1、隨著互聯(lián)網的飛速發(fā)展,Web中的信息規(guī)模日益擴大,為人們提供了各種各樣可利用的信息。其中大量的信息是存儲在Web數(shù)據庫當中,只能通過網頁中的查詢接口才能訪問。改變了通過鏈接來訪問網頁的方式,使得傳統(tǒng)的搜索引擎無法獲取,因而被稱為Deep Web。高速增長的Deep Web信息已成為人們進行信息獲取的一個重要來源,然而Deep Web數(shù)據的異構性和動態(tài)性,為大規(guī)模Deep Web數(shù)據集成帶來巨大的挑戰(zhàn)。通過獲取Deep Web的數(shù)據,在本

2、地集成Web數(shù)據庫的重要性正在逐漸凸顯。
　　 本文針對Deep Web數(shù)據獲取的相關技術進行深入研究,并提出了相應的算法和模型。本文的主要研究工作如下:
　　 (1)研究了Deep Web站點和查詢接口的特點,在表單的屬性選擇方面,提出了一種基于屬性相關度的屬性組合有效性的計算方法。
　　 (2)分析了查詢接口中屬性的特點,提出了通過機器學習的方法識別查詢接口中每個特定的文本屬性。
　　 (3)通過對屬

3、性的分類,針對不同類型的屬性采用不同方法產生查詢詞。對于普通的文本屬性,提出了通過抽取查詢結果頁中的相應內容,并通過適應性策略來選取合適的關鍵詞作為查詢詞的方法。對于特定的文本屬性,使用人工建立知識庫的方法。
　　 (4)分析了Deep Web數(shù)據源中網頁的更新特點,通過泊松模型對網頁更新事件建立模型,增量獲取Deep Web數(shù)據。并設計了增量獲取Deep Web數(shù)據的爬蟲系統(tǒng)結構。
　　 此外,本文還對文中提出的方法和