Web實體活動融合關(guān)鍵技術(shù)研究.pdf

1、如今，互聯(lián)網(wǎng)技術(shù)的發(fā)展日新月異，互聯(lián)網(wǎng)已經(jīng)逐步滲透到了人們的生活之中，并成為了人們獲取信息、傳播消息的重要渠道。伴隨著Web中信息的爆炸式增長與迅速傳播，Web已經(jīng)成為了一個重要信息源，這些蘊含在Web中的信息有著重要的研究意義與價值。對Web中的海量數(shù)據(jù)進(jìn)行分析、挖掘、處理，可以獲取豐富的信息價值，這些信息可以被集成在如市場情報分析、輿論分析以及電子商務(wù)等系統(tǒng)中，為人們提供深度信息服務(wù)。
　　 Web按其所蘊含信息的“深度”可

2、劃分為SurfaceWeb和DeepWeb。SurfaceWeb指可以通過URL鏈接而被傳統(tǒng)搜索引擎搜索到的頁面。DeepWeb是指Web中可被訪問的在線數(shù)據(jù)庫，它們的內(nèi)容存儲在真實的數(shù)據(jù)庫中。這些內(nèi)容只有在通過查詢接口進(jìn)行查詢時才會由Web服務(wù)器動態(tài)生成頁面并把結(jié)果頁面返回給訪問者。
　　 本文的研究對象是Web實體活動。所謂Web實體活動，即一個確定的實體，在一個確定的時間和一個確定的地點所做出的一個確定的活動。Web實體活

3、動的集合便構(gòu)成了Web實體的蹤跡。Web實體蹤跡具有重要的分析價值，比如就業(yè)市場情報分析中，一個企業(yè)的發(fā)展蹤跡，對于求職者具有很好的參考價值。
　　 不同于傳統(tǒng)集成系統(tǒng)研究對象主要來自于DeepWeb頁面中較為結(jié)構(gòu)化的部分，Web實體活動集成系統(tǒng)所研究的對象主要來源于Web頁面中的無結(jié)構(gòu)化文本片段，通過活動抽取從自然語句中獲取Web實體活動信息，并將其轉(zhuǎn)化為結(jié)構(gòu)化模式記錄。
　　 本文主要研究Web實體活動融合關(guān)鍵技術(shù)。

4、作為Web實體活動集成的最后一個步驟，Web實體活動融合將抽取所得的Web實體活動記錄中指向同一Web實體活動的不同表象記錄進(jìn)行整合，得到一個完整準(zhǔn)確的實體活動記錄。
　　 Web實體活動融合包含兩個主要部分，一個是Web實體活動重復(fù)記錄檢測，另一個是Web實體活動真值發(fā)現(xiàn)。前者將指向同一Web實體活動的不同表象記錄篩選出來，為Web實體活動真值發(fā)現(xiàn)服務(wù)，通過解決數(shù)據(jù)沖突、補充缺失數(shù)據(jù)并發(fā)現(xiàn)真值，最終得到完整準(zhǔn)確的記錄。本文針對

5、這兩個部分展開研究，并分別提出針對Web實體活動的方法，主要工作如下:
　　 1.基于K-means聚類與SVM分類技術(shù)對Web實體活動記錄進(jìn)行重復(fù)檢測，通過計算兩個記錄在每個維度上的相似度來獲取他們的比較向量，將重復(fù)檢測問題轉(zhuǎn)化為向量分類問題。在獲取比較向量后，先通過聚類獲取一定的樣本集合，然后使用該樣本集合訓(xùn)練SVM分類器。本文通過觀察Web實體活動問題特征，在結(jié)合傳統(tǒng)計算方法的基礎(chǔ)上，利用句子的結(jié)構(gòu)特征來計算比較向量并使用