基于XML的Web數(shù)據存儲與數(shù)據清洗技術研究與實現(xiàn).pdf

1、隨著互聯(lián)網的快速發(fā)展，因特網大大地改變著人類的生活方式和商業(yè)模式，Web資源浩瀚如海而且廉價，使得越來越多的公司、機構以及組織希望從中挖掘出有價值的商用信息以應用于決策支持。然而數(shù)據挖掘、數(shù)據倉庫的數(shù)據源往往來自于結構化的數(shù)據，如關系數(shù)據庫等，數(shù)據需求的迫切與數(shù)據格式定義的不一致性，使得將Web信息轉換成關系數(shù)據庫的數(shù)據，并對轉換后的數(shù)據進行處理，為決策支持提供高質量的數(shù)據顯得尤其重要。 本文主要對Web數(shù)據存儲和數(shù)據清洗技術進

2、行了深入的學習和探討，并利用數(shù)據清洗技術解決存儲過程中因Web信息重復產生的數(shù)據冗余問題，本文主要的工作內容如下： 1.在介紹XML和分析Web信息顯示特點的基礎上，探討了XML作為Web信息與關系數(shù)據庫轉換中介的優(yōu)勢，在對XML與關系數(shù)據庫相互映射規(guī)則研究的基礎之上，構造了一個以XML為轉換中介將Web數(shù)據存儲到關系數(shù)據庫，并將數(shù)據清洗技術應用于數(shù)據庫的重復記錄清洗的模型框架，同時將該模型框架應用于Web教學資源信息的存儲與清

3、洗，來驗證其有效性和實用性。 2.深入學習和探討了相似重復記錄檢測中的字段匹配算法，如基本字段匹配算法、Smith-Waterman(S-W)算法以及基于編輯距離的字段匹配算法。在分析字段匹配算法對于中文字段匹配的不足和重復字段特征的基礎上，提出了基于字段關鍵字匹配優(yōu)化方案，使得相似重復記錄的召回率R(Recall)和查準率P(Precision)都能得到較好的滿足。 3.由于本文提出了基于字段關鍵字匹配的算法改進，所以