面向數(shù)據(jù)集成的數(shù)據(jù)質量控制系統(tǒng)設計與實現(xiàn).pdf

1、數(shù)據(jù)集成技術為企業(yè)解決跨多平臺，異構數(shù)據(jù)的集成問題提供了一條解決途徑。數(shù)據(jù)集成系統(tǒng)可以把企業(yè)內部的各種相關數(shù)據(jù)資源進行集成、共享，為消除信息孤島，也為企業(yè)的信息資源規(guī)劃提供了可能。數(shù)據(jù)集成過程是一個從分布的數(shù)據(jù)源(包括數(shù)據(jù)庫、應用系統(tǒng)等)抽取數(shù)據(jù)，進行轉換、集成和傳輸，以目標系統(tǒng)希望的數(shù)據(jù)形式加載到目標系統(tǒng)中的過程。在此過程中，數(shù)據(jù)質量控制是一個至關重要的基本組件和功能，它對“臟”數(shù)據(jù)進行屏蔽，防止“臟”數(shù)據(jù)進入目標系統(tǒng)，同時負責解決數(shù)

2、據(jù)源之間模式關聯(lián)和映射問題。在實際的數(shù)據(jù)集成過程中如果缺少對數(shù)據(jù)質量的有效控制，常常會導致集成過程的失敗。 “如何根據(jù)數(shù)據(jù)集成的特點，設計面向數(shù)據(jù)集成的數(shù)據(jù)質量控制系統(tǒng)，減少數(shù)據(jù)集成中的數(shù)據(jù)質量問題”是論文研究的重點。 論文首先從數(shù)據(jù)集成過程的特點出發(fā)，討論了數(shù)據(jù)集成過程中數(shù)據(jù)質量控制的特點和難點，確立了本論文關于數(shù)據(jù)集成中數(shù)據(jù)質量控制的研究方向，即：分別從模式集成和實例數(shù)據(jù)清洗兩個方面進行數(shù)據(jù)質量控制問題研究。

3、 論文分別在模式集成和實例數(shù)據(jù)清洗兩個層面提出了自動化和基于規(guī)則相結合的數(shù)據(jù)質量控制策略。在模式集成的研究中，論文提出了一種模式自動匹配算法用來輔助進行模式集成，并將模式轉換和模式沖突檢測結合到模式集成過程中。在實例數(shù)據(jù)清洗研究中，提出基于統(tǒng)計分析的異常數(shù)據(jù)自動檢測方法。同時，提出了一種針對中文的相似重復記錄的檢測算法，能夠有效地檢測多語言的相似重復記錄。在上述研究基礎上，論文提出了基于規(guī)則的數(shù)據(jù)質量控制策略，通過用戶自定義的模式集成規(guī)