ETL過程中的數據清洗技術研究與應用.pdf

1、數據的抽取、轉換和裝入是創(chuàng)建數據倉庫系統(tǒng)的重要環(huán)節(jié)，它將組織機構內多元分散的數據按照主題統(tǒng)一裝載到數據倉庫中，能夠很好地解決組織機構內部數據一致性與信息集成化問題。然而，ETL程序的頻繁運行難免會產生大量的“臟數據”，直接導致數據倉庫技術由于數據質量而不能產生理想正確的決策分析結果，因此數據在進入數據倉庫之前需要進行清洗。數據清洗技術一直是近年來數據倉庫領域中的研究熱點，其主要任務是從原始數據集中去除不一致的和錯誤的數據。 首先

2、描述了數據質量的基本概念、評價指標及分類等問題，在此基礎上按照數據清洗算法將臟數據劃分為“獨立型臟數據”、“依賴型臟數據”兩類，并給出了相應的解決方法。其次描述了清洗的基本定義及清洗環(huán)節(jié)，定義了ETL層的數據清洗模型和在元數據庫中存儲的清洗規(guī)則后，提出了一種自動清洗和人為清洗相混合的數據清洗策略。 針對中文地址類信息的數據清洗問題，提出了基于特征字符的分詞方案，并給出了相應的分詞算法。該方案將中文地址類信息按邏輯意義分為省、市、