數據清洗方法研究及工具設計.pdf

1、隨著信息技術發(fā)展和企業(yè)信息化建設的進行，企業(yè)自身積累了大量的業(yè)務數據，這些數據對于企業(yè)非常珍貴，是企業(yè)了解自身經營狀況及進行正確決策的基礎。由于用戶錄入錯誤、系統(tǒng)集成及企業(yè)環(huán)境變化等因素，都會影響到數據質量。為此研究企業(yè)信息系統(tǒng)中數據清洗問題具有很強的理論性和實用性。
　　 論文通過對企業(yè)信息系統(tǒng)中存在的數據質量問題及數據清洗方法的分析與研究，詳細論述了數據質量的概念、問題種類及影響數據質量的因素，并提出了自己對數據質量的定義及

2、數據清洗的一般過程。
　　 在數據清洗方面，分析了當前對數據清洗方法的研究。提出了基于業(yè)務邏輯的數據清洗方法；在基本臨近排序算法的基礎上提出了改進的相似重復記錄匹配算法，對其中的關鍵步驟進行了改進，提高了相似重復記錄的匹配度和檢測效率。
　　 在通用數據清理工具的設計開發(fā)上，提出了一種通用可擴展的數據清洗工具平臺，文中詳細論述了該平臺的設計、開發(fā)和實現過程。通用可擴展數據清洗工具平臺具有開放的算法庫和規(guī)則庫，并可以進行擴