面向數(shù)據(jù)挖掘的數(shù)據(jù)預(yù)處理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、企業(yè)信息化的高速發(fā)展使得各企業(yè)都積累了大量的數(shù)據(jù)，他們都在絞盡腦汁的試圖將這些數(shù)據(jù)應(yīng)用到自身發(fā)展的決策中.數(shù)據(jù)挖掘的目的是從大量數(shù)據(jù)中提取隱含的同時(shí)又是極為有用的信息，使數(shù)據(jù)得到有效的利用.然而，由于數(shù)據(jù)庫(kù)架構(gòu)設(shè)計(jì)不合理，數(shù)據(jù)管理維護(hù)不當(dāng)，數(shù)據(jù)采集或錄入的錯(cuò)誤和一些其他原因等，導(dǎo)致數(shù)據(jù)中難免會(huì)存在一些問(wèn)題．此外，企業(yè)與企業(yè)間的數(shù)據(jù)交流也產(chǎn)生了大量的數(shù)據(jù)質(zhì)量問(wèn)題．這些問(wèn)題很大程度上影響著數(shù)據(jù)挖掘的成?。虼耍褂脭?shù)據(jù)預(yù)處理技術(shù)改善數(shù)據(jù)的質(zhì)

2、量顯得尤為重要．
　　 本文首先介紹了數(shù)據(jù)預(yù)處理的相關(guān)理論知識(shí)，按照一般文獻(xiàn)中對(duì)數(shù)據(jù)預(yù)處理的任務(wù)劃分對(duì)數(shù)據(jù)預(yù)處理的各個(gè)部分進(jìn)行了理論上的概述.
　　 其次，根據(jù)數(shù)據(jù)預(yù)處理中的基本任務(wù)結(jié)合實(shí)際應(yīng)用和研究情況將數(shù)據(jù)預(yù)處理重新分為了質(zhì)量檢查、數(shù)據(jù)清理、屬性變換、實(shí)例變換、屬性選擇和實(shí)例檢測(cè)六個(gè)部分．進(jìn)而以此為架構(gòu)設(shè)計(jì)并實(shí)現(xiàn)了一套面向數(shù)據(jù)挖掘的數(shù)據(jù)預(yù)處理系統(tǒng)，該系統(tǒng)包括數(shù)據(jù)格式轉(zhuǎn)換子系統(tǒng)和預(yù)處理算法實(shí)現(xiàn)環(huán)境子系統(tǒng)兩部分：

3、　　 (1)數(shù)據(jù)格式轉(zhuǎn)換子系統(tǒng)能夠連接各種數(shù)據(jù)源，包括數(shù)據(jù)庫(kù)或者平面文件等，實(shí)現(xiàn)對(duì)數(shù)據(jù)源的統(tǒng)一瀏覽、操作以及相互間的格式轉(zhuǎn)換．
　　 (2)預(yù)處理算法實(shí)現(xiàn)環(huán)境子系統(tǒng)主要功能有數(shù)據(jù)質(zhì)量的檢查，缺損值的填充，數(shù)據(jù)的規(guī)范化，噪音數(shù)據(jù)的平滑以及重復(fù)記錄的檢測(cè)．
　　 最后，本文還對(duì)重復(fù)記錄檢測(cè)問(wèn)題所涉及的屬性相似度、記錄間的比較策略和重復(fù)記錄的識(shí)別策略進(jìn)行了詳細(xì)分析與深入研究，并針對(duì)記錄集合的分塊策略中的后綴數(shù)組分塊策略無(wú)法解