面向XML相似性重復(fù)數(shù)據(jù)的清洗方法研究.pdf

1、隨著互聯(lián)網(wǎng)信息技術(shù)的不斷發(fā)展以及獲取網(wǎng)絡(luò)數(shù)據(jù)的方法多樣化，大量電子數(shù)據(jù)在互聯(lián)網(wǎng)中產(chǎn)生，其在各領(lǐng)域中的應(yīng)用地位也隨之提高?？蓴U(kuò)展標(biāo)記語(yǔ)言XML數(shù)據(jù)也大量飛速增長(zhǎng)，XML作為半結(jié)構(gòu)化數(shù)據(jù)由于自身特點(diǎn)及優(yōu)勢(shì)在各應(yīng)用領(lǐng)域具有極大的重要性，但作為半結(jié)構(gòu)化數(shù)據(jù)同樣會(huì)出現(xiàn)數(shù)據(jù)質(zhì)量問題，因此XML數(shù)據(jù)清洗問題不容忽視。由于XML數(shù)據(jù)自我描述特點(diǎn)，使其數(shù)據(jù)表現(xiàn)格式靈活自由，導(dǎo)致XML數(shù)據(jù)文檔重復(fù)存在，尤其是相似性重復(fù)數(shù)據(jù)，將會(huì)導(dǎo)致大量冗余信息產(chǎn)生。

2、>　　目前存在的有效分析和管理數(shù)據(jù)的方法工具只適用于對(duì)XML數(shù)據(jù)的簡(jiǎn)單分析操作，對(duì)問題數(shù)據(jù)進(jìn)行有效處理總是被動(dòng)的，并不能很好地解決XML的數(shù)據(jù)質(zhì)量問題，因此清洗之后所保留的信息量只是XML原始數(shù)據(jù)信息量的一小部分而已。到目前為止，已有大量文獻(xiàn)研究XML數(shù)據(jù)清洗方面的有關(guān)問題，其中大部分主要集中在XML相似性重復(fù)數(shù)據(jù)清洗方面，因?yàn)橄嗨菩灾貜?fù)數(shù)據(jù)問題一直是數(shù)據(jù)清洗的難題，其難點(diǎn)在于對(duì)存在的相似性重復(fù)數(shù)據(jù)進(jìn)行檢測(cè)，該過程對(duì)獲取的信息準(zhǔn)確度也同

3、樣非常重要。針對(duì)目前XML相似性重復(fù)數(shù)據(jù)的檢測(cè)算法所存在的問題即時(shí)間復(fù)雜度和清洗效率方面存在的問題，本文對(duì)XML相似性重復(fù)數(shù)據(jù)檢測(cè)方法進(jìn)行了優(yōu)化，為以后的數(shù)據(jù)挖掘等工作奠定基礎(chǔ)。
　　本文針對(duì)XML相似性重復(fù)數(shù)據(jù)及其清洗問題方面進(jìn)行了重點(diǎn)研究。對(duì)XML相似性重復(fù)數(shù)據(jù)進(jìn)行定義，運(yùn)用路徑匹配方法對(duì)XML文檔進(jìn)行初步分類，對(duì)PSO檢測(cè)算法進(jìn)行了優(yōu)化即GA-PSO算法，用于XML相似性重復(fù)數(shù)據(jù)的檢測(cè)。該算法將GA中的交叉crossover