離群檢測(cè)與離群釋義算法研究.pdf

1、離群數(shù)據(jù)就是相對(duì)于大量常規(guī)數(shù)據(jù)而表現(xiàn)出異常數(shù)據(jù)模式的數(shù)據(jù)點(diǎn)。許多數(shù)據(jù)挖掘方法致力于減少離群數(shù)據(jù)的影響或者將它們徹底清除，這樣處理可能導(dǎo)致隱藏在離群數(shù)據(jù)內(nèi)部有用信息的丟失。離群檢測(cè)就是利用數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、統(tǒng)計(jì)學(xué)、智能計(jì)算、可視化技術(shù)等數(shù)據(jù)處理技術(shù)來(lái)發(fā)現(xiàn)數(shù)據(jù)集中的離群數(shù)據(jù)和產(chǎn)生這些數(shù)據(jù)的機(jī)制，為用戶(hù)提供對(duì)數(shù)據(jù)深入的分析。
　　離群數(shù)據(jù)檢測(cè)目前已經(jīng)成為數(shù)據(jù)挖掘領(lǐng)域中一個(gè)重要的的研究方向，近年來(lái)取得了豐富的成果并開(kāi)始成功地運(yùn)用于多種領(lǐng)

2、域，尤其是用于檢測(cè)數(shù)據(jù)集中非理性的或異常性的數(shù)據(jù)行為，如金融欺詐檢測(cè)、網(wǎng)絡(luò)入侵與異常檢測(cè)、過(guò)程監(jiān)控與識(shí)別、超譜圖像異常檢測(cè)、醫(yī)學(xué)非正常反應(yīng)分析、異常信號(hào)檢測(cè)等領(lǐng)域，因此離群數(shù)據(jù)檢測(cè)與分析具有十分重要的學(xué)術(shù)意義和廣闊的應(yīng)用前景。然而，面對(duì)日益復(fù)雜的海量高維數(shù)據(jù)集，如何快速準(zhǔn)確地檢測(cè)出異常數(shù)據(jù)并分析導(dǎo)致異常的原因（離群釋義）成為一個(gè)具有挑戰(zhàn)性的課題。
　　本文對(duì)離群檢測(cè)和離群釋義中的相關(guān)理論和方法進(jìn)行了研究，并做了實(shí)驗(yàn)進(jìn)行驗(yàn)證。論文的

3、主要工作和成果如下：
　?、賹?duì)基于聚類(lèi)的離群檢測(cè)算法中的真實(shí)聚類(lèi)數(shù)目選擇對(duì)離群檢測(cè)的效果影響做了分析與研究，并提出了基于自動(dòng)聚類(lèi)方法的離群檢測(cè)算法。本文提出的算法分析兩階段，第一階段為聚類(lèi)，第二階段為離群檢測(cè)。在第一階段中，首先利用減法聚類(lèi)方法獲取真實(shí)聚類(lèi)數(shù)目的粗略估計(jì)值，然后利用聚類(lèi)驗(yàn)證指標(biāo)作為聚類(lèi)評(píng)價(jià)的標(biāo)準(zhǔn)，并搜索最優(yōu)聚類(lèi)數(shù)目，利用獲得的最優(yōu)聚類(lèi)數(shù)目進(jìn)行聚類(lèi)。在第二階段中，利用聚類(lèi)結(jié)果結(jié)合基于聚類(lèi)的離群因子定義進(jìn)行離群檢測(cè)，將

4、每個(gè)數(shù)據(jù)對(duì)象的離群因子作為離群度量。本算法通過(guò)獲取最優(yōu)聚類(lèi)數(shù)目對(duì)提高離群檢測(cè)的效果有明顯提高。
　?、卺槍?duì)類(lèi)別屬性數(shù)據(jù)集無(wú)法使用連續(xù)數(shù)值型的離群檢測(cè)方法，本文提出一種基于云模型的離群檢測(cè)算法。首先利用云模型的前向云生成算法，將每行記錄轉(zhuǎn)換成“云滴”，然后根據(jù)“云滴”隸屬于云模型的確定值作為離群度量?；谠颇Ｐ偷碾x群檢測(cè)算法可以采用無(wú)監(jiān)督和監(jiān)督的模式進(jìn)行。
　?、坩槍?duì)離群釋義進(jìn)行了初步研究，提出如果在全屬性空間中的某些屬性子集

5、上能夠發(fā)現(xiàn)與全屬性空間中發(fā)現(xiàn)的離群數(shù)據(jù)接近，稱(chēng)這樣的屬性子集為離群釋義子空間。離群釋義子空間是離群釋義研究中的一個(gè)方面，能夠部分解釋產(chǎn)生離群數(shù)據(jù)的原因；另外對(duì)于以后海量數(shù)據(jù)檢測(cè)離群數(shù)據(jù)，可以直接在離群子空間上進(jìn)行。由于查找離群子空間的時(shí)間復(fù)雜較高，本文提出一種基于冪圖剪枝的離群子空間搜索算法，并基于粗糙集的概念提出基于屬性約簡(jiǎn)的離群檢測(cè)方法，并通過(guò)實(shí)驗(yàn)驗(yàn)證其有效性。
　?、茚槍?duì)離群釋義子空間進(jìn)一步進(jìn)行分析，提出離群關(guān)鍵子空間的概念