面向數(shù)據(jù)流的局部異常孤立點(diǎn)動(dòng)態(tài)挖掘算法研究及應(yīng)用.pdf

1、數(shù)據(jù)挖掘的大多數(shù)算法主要研究問(wèn)題是發(fā)現(xiàn)“大模式”，孤立點(diǎn)發(fā)現(xiàn)算法是用來(lái)發(fā)現(xiàn)數(shù)據(jù)集中“小的模式”，孤立點(diǎn)是指數(shù)據(jù)集中那些偏離其他的觀測(cè)值以至于被懷疑為從不同的機(jī)制產(chǎn)生的觀測(cè)值。孤立點(diǎn)發(fā)現(xiàn)的任務(wù)可以描述如下：給定一個(gè)由N個(gè)數(shù)據(jù)點(diǎn)或?qū)ο髽?gòu)成的集合，及預(yù)期的孤立點(diǎn)數(shù)量n，發(fā)現(xiàn)與剩余的數(shù)據(jù)相比是最不一致的、異常的或顯著相異的前n個(gè)對(duì)象。孤立點(diǎn)發(fā)現(xiàn)是數(shù)據(jù)挖掘中的一個(gè)重要研究方向，已經(jīng)應(yīng)用于許多領(lǐng)域，尤其在網(wǎng)絡(luò)入侵檢測(cè)中，入侵用戶(hù)的行為明顯異于一般的

2、網(wǎng)絡(luò)用戶(hù)，基于此，本文研究了孤立點(diǎn)發(fā)現(xiàn)算法，并將孤立點(diǎn)分析算法應(yīng)用于網(wǎng)絡(luò)入侵檢測(cè)中。
　　 局部異常孤立點(diǎn)LOF算法可以發(fā)現(xiàn)基于不同密度的孤立點(diǎn)，給每個(gè)對(duì)象賦予一個(gè)局部異常因子來(lái)表示其異常程度，更貼近孤立點(diǎn)的本質(zhì)定義。近年來(lái)，一種新的數(shù)據(jù)應(yīng)用正受到廣泛關(guān)注，在這些應(yīng)用中數(shù)據(jù)不再保存持久不變的關(guān)系，而是規(guī)模宏大，連續(xù)，快速，隨時(shí)間變化的數(shù)據(jù)流。由于現(xiàn)實(shí)中不斷到達(dá)的網(wǎng)絡(luò)連接記錄屬于流數(shù)據(jù)，而原靜態(tài)LOF算法由于時(shí)問(wèn)復(fù)雜度高且無(wú)法適應(yīng)

3、數(shù)據(jù)流的變化等原因不適合實(shí)時(shí)的數(shù)據(jù)流挖掘，本文著重研究了在數(shù)據(jù)流環(huán)境下準(zhǔn)確識(shí)別和發(fā)現(xiàn)孤立點(diǎn)問(wèn)題，提出了一種孤立點(diǎn)數(shù)目n閾值自動(dòng)調(diào)整的局部異常孤立點(diǎn)動(dòng)態(tài)挖掘算法：n-IncLOF算法。該算法既保留了原靜態(tài)LOF算法的優(yōu)點(diǎn)又能滿(mǎn)足對(duì)快速到達(dá)且不斷變化的數(shù)據(jù)流的實(shí)時(shí)連續(xù)查詢(xún)的要求。n-IncLOF基于局部異常LOF孤立點(diǎn)發(fā)現(xiàn)算法，考慮到孤立點(diǎn)在流數(shù)據(jù)發(fā)生時(shí)的不均勻性，給出了孤立點(diǎn)數(shù)目閾值n調(diào)整函數(shù)，分析了算法過(guò)程中數(shù)據(jù)點(diǎn)的插入、刪除和修改等過(guò)

4、程，給出了n-IncLOF算法描述，并分析了算法的復(fù)雜度。
　　 基于n-IncLOF算法研制了網(wǎng)絡(luò)入侵異常檢測(cè)系統(tǒng)。設(shè)計(jì)并實(shí)現(xiàn)了采用n-IncLOF算法做檢測(cè)引擎基于主機(jī)和網(wǎng)絡(luò)混合特征屬性的實(shí)時(shí)網(wǎng)絡(luò)入侵異常檢測(cè)系統(tǒng)OutlierDIDS，并通過(guò)該系統(tǒng)對(duì)KDDCUP99數(shù)據(jù)流的異常檢測(cè)實(shí)驗(yàn)證明了n-IncLOF算法對(duì)孤立點(diǎn)數(shù)目的變化具有很強(qiáng)的自適應(yīng)能力，相比原算法不僅大幅提高了檢測(cè)率還降低了誤報(bào)率，同時(shí)也證明了OutlierDI