基于概念漂移的異常檢測技術研究.pdf

1、在機器學習中，經常存在一些與正常數據或現有的一般規(guī)律不符合的數據，這些對象就是異常數據，但在實際應用中，這些數據經常被人們忽視。實際情況是，這些數據可能具有特殊含義，在異常檢測領域，由于它們比正常數據包含更多的有用知識，它們是研究的重點，通過發(fā)現其中的規(guī)律可以迅速地對異常情況作出準確的判斷和處理。
　　在大多數系統中，傳感器接收到的數據都是快速、實時、無限的。傳感器數據是以數據流的形式傳輸到數據處理中心的，這給傳統的異常檢測技術帶

2、來了挑戰(zhàn)。同時，在數據流中，行為模式隨時間的改變可能會發(fā)生變化，即出現了模式的正常變化，也就是概念漂移。如何能夠適應概念漂移也是異常檢測領域的研究重點之一。
　　本文采用數據挖掘和基于統計的方法來對整個傳感器數據進行建模，從中識別出異常數據，包括對單個數據點進行檢測的點異常和連續(xù)一段時間出現的模式異常。為用戶提供一種有效的進行數據流異常檢測的方式，以解決發(fā)生了概念漂移的數據流中異常數據的診斷問題。
　　對于異常點的檢測，使用

3、數據挖掘中的遞歸神經網絡技術，提出了使用遞歸神經網絡(Recurrent Neural Network，RNN)進行異常點檢測的方法，RNN模型能夠有效地對傳感器采集到的無明顯規(guī)律的時間序列數據進行擬合，由于模型本身的時序性，該模型比多項式擬合和基于BP（Back Propagation）神經網絡的擬合模型有更好的擬合效果。對于從大量數據中去掉離群點或噪聲點有很重要的作用。
　　對于異常模式的檢測，由于需要考慮到概念漂移的情況，即

4、模式的正常變化。本文提出了一種全新的思路和方法，將馬爾科夫過程的思想應用于異常模式的檢測，提出了模式轉移的概念。在此基礎上提出了基于Kmeans-馬爾科夫模型的異常模式檢測方法。能夠較準確地適應概念漂移的情況。然后嘗試將該方法應用于模擬數據和本文相關項目的流數據中，并與現有的基于SAX(Symbolic Aggregate ApproXimation)的異常檢測方法進行了對比，本文提出的異常模式檢測方法能夠較準確檢測出流數據中的異常模式