基于云計算的異常流量檢測系統(tǒng)的實現(xiàn).pdf

1、互聯(lián)網(wǎng)異常是指影響網(wǎng)絡性能或造成數(shù)據(jù)破壞的事件，這些事件通常會引起某些流量特征違反某種已建立的模式或標準，分析流量特征在異常情況下的變化，并以之為基礎進行異常檢測的應用研究，可以及時地發(fā)現(xiàn)網(wǎng)絡異常、診斷網(wǎng)絡錯誤，對互聯(lián)網(wǎng)的安全運行和管理具有重要的意義。
　　 NetFlow是一種數(shù)據(jù)交換方式，一個NetFlow流定義為在一個源IP地址和目的IP地址間傳輸?shù)膯蜗驍?shù)據(jù)包流，且所有數(shù)據(jù)包具有共同的傳輸層源、目的端口號。Netflow數(shù)

2、據(jù)中包含了網(wǎng)絡異常檢測所需要的流量特征，可以利用Netflow數(shù)據(jù)所提供的網(wǎng)絡流量特征分析當前網(wǎng)絡所處的狀態(tài)。目前的基于Netflow的異常檢測尚有很多不足:1）高的誤檢率;2）多數(shù)方法難以達到高速鏈路的實時在線檢測需求;3）Netflow數(shù)據(jù)量較大，對于歷史數(shù)據(jù)不能有效的存儲;4）全網(wǎng)異常檢測方法較少且問題較多。
　　 云計算通過整合互聯(lián)網(wǎng)絡中的閑散資源，對外提供強大的存儲和計算能力，以及一些其它解決方案。Hadoop是一個開

3、源分布式數(shù)據(jù)處理框架，被用于高效地處理海量數(shù)據(jù)。由于Hadoop具有可伸縮性、高可靠性、低成本性和高效性等優(yōu)點，已成為一種流行的云計算開發(fā)平臺。Hadoop提供了云計算所需要的眾多功能:HDFS分布式文件系統(tǒng)、MapReduce計算模型、HBase分布式NoSQL列數(shù)據(jù)庫等。利用云計算開發(fā)平臺我們可以解決網(wǎng)絡數(shù)據(jù)存儲和異常檢測的眾多問題。
　　 本文以互聯(lián)網(wǎng)異常流量特征的分析為基礎，利用Hadoop云計算開發(fā)平臺，進行異常檢測的

4、應用研究，實現(xiàn)了一個基于云計算的異常流量檢測系統(tǒng)。
　　 本文主要研究內(nèi)容和貢獻如下:
　　 1.提出一種基于包數(shù)據(jù)流量特征的分析方法，并應用這種方法對流量特征的異常變化進進行了分析。主要結果是正常流量特征分布在小的時間尺度上具有一定的穩(wěn)定性,而異常流量會導致部分流量特征的分布產(chǎn)生明顯的變化，從而打破這樣的穩(wěn)定性。
　　 2.提出了用于檢測互聯(lián)網(wǎng)異常的十維異常流量分析指標，利用分析指標的變化情況分析網(wǎng)絡中存在的異