基于流記錄的高速網(wǎng)絡(luò)應(yīng)用層協(xié)議識(shí)別方法的研究.pdf

1、準(zhǔn)確識(shí)別當(dāng)前網(wǎng)絡(luò)流量所使用的應(yīng)用協(xié)議可以為網(wǎng)絡(luò)監(jiān)測(cè)、分析與管理提供較傳統(tǒng)SNMP協(xié)議更豐富細(xì)致的網(wǎng)絡(luò)使用狀況報(bào)告，并且是QoS、SLA等服務(wù)的前提和基礎(chǔ)。但是，隨著網(wǎng)絡(luò)帶寬的飛速增長(zhǎng)，新應(yīng)用協(xié)議的不斷涌現(xiàn)，以及現(xiàn)有協(xié)議私密性和動(dòng)態(tài)性的增強(qiáng)，目前已有的應(yīng)用協(xié)議識(shí)別方法在整體的精度、協(xié)議的粒度、識(shí)別的時(shí)空復(fù)雜度、以及方法的靈活性與通用性方面達(dá)不到令人滿意的效果，無(wú)法滿足在10Gbps主干網(wǎng)絡(luò)信道環(huán)境下實(shí)時(shí)準(zhǔn)確標(biāo)記應(yīng)用協(xié)議的要求。
　　

2、 本論文針對(duì)實(shí)際需求，對(duì)應(yīng)用協(xié)議識(shí)別過(guò)程的各個(gè)方面進(jìn)行了深入系統(tǒng)地分析和改進(jìn)，從而達(dá)到基于當(dāng)前網(wǎng)管可用的數(shù)據(jù)，即抽樣流記錄，實(shí)時(shí)準(zhǔn)確地標(biāo)識(shí)當(dāng)前10Gbps高速網(wǎng)絡(luò)信道中每條流所使用的應(yīng)用協(xié)議的最終目標(biāo)。
　　 論文主要包括三部分內(nèi)容：首先針對(duì)應(yīng)用協(xié)議識(shí)別的基礎(chǔ)——協(xié)議行為特征，提出了新的特征選擇和測(cè)度相關(guān)關(guān)系分析方法，為協(xié)議識(shí)別提供有效依據(jù)；然后，基于優(yōu)化的測(cè)度選擇，在理論環(huán)境中討論協(xié)議識(shí)別問(wèn)題，即基于非抽樣流記錄的識(shí)別方法；

3、最后逐步限制環(huán)境條件，提出了基于抽樣流記錄和抽樣NetFlow流記錄的應(yīng)用協(xié)議識(shí)別方法。實(shí)驗(yàn)結(jié)果表明，在1/256常用報(bào)文抽樣比設(shè)置的NetFlow流記錄實(shí)際環(huán)境下，應(yīng)用協(xié)議識(shí)別達(dá)到超過(guò)86％的準(zhǔn)確率，并滿足實(shí)時(shí)監(jiān)測(cè)10Gbps主干網(wǎng)絡(luò)信道流量的效率要求。
　　 論文第一部分首先針對(duì)目前研究對(duì)協(xié)議行為特征的理解不夠全面準(zhǔn)確的情況，在分析行為特征選擇的本質(zhì)屬性基礎(chǔ)上，提出了一種基于卡方統(tǒng)計(jì)的判斷某行為測(cè)度是否可作為網(wǎng)絡(luò)應(yīng)用層協(xié)議的

4、行為特征，并對(duì)該行為特征的顯著程度進(jìn)行評(píng)估的方法——ABSA。該方法以數(shù)理統(tǒng)計(jì)理論中的卡方統(tǒng)計(jì)檢驗(yàn)為基礎(chǔ)，使用假設(shè)檢驗(yàn)判斷兩分布的擬合程度，從本質(zhì)上確定測(cè)度是否可作為某協(xié)議的行為特征；使用趨向變量分布情況的區(qū)間隨機(jī)劃分啟發(fā)式算法，保證了卡方統(tǒng)計(jì)量的穩(wěn)定性；使用多自由度間的投票判斷方式，消除自由度的不確定性；使用某置信度水平下各自由度的臨界分位點(diǎn)對(duì)卡方統(tǒng)計(jì)量進(jìn)行均化，消除統(tǒng)計(jì)量隨自由度的增長(zhǎng)對(duì)衡量差異造成的不利影響，保證了各自由度下統(tǒng)計(jì)量

5、所占權(quán)重一致。較現(xiàn)有的特征分析方法，ABSA方法對(duì)協(xié)議行為特征判定和顯著程度分析的結(jié)果更為準(zhǔn)確有效，并且具有協(xié)議樣本數(shù)比例無(wú)關(guān)等特性，可為協(xié)議識(shí)別提供更豐富有效的信息。
　　 為避免冗余測(cè)度對(duì)協(xié)議識(shí)別的負(fù)面影響，論文將對(duì)稱不確定性(SU)引入測(cè)度相關(guān)關(guān)系分析過(guò)程，并將該方法擴(kuò)展至衡量?jī)扇我饩S測(cè)度向量間的相關(guān)關(guān)系。相較于目前相關(guān)研究中廣泛使用的Pearson相關(guān)系數(shù)方法，SU方法不僅可以準(zhǔn)確表示Pearson相關(guān)系數(shù)所能體現(xiàn)的測(cè)度

6、間線性關(guān)系，而且能夠彌補(bǔ)由于Pearson相關(guān)系數(shù)的本質(zhì)缺陷所導(dǎo)致的非線性關(guān)系問(wèn)題、極端值、以及復(fù)相關(guān)等問(wèn)題，提高了網(wǎng)絡(luò)流測(cè)度相關(guān)關(guān)系分析方法的準(zhǔn)確性和通用性。同時(shí)，論文首次使用隨機(jī)數(shù)仿真和多項(xiàng)式擬合的方法，利用Pearson相關(guān)系數(shù)在關(guān)系時(shí)的準(zhǔn)確性，歸納出SU和Pearson方法在衡量無(wú)極端值線性關(guān)系的取值關(guān)系，揭示SU方法劃分任意類(lèi)型變量相關(guān)關(guān)系各程度區(qū)間的閾值。從而不僅保證了SU方法的輸出具有顯式意義，而且使應(yīng)用協(xié)議識(shí)別方法冗余測(cè)

7、度的刪除有據(jù)可循。
　　 論文第二部分在理論環(huán)境（無(wú)抽樣，流測(cè)度選取基本無(wú)限制）中討論了高速應(yīng)用協(xié)議識(shí)別算法，提出了基于多神經(jīng)網(wǎng)絡(luò)鏈的應(yīng)用協(xié)議識(shí)別方法——NNAI。該方法采用多個(gè)相對(duì)獨(dú)立的小神經(jīng)網(wǎng)絡(luò)模塊對(duì)網(wǎng)絡(luò)流進(jìn)行組合識(shí)別，每個(gè)獨(dú)立的小神經(jīng)網(wǎng)絡(luò)模塊對(duì)應(yīng)一種特定的待識(shí)別應(yīng)用協(xié)議類(lèi)別，并在模塊內(nèi)部使用基于FR共軛梯度的反向傳播算法代替?zhèn)鹘y(tǒng)BP訓(xùn)練算法。NNAI方法可利用自身各神經(jīng)網(wǎng)絡(luò)間的松耦合結(jié)構(gòu)，巧妙且有效地利用ABSA方法得出的

8、每個(gè)待識(shí)別應(yīng)用協(xié)議所獨(dú)有的行為特征。較現(xiàn)有應(yīng)用協(xié)議識(shí)別方法，NNAI方法可處理更復(fù)雜的網(wǎng)絡(luò)行為分布，將識(shí)別對(duì)象由完整TCP流擴(kuò)展至所有TCP+UDP流；在保證占網(wǎng)絡(luò)總流量比例較大協(xié)議原有的識(shí)別高精度的前提下，提高了小類(lèi)別協(xié)議識(shí)別精度，使得識(shí)別總準(zhǔn)確率進(jìn)一步上升；并且具有各協(xié)議識(shí)別精度可控、協(xié)議識(shí)別對(duì)象增/減/細(xì)化/概化過(guò)程簡(jiǎn)單有效、時(shí)空復(fù)雜度低、以及可進(jìn)行并行處理的優(yōu)點(diǎn)。
　　 論文第三部分首先分析了報(bào)文抽樣對(duì)協(xié)議間的行為特征和

9、ABSA方法的影響、對(duì)協(xié)議行為測(cè)度間相關(guān)關(guān)系和SU方法的影響、以及對(duì)協(xié)議識(shí)別和NNAI方法的影響。指出在抽樣環(huán)境下，原有特征顯著程度降低，并且測(cè)度間相關(guān)關(guān)系隨各測(cè)度的不同呈單調(diào)增或減的趨勢(shì)：但是，在流數(shù)量滿足統(tǒng)計(jì)意義的前提下，協(xié)議行為特征的選擇順序和各測(cè)度間的相關(guān)關(guān)系程度區(qū)間均與抽樣比無(wú)關(guān)。在高抽樣比環(huán)境中，協(xié)議識(shí)別所依賴的有效信息減少，協(xié)議識(shí)別準(zhǔn)確率較未抽樣時(shí)降低。論文針對(duì)高抽樣比環(huán)境下待處理流量顯著降低，計(jì)算資源較充裕的情況，將空間

10、維協(xié)議行為特征引入NNAI方法，并增加了通過(guò)已知協(xié)議的端口號(hào)進(jìn)行流關(guān)聯(lián)識(shí)別的過(guò)程，將原方法改進(jìn)為可依賴更多信息的協(xié)議識(shí)別方法NNAIS。相較于原NNAI方法，NNAIS方法的準(zhǔn)確率和各協(xié)議的識(shí)別精度在抽樣環(huán)境下均有不同程度的提高，可滿足實(shí)際常用抽樣比環(huán)境中應(yīng)用協(xié)議識(shí)別的精度和實(shí)時(shí)性的需要。
　　 為了使應(yīng)用協(xié)議識(shí)別方法可實(shí)際用于網(wǎng)管系統(tǒng)中，論文分析了目前已成為標(biāo)準(zhǔn)并被廣泛使用的流信息統(tǒng)計(jì)與交換協(xié)議——NetFlow的工作機(jī)制以及