貝葉斯分類在垃圾短信過(guò)濾中的應(yīng)用.pdf

1、近年來(lái)，隨著移動(dòng)通訊技術(shù)的快速發(fā)展和手機(jī)用戶人數(shù)的持續(xù)增長(zhǎng)，手機(jī)短信因?yàn)榫哂须S時(shí)收發(fā)、價(jià)格低廉和便于人們傳達(dá)信息等優(yōu)點(diǎn)，已經(jīng)成為人們?nèi)粘Ｉ钪羞M(jìn)行信息交流的重要方式。不法分子利用短信的價(jià)格低廉，易于群發(fā)等特點(diǎn)，對(duì)用戶發(fā)送大量垃圾短信，嚴(yán)重影響人們的日常生活，其中詐騙類短信還對(duì)人們的財(cái)產(chǎn)安全造成威脅，因此垃圾短信過(guò)濾技術(shù)亟待完善。
　　現(xiàn)在的垃圾短信過(guò)濾技術(shù)主要有：黑白名單過(guò)濾、關(guān)鍵詞過(guò)濾和基于內(nèi)容的過(guò)濾。然而這種單一功能的過(guò)濾技術(shù)

2、的過(guò)濾能力比較有限，很多垃圾短信都過(guò)濾不了。因此本文構(gòu)建了一種包含黑白名單、關(guān)鍵詞和內(nèi)容智能過(guò)濾等功能的垃圾短信過(guò)濾系統(tǒng)。在文本分類方面樸素貝葉斯分類有一個(gè)很關(guān)鍵的條件，就是待分類文本的各個(gè)屬性特征是相互獨(dú)立的，然而這一條件在有些場(chǎng)合并不能被滿足。樸素貝葉斯在短信分類方面查全率較低，容易把正常短信歸為垃圾短信，與人們的實(shí)際期望不符。針對(duì)上面兩個(gè)問(wèn)題，本文采用了一種改進(jìn)的貝葉斯分類算法，它運(yùn)用改進(jìn)的類條件概率估計(jì)值法和改進(jìn)的判別函數(shù)來(lái)解決

3、相互獨(dú)立和查全率低的問(wèn)題。對(duì)兩種分類算法進(jìn)行了實(shí)驗(yàn)對(duì)比，結(jié)果表明改進(jìn)的貝葉斯查全率和綜合性能要優(yōu)于樸素貝葉斯。
　　隨著垃圾短信過(guò)濾系統(tǒng)的研究與發(fā)展，不法分子也想出了種種手段，通過(guò)變換短信內(nèi)容，企圖躲避過(guò)濾系統(tǒng)的攔截。對(duì)短信內(nèi)容的變換包括：添加干擾符，繁體字替換，拆分字替換，諧音字替換等。這些層出不窮的手段給垃圾短信過(guò)濾系統(tǒng)帶來(lái)巨大挑戰(zhàn)。本文對(duì)這些變換問(wèn)題進(jìn)行了研究，并給出了解決方法。
　　本文的主要工作包括：
　　1

4、.分析比較不同文本分類算法的優(yōu)缺點(diǎn)，根據(jù)手機(jī)短信分類的特點(diǎn)選擇貝葉斯分類算法作為本文的研究方法；
　　2.解決了垃圾短信的變換問(wèn)題，如：繁體字替換、諧音替換、拆分字替換、干擾符號(hào)等等；
　　3.對(duì)五種特征提取方法進(jìn)行比較，采用一種綜合詞頻和互信息優(yōu)點(diǎn)的特征提取方法，并與互信息特征提取方法進(jìn)行了實(shí)驗(yàn)比較；
　　4.參考現(xiàn)有的垃圾短信過(guò)濾技術(shù)，融合黑白名單過(guò)濾、關(guān)鍵詞過(guò)濾和基于內(nèi)容的過(guò)濾，構(gòu)建了一種基于改進(jìn)貝葉斯分類算法的