基于數(shù)據(jù)挖掘的中文垃圾郵件過(guò)濾技術(shù)研究.pdf

1、如今，電子郵件是人們廣泛應(yīng)用的最經(jīng)濟(jì)的一種通信手段之一。但隨之而來(lái)的副產(chǎn)品—垃圾郵件卻越來(lái)越對(duì)系統(tǒng)的安全和人們的生活造成了嚴(yán)重的威脅，反垃圾郵件問(wèn)題已經(jīng)成為全球性的具有重要現(xiàn)實(shí)意義的研究課題，其中中文垃圾郵件作為垃圾郵件的重要組成部分必須給以足夠的重視。郵件過(guò)濾技術(shù)是反垃圾郵件的重要手段，目前主要有基于IP層的反垃圾郵件技術(shù)、基于SMTP層的反垃圾郵件技術(shù)和基于郵件內(nèi)容的過(guò)濾。本文的研究就屬于基于郵件內(nèi)容的過(guò)濾方法。 本文分析了

2、當(dāng)前流行的反垃圾郵件一般對(duì)策和技術(shù)的基本原理及其優(yōu)缺點(diǎn)，在此基礎(chǔ)上，借鑒了文本分類(lèi)的思想，提出把數(shù)據(jù)挖掘中的K-最近鄰方法和RBF神經(jīng)網(wǎng)路算法引入中文郵件的內(nèi)容過(guò)濾。 在對(duì)郵件樣本過(guò)濾之前要先進(jìn)行以下預(yù)處理步驟，首先本文選用正向最大匹配法對(duì)郵件樣本正文文本作分詞處理，取得郵件的特征項(xiàng)；接著利用互信息和優(yōu)勢(shì)率從大量特征項(xiàng)中選擇對(duì)郵件分類(lèi)貢獻(xiàn)大的少量特征項(xiàng)，以減少向量維數(shù)；最后計(jì)算每個(gè)特征項(xiàng)的權(quán)重，并采用向量空間模型的邏輯結(jié)構(gòu)表示郵

3、件文本，構(gòu)建郵件樣本庫(kù)，以下的實(shí)驗(yàn)都是在這樣經(jīng)過(guò)了預(yù)處理后的郵件樣本庫(kù)上進(jìn)行的。針對(duì)K-最近鄰方法的計(jì)算時(shí)間復(fù)雜度較大的問(wèn)題，提出了兩種改進(jìn)方案，實(shí)驗(yàn)結(jié)果顯示，改進(jìn)后的方案在保證較高準(zhǔn)確率的同時(shí)，一定程度上減少了計(jì)算量，降低了計(jì)算時(shí)間復(fù)雜度，在對(duì)垃圾郵件進(jìn)行分類(lèi)與過(guò)濾時(shí)具有較好的性能。RBF神經(jīng)網(wǎng)絡(luò)由于其輸出對(duì)權(quán)值的線(xiàn)性關(guān)系，更適于系統(tǒng)辨識(shí)，實(shí)驗(yàn)證明該方法對(duì)于中文郵件過(guò)濾系統(tǒng)切實(shí)可行、效果良好，是對(duì)郵件過(guò)濾的一種新嘗試。本文探索了過(guò)濾郵