互聯(lián)網(wǎng)輿情指數(shù)挖掘方法研究.pdf

1、互聯(lián)網(wǎng)是人們獲取信息和傳遞信息的主要載體，海量的各種類型的數(shù)據(jù)在網(wǎng)絡(luò)上形成一個極其豐富的信息源。隨著互聯(lián)網(wǎng)的迅速發(fā)展，互聯(lián)網(wǎng)輿情的研究面臨著新的問題和挑戰(zhàn)。互聯(lián)網(wǎng)輿情體現(xiàn)了大多數(shù)網(wǎng)民對網(wǎng)絡(luò)突發(fā)事件集中和真實的反映。因此利用互聯(lián)網(wǎng)自身的信息觸角，發(fā)現(xiàn)處于“未然態(tài)”的各種危機因素，建立起完善的網(wǎng)絡(luò)輿情檢測系統(tǒng)勢在必行。
　　網(wǎng)絡(luò)輿情檢測通常分為網(wǎng)絡(luò)異常檢測和常規(guī)趨勢檢測兩方面。針對網(wǎng)絡(luò)異常檢測，本文采用數(shù)據(jù)流高頻項檢測技術(shù)，提出了全新

2、的小波集摘要數(shù)據(jù)結(jié)構(gòu)和改進的突變檢測算法，并在此基礎(chǔ)上進行了必要的關(guān)聯(lián)分析；針對常規(guī)趨勢檢測，本文參考了相關(guān)領(lǐng)域現(xiàn)有的指數(shù)體系，提出了層級互聯(lián)網(wǎng)輿情指數(shù)這一全新的概念。
　　考慮到對中文單詞進行聚類的復(fù)雜性，本文首先對所采集的關(guān)鍵詞語料集進行了必要的分詞，在此基礎(chǔ)上，采用人工分類、類內(nèi)高頻詞匯統(tǒng)計與聚類相結(jié)合的方法，從中統(tǒng)計出高頻詞匯，定義為輿情關(guān)鍵詞。
　　在此基礎(chǔ)上，針對所選的輿情關(guān)鍵詞進行頻度曲線繪制，針對關(guān)鍵詞頻度曲

3、線進行必要的突變分析和關(guān)聯(lián)分析。針對關(guān)鍵詞頻度曲線的突變性突發(fā)，采用小波變換與滑動窗口技術(shù)相結(jié)合的方法，擴大了可分析數(shù)據(jù)的范圍。在對傳統(tǒng)的突發(fā)檢測(Burst Detection)算法進行改進的基礎(chǔ)之上，提出了改進的突變性突發(fā)檢測算法，并對算法進行了必要的性能評價。同時，對所選擇的輿情關(guān)鍵詞做進一步的關(guān)聯(lián)分析，為輿情指數(shù)體系的建立提供必要的支持。
　　最后，參考現(xiàn)有的指數(shù)體系，通過與現(xiàn)有的社會穩(wěn)定指數(shù)進行比較，給出層級互聯(lián)網(wǎng)輿情指