基于Web數(shù)據(jù)挖掘的信息綜合服務(wù)系統(tǒng)分析與設(shè)計(jì).pdf

1、隨著信息技術(shù)的迅猛發(fā)展和廣泛應(yīng)用,特別是我國(guó)國(guó)民經(jīng)濟(jì)和社會(huì)信息化進(jìn)程的全面加快,互聯(lián)網(wǎng)的基礎(chǔ)性、全局性作用日益增強(qiáng),已成為國(guó)家和社會(huì)發(fā)展的新的重要戰(zhàn)略資源。與此同時(shí)互聯(lián)網(wǎng)也給國(guó)家安全、社會(huì)穩(wěn)定帶來(lái)了嚴(yán)峻的挑戰(zhàn)。近年來(lái),一些群體性事件、突發(fā)事件和熱點(diǎn)、敏感問(wèn)題在網(wǎng)上被惡意炒作,形成了強(qiáng)大的網(wǎng)上輿論氣候,各種煽動(dòng)組織、串聯(lián)等信息通過(guò)互聯(lián)網(wǎng)的各種服務(wù)方式快速、廣泛傳播,嚴(yán)重威脅社會(huì)穩(wěn)定,網(wǎng)上有關(guān)社會(huì)穩(wěn)定和國(guó)家安全的問(wèn)題已經(jīng)十分突出。目前,國(guó)內(nèi)

2、主要從事互聯(lián)網(wǎng)輿情監(jiān)控技術(shù)研究的機(jī)構(gòu)是人民日?qǐng)?bào)社網(wǎng)絡(luò)中心輿情監(jiān)測(cè)室。政府機(jī)關(guān)開(kāi)展網(wǎng)絡(luò)監(jiān)察工作的單位主要是公安機(jī)關(guān),而公安部門開(kāi)展互聯(lián)網(wǎng)輿情監(jiān)控工作的主要是網(wǎng)絡(luò)監(jiān)察部門。對(duì)于公安機(jī)關(guān)其他部門開(kāi)展網(wǎng)絡(luò)輿情監(jiān)控工作則是通過(guò)人工網(wǎng)上巡控的方式實(shí)現(xiàn)的,那樣工作效率低,信息采集量小,獲取有價(jià)值信息比較困難。因此,建立一種互聯(lián)網(wǎng)輿情監(jiān)控的機(jī)制是非常必要和緊迫的。本項(xiàng)目就是基于以上目的進(jìn)行設(shè)計(jì)和研究的。
　　本系統(tǒng)的設(shè)計(jì)是基于作者本身實(shí)際工作的需

3、求,按照功能劃分主要分為:ETL數(shù)據(jù)獲取子系統(tǒng)、面向業(yè)務(wù)的數(shù)據(jù)處理子系統(tǒng)、數(shù)據(jù)挖掘子系統(tǒng)、信息綜合服務(wù)子系統(tǒng)四部分。ETL數(shù)據(jù)獲取子系統(tǒng)的功能定位是實(shí)現(xiàn)對(duì)一些重點(diǎn)網(wǎng)站、論壇、網(wǎng)頁(yè)微博和博客的相關(guān)Web數(shù)據(jù)的獲取、轉(zhuǎn)換、導(dǎo)入;面向業(yè)務(wù)的數(shù)據(jù)處理子系統(tǒng)的功能定位是對(duì)ETL數(shù)據(jù)獲取子系統(tǒng)獲取的數(shù)據(jù)根據(jù)業(yè)務(wù)需求進(jìn)行數(shù)據(jù)再加工;數(shù)據(jù)挖掘子系統(tǒng)的功能定位是對(duì)再加工的分類數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘,從中發(fā)現(xiàn)對(duì)我們來(lái)說(shuō)有價(jià)值的情報(bào)信息;信息綜合服務(wù)子系統(tǒng)的功能定

4、位是為系統(tǒng)用戶提供信息綜合查詢服務(wù),并為本地區(qū)本部門業(yè)務(wù)人員參與面向業(yè)務(wù)的數(shù)據(jù)再加工提供界面接口。
　　數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)挖掘技術(shù)的應(yīng)用是本系統(tǒng)的關(guān)鍵,他們直接決定了本系統(tǒng)的實(shí)現(xiàn)是否能達(dá)到我們的預(yù)期。本文首先介紹了數(shù)據(jù)倉(cāng)庫(kù)的一般理論知識(shí)、Web數(shù)據(jù)挖掘技術(shù)的研究與發(fā)展;接著從用戶的角度對(duì)本系統(tǒng)的設(shè)計(jì)進(jìn)行了相應(yīng)的需求分析;重點(diǎn)研究和討論了在本系統(tǒng)中數(shù)據(jù)倉(cāng)庫(kù)維度模型設(shè)計(jì)、數(shù)據(jù)挖掘技術(shù)的實(shí)現(xiàn)和應(yīng)用;最后對(duì)系統(tǒng)測(cè)試和試運(yùn)行情況進(jìn)行了一個(gè)簡(jiǎn)單的