

版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、大數(shù)據(jù)時(shí)代,隨著數(shù)據(jù)量不斷增長(zhǎng),存儲(chǔ)與計(jì)算集群的規(guī)模也逐漸擴(kuò)大,幾百上千臺(tái)的云計(jì)算環(huán)境已不鮮見?,F(xiàn)在的集群所需要解決的問(wèn)題不僅僅是高性能、高可靠性、高可擴(kuò)展性,還需要面對(duì)易維護(hù)性以及數(shù)據(jù)平臺(tái)內(nèi)部的數(shù)據(jù)共享性等諸多挑戰(zhàn)。優(yōu)秀的數(shù)據(jù)處理平臺(tái)既能提供豐富完善的業(yè)務(wù)應(yīng)用,又能實(shí)現(xiàn)數(shù)據(jù)平臺(tái)各組件的集中式管理、方便系統(tǒng)運(yùn)維人員日常監(jiān)測(cè)、提升運(yùn)維效率,并能反饋系統(tǒng)運(yùn)行狀態(tài)給系統(tǒng)開發(fā)人員。大數(shù)據(jù)時(shí)代的業(yè)務(wù)與運(yùn)維將緊密的結(jié)合在一起。
大數(shù)據(jù)已開
2、始影響并應(yīng)用到人類致力于發(fā)展的所有領(lǐng)域中,公安工作領(lǐng)域亦不例外。基于大數(shù)據(jù)技術(shù)的公安移動(dòng)通信數(shù)據(jù)處理平臺(tái)以海量結(jié)構(gòu)化通信數(shù)據(jù)和平臺(tái)各組件產(chǎn)生的海量結(jié)構(gòu)化、半結(jié)構(gòu)化日志數(shù)據(jù)為研究對(duì)象,設(shè)計(jì)并實(shí)現(xiàn)了一種融合業(yè)務(wù)系統(tǒng)與運(yùn)維系統(tǒng),集成實(shí)時(shí)數(shù)據(jù)流處理引擎、大數(shù)據(jù)管理引擎、分布式內(nèi)存計(jì)算架構(gòu)和數(shù)據(jù)交換系統(tǒng)的解決方案。
本文從公安信息化建設(shè)實(shí)際工作出發(fā),根據(jù)公安部門提供的全省手機(jī)通信實(shí)時(shí)數(shù)據(jù)流傳輸接口,設(shè)計(jì)并實(shí)現(xiàn)了實(shí)時(shí)數(shù)據(jù)流處理引擎,對(duì)不同
3、運(yùn)營(yíng)商、不同信令的實(shí)時(shí)通信數(shù)據(jù)流實(shí)施抽取、清洗、關(guān)聯(lián)回填等步驟后裝載到數(shù)據(jù)倉(cāng)庫(kù)中?;跀?shù)據(jù)倉(cāng)庫(kù),整合地理信息系統(tǒng)與WEB系統(tǒng),構(gòu)建了移動(dòng)通信數(shù)據(jù)分析子系統(tǒng),在空間、時(shí)間、目標(biāo)號(hào)碼等多個(gè)維度上對(duì)通信數(shù)據(jù)進(jìn)行查詢、分析。另外,為實(shí)現(xiàn)通訊數(shù)據(jù)處理平臺(tái)的高可靠性、易維護(hù)性以及數(shù)據(jù)平臺(tái)內(nèi)部組件間高效的數(shù)據(jù)交換,設(shè)計(jì)并實(shí)現(xiàn)了日志數(shù)據(jù)分析子系統(tǒng),通過(guò)整合數(shù)據(jù)采集工具、分布式消息隊(duì)列、全文搜索引擎和分布式內(nèi)存計(jì)算架構(gòu)實(shí)現(xiàn)了對(duì)通信數(shù)據(jù)的處理、以及數(shù)據(jù)平臺(tái)
4、組件日志數(shù)據(jù)的收集、處理與分析,本系統(tǒng)在濟(jì)南市公安局已經(jīng)成功應(yīng)用,在“科技強(qiáng)警”中起到了重要作用,為分析案情提供了基于通信大數(shù)據(jù)的高效分析方法,同時(shí)也大大提高系統(tǒng)研發(fā)與運(yùn)維人員的工作效率。
本文首先對(duì)海量通信數(shù)據(jù)和日志數(shù)據(jù)應(yīng)用環(huán)境下公安數(shù)據(jù)中心建設(shè)的課題背景進(jìn)行研究,分析了公安對(duì)基于移動(dòng)通信數(shù)據(jù)的大型數(shù)據(jù)處理平臺(tái)的需求以及目前公共安全領(lǐng)域數(shù)據(jù)集成平臺(tái)的應(yīng)用情況。第二,依據(jù)需求分析,通過(guò)架構(gòu)預(yù)研與技術(shù)選型,給出了基于大數(shù)據(jù)技術(shù)的
5、公安移動(dòng)通信數(shù)據(jù)處理平臺(tái)實(shí)時(shí)數(shù)據(jù)流處理引擎、移動(dòng)通信數(shù)據(jù)分析子系統(tǒng)、日志數(shù)據(jù)分析子系統(tǒng)的概要結(jié)構(gòu)設(shè)計(jì),包含系統(tǒng)架構(gòu)設(shè)計(jì)和技術(shù)架構(gòu)設(shè)計(jì),技術(shù)架構(gòu)設(shè)計(jì)主要依照分層思想定義數(shù)據(jù)處理平臺(tái)各組件的功能,系統(tǒng)架構(gòu)設(shè)計(jì)的出發(fā)點(diǎn)在于系統(tǒng)的可擴(kuò)展性、高可用性、可維護(hù)性,對(duì)現(xiàn)有的主流開源大數(shù)據(jù)技術(shù)進(jìn)行了調(diào)研,闡述了日志處理解決方案ELK Stack、分布式內(nèi)存計(jì)算架構(gòu)Spark與Hadoop Ecosystem的融合架構(gòu),詳述了由數(shù)據(jù)采集組件(Flume、
6、Logstash)、分布式數(shù)據(jù)流處理框架(Spark Streaming)組成的實(shí)時(shí)數(shù)據(jù)流處理引擎的設(shè)計(jì)依據(jù),以及由分布式列式數(shù)據(jù)倉(cāng)庫(kù)(Hbase)、分布式消息隊(duì)列(Kafka)、全文搜索引擎(Elasticsearch)組成的大數(shù)據(jù)管理引擎的設(shè)計(jì)方案和特點(diǎn)等。第三,給出了移動(dòng)通信數(shù)據(jù)分析子系統(tǒng)與日志數(shù)據(jù)分析子系統(tǒng)各模塊的詳細(xì)設(shè)計(jì),在詳細(xì)設(shè)計(jì)的基礎(chǔ)上給出各個(gè)模塊的實(shí)現(xiàn)和測(cè)試,包括利用公安提供的實(shí)時(shí)數(shù)據(jù)流接口進(jìn)行實(shí)時(shí)數(shù)據(jù)流處理程序的開發(fā),
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫(kù)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 公安行業(yè)大數(shù)據(jù)處理平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn).pdf
- 大數(shù)據(jù)處理綜合處理服務(wù)平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)
- 基于大數(shù)據(jù)技術(shù)的公安智慧搜索平臺(tái)設(shè)計(jì)與實(shí)現(xiàn).pdf
- 基于YARN的工業(yè)大數(shù)據(jù)處理平臺(tái)研究與實(shí)現(xiàn).pdf
- 基于移動(dòng)通信數(shù)據(jù)處理的公安流動(dòng)人口管理系統(tǒng)設(shè)計(jì)與研究.pdf
- 基于VPX的數(shù)據(jù)處理平臺(tái)實(shí)現(xiàn).pdf
- 基于Ajax技術(shù)電信財(cái)務(wù)數(shù)據(jù)處理平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn).pdf
- 基于大數(shù)據(jù)的數(shù)據(jù)轉(zhuǎn)換平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn).pdf
- 基于ajax技術(shù)電信財(cái)務(wù)數(shù)據(jù)處理平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)
- 通信性能管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)——數(shù)據(jù)接入與數(shù)據(jù)處理.pdf
- 大數(shù)據(jù)處理的關(guān)鍵技術(shù)
- 公安大數(shù)據(jù)可視化分析平臺(tái)設(shè)計(jì)與實(shí)現(xiàn).pdf
- 基于云環(huán)境的電信數(shù)據(jù)處理平臺(tái)設(shè)計(jì)與實(shí)現(xiàn).pdf
- 海量銷售數(shù)據(jù)處理平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn).pdf
- 微陣列數(shù)據(jù)處理平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn).pdf
- GMR通信系統(tǒng)傳輸數(shù)據(jù)處理的設(shè)計(jì)與實(shí)現(xiàn).pdf
- 大數(shù)據(jù)環(huán)境下的實(shí)時(shí)流式數(shù)據(jù)處理技術(shù).pdf
- 遙感數(shù)據(jù)處理網(wǎng)格平臺(tái)的設(shè)計(jì)與初步實(shí)現(xiàn).pdf
- 基于PDA的移動(dòng)數(shù)據(jù)處理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf
- 基于Hadoop的交通物流大數(shù)據(jù)處理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf
評(píng)論
0/150
提交評(píng)論