數(shù)據挖掘在氣象數(shù)據收發(fā)監(jiān)控系統(tǒng)中的應用.pdf

1、本論文的研究基于甘肅省氣象局重點研發(fā)項目“氣象數(shù)據收發(fā)全網監(jiān)控系統(tǒng)”完成。開發(fā)的《全網監(jiān)控系統(tǒng)》綜合應用了計算機技術的最新研究成果，結合我省氣象實時業(yè)務的特點，實現(xiàn)了對所有實時氣象數(shù)據收發(fā)的全程、多視角、自動化監(jiān)控，最大限度地提高了數(shù)據傳輸?shù)目煽啃约皩崟r性，減輕業(yè)務人員的工作量。同時，系統(tǒng)實現(xiàn)了任意時段、任意類別資料傳輸質量的統(tǒng)計分析及內部一致性分析，并且根據分析結果找出了實時業(yè)務存在的問題，提出了改進建議，為傳輸質量評估和業(yè)務診斷分析

2、提供了依據。本文的主要工作以及創(chuàng)新點有以下幾方面： 本文在查閱大量資料的基礎上，詳細介紹了我國氣象數(shù)據收發(fā)全網絡監(jiān)控系統(tǒng)的研究現(xiàn)狀、研究內容、相關技術方案；介紹了數(shù)據挖掘技術在全網監(jiān)控系統(tǒng)中的研究現(xiàn)狀、應用方法、過程及步驟。通過分析氣象領域數(shù)據傳輸現(xiàn)狀及用戶需求，確定了本項目的研究內容及解決的技術難題，確定數(shù)據挖掘技術擬解決的問題(氣象數(shù)據傳輸異常點的分析；溫度和區(qū)域自動站數(shù)據采集之間的關聯(lián)關系；信息傳輸質量和業(yè)務流程或系統(tǒng)穩(wěn)定

3、性之間的關系)，并提出解決此任務的數(shù)據挖掘算法。 本文從信息傳輸?shù)慕嵌?，分析了各類氣象資料的多種異構數(shù)據源的特點(觀測頻次、文件命名方式、內容格式、內容標識、時空特點及收發(fā)平臺等)，提出了采用元數(shù)據技術實現(xiàn)復雜氣象數(shù)據的統(tǒng)一管理，本文采用ETL技術，實現(xiàn)不同平臺下所有收發(fā)數(shù)據的抽取、清理、轉換、集成和入庫存儲等工作，為實時監(jiān)控和主題挖掘奠定了基礎。在此基礎上，實現(xiàn)統(tǒng)一平臺所有收發(fā)資料可視化的監(jiān)控和預警。保證了氣象數(shù)據收發(fā)的及時性

4、，提高了傳輸質量。 本文嘗試通過數(shù)據挖掘的方法，解決氣象數(shù)據的特定問題。提出了“元數(shù)據模型下的分類算法”，較好地解決了原有分類算法處理氣象數(shù)據方面的不足，結合行業(yè)領域知識，在模型已知的情況下，重點考慮了數(shù)據的動態(tài)變化，即數(shù)據隨業(yè)務的變化而變化、隨時間、季節(jié)的變化而變化。同時減少了原有分類算法繁瑣的重復訓練過程，極大提高了算法的效率，能夠滿足現(xiàn)有業(yè)務和今后業(yè)務拓展的需求。另外，通過孤立點分析和關聯(lián)分析，發(fā)現(xiàn)了很多現(xiàn)有業(yè)務系統(tǒng)BUG