制造物聯海量實時數據處理方法研究.pdf

1、制造技術與迅猛發(fā)展的互聯網、云計算、物聯網等新一代信息技術相融合，不斷形成制造業(yè)信息化新的核心技術，推動著制造業(yè)的進步和發(fā)展，也為我國制造業(yè)的跨越式發(fā)展提供了難得的歷史機遇。應用物聯網技術提升傳統制造業(yè)，形成推動制造業(yè)信息化發(fā)展的制造物聯技術，是先進制造技術、信息技術和智能技術的集成和深度融合，體現了制造技術從機械化、自動化、數字化走向智能化的發(fā)展趨勢。大力推進制造物聯技術與生產過程的融合，促進制造過程的智能化提升和改造，催生高端制造先

2、進的生產模式，形成我國制造業(yè)的“智慧制造”，是當前制造行業(yè)研究的一個重點領域。在制造物聯關鍵技術中，研究制造過程產生的海量數據的實時感知、實時傳輸與分發(fā)、實時處理與融合等，對制造過程的實時決策及實時控制，確保企業(yè)生產安全有序進行、及時決策、提高效率、減少損失非常重要，也為我國制造業(yè)改變當前過于依賴國外實時數據處理產品打下基礎。
　　本文對現有信息技術、制造業(yè)信息化及物聯網等相關領域研究進展進行分析，研究制造物聯海量實時感知數據的建

3、模及處理方法，針對制造系統的特性、制造物聯關鍵技術及制造環(huán)節(jié)實時監(jiān)控需求等方面的特點，深入分析所涉及到的若干關鍵問題，研究新的或改進的方法，并將這些方法應用到具體的制造環(huán)境中。論文主要研究工作及成果如下：
　　①提出了制造物聯實時數據的定義，對實時數據進行基礎理論建模。對實時數據的采集過程進行了研究，分析探討了實時數據獲取和存儲的關鍵技術，提出了制造物聯實時數據的獲取模型。分析了實時數據傳輸和分發(fā)中的挑戰(zhàn)，提出了海量實時數據連續(xù)查

4、詢模型，并通過優(yōu)化訪問方法，給出了自適應分布式制造物聯實時數據的訪問模型，以解決突發(fā)數據和非勻速實時數據的傳輸訪問問題。
　?、诨趦却娴膶崟r數據庫的存儲機制研究。分析了內存數據庫的特點、相關概念及技術，針對內存數據庫的數據組織、查詢技術與優(yōu)化、并發(fā)控制和恢復機制等方面進行研究，采用基于CSB+樹的索引方法，以快速定位索引實時數據；提出了一種新型的基于虛擬單元可智能增長的內存池技術，滿足內存數據庫系統對空間利用率和系統健壯性要求；

5、基于智能算法，提出了海量連續(xù)實時數據的查詢技術與優(yōu)化算法；為解決實時事務在并發(fā)執(zhí)行過程中所發(fā)生的各種沖突，采用了并行實時事務標記排序法，并利用定義優(yōu)先級算法對排序算法進行優(yōu)化，解決排序算法中的優(yōu)先級顛倒的問題。論文提出了一種基于元數據層次化結構的實時系統數據模型，以便更快捷地訪問實時數據對象。該模型對制造物聯實時感知數據進行層次劃分，通過元數據映射，完成實時數據的有效組織，有效實現實時數據檢索，提高效率?；谠獢祿膶哟谓Y構，制定了實時

6、感知數據與超過時限的歷史數據之間互相遷移的策略，并對該策略進行性能評估。各種仿真及測試運行結果表明，基于內存的實時數據庫分層存儲機制能有效進行數據組織，滿足制造物聯中海量實時數據的存儲需求。
　?、墼O計并實現一種新的實時數據訪問協議，以提高制造物聯實時數據系統的相關性能。設計了基于雙緩沖區(qū)和推進發(fā)送數據的數據存儲和發(fā)送模型。雙緩沖區(qū)模型中的兩個緩沖區(qū)交替接收感知數據，將實時數據并發(fā)進行處理，有效利用內存接收處理海量數據。數據的連續(xù)

7、推進發(fā)送模式，同雙緩沖區(qū)結合，可以在不同網絡阻塞環(huán)境下保證數據的完整性。建立性能模型驗證實時數據分發(fā)模型的性能，并實現了實時數據檢測與處理系統的原型系統。仿真實驗結果證明模型在保證數據完整性方面有著非常出色的表現。基于雙緩沖區(qū)和推進發(fā)送數據的模型解決了數據在采集和發(fā)送過程中出現的數據丟失問題，有效地保證了數據傳輸處理的完整性。為了優(yōu)化制造物聯海量實時數據分發(fā)效率，研究并提出了一種基于智能多代理模型和優(yōu)先級排序算法的實時數據分發(fā)策略，性能

8、分析證明該方法能進一步提高海量實時數據分發(fā)效率。
　?、芊治隽酥圃煳锫摵Ａ繉崟r數據融合的功能模型和通用處理結構，提出了在資源受限網絡環(huán)境下對實時感知數據進行融合的方法，研究了基于u檢驗法的剔除冗余無效數據的融合系統，并將融合算法應用在分布式檢測環(huán)境下，對融合模型進行優(yōu)化?；谛螒B(tài)-小波濾波融合方法，對旋轉機械的振動信號檢測過程中產生的脈沖噪聲和白噪聲進行去噪研究，實驗證明該方法有很好的去噪效果，在實際振動信號處理中取得了滿意的效果

9、。
　?、萏岢隽酥圃煳锫摵Ａ繉崟r數據處理方法在石化行業(yè)運營管理及安全監(jiān)控系統中的應用方案。對實時感知的海量數據，以分層的實時數據模型進行組織和管理，并以雙緩沖區(qū)數據持續(xù)推送模型對實時數據傳輸分發(fā)，對本地感知數據實時融合處理，形成石化企業(yè)加氣站生產運營實時監(jiān)管物聯平臺，實現了對監(jiān)管平臺的性能優(yōu)化和改進。
　　綜上，本文分析并研究了當前制造物聯海量實時數據處理中面臨的若干關鍵問題，設計并改進了一系列模型和算法。理論分析、實驗及應