數(shù)據(jù)流系統(tǒng)中負載管理技術應用研究.pdf

1、隨著計算機和網(wǎng)絡技術的不斷發(fā)展以及相關技術的進步，信息系統(tǒng)在制造、運輸、金融、IT等各行各業(yè)得到了廣泛應用。待處理數(shù)據(jù)量的飛速增加，使得傳統(tǒng)數(shù)據(jù)管理技術難以適應新形勢下的應用需求。近年來數(shù)據(jù)流管理技術，包括數(shù)據(jù)流管理系統(tǒng)的構建、優(yōu)化、數(shù)據(jù)流挖掘等得到了密切關注。 論文討論了數(shù)據(jù)流系統(tǒng)的基本結構、工作原理、實現(xiàn)方法、特點以及其主要應用領域，針對由單位時間內(nèi)輸入系統(tǒng)的數(shù)據(jù)單元數(shù)量變化引起的處理器過載問題，探討了負載管理系統(tǒng)模型的構建

2、方法，并對負載平衡、Load-shedding、摘要生成等關鍵技術進行了深入研究。 論文主要研究內(nèi)容如下： (1) 提出了基于雙層重疊結構的負載平衡算法。針對分布式數(shù)據(jù)流系統(tǒng)對負載平衡可擴展性和易恢復性的需求，對負載平衡技術進行研究，提出了一種基于雙層重疊結構的負載平衡算法，該算法可以滿足Internet環(huán)境下緊耦合分布式數(shù)據(jù)流系統(tǒng)進行負載平衡的需求。 (2) 提出了基于分支路徑分析的Load-shedding算

3、法。針對以聚合類查詢操作為結尾，包含多條輸入數(shù)據(jù)流，多查詢結果的連續(xù)查詢網(wǎng)絡的降載問題，對Load-shedding技術進行研究，提出了基于分支路徑分析的Load-shedding算法。在此基礎上進一步研究了該算法在輸入數(shù)據(jù)單元具有不同權重、以非聚合類查詢操作為結尾這兩種情況下的改進推廣，擴展了算法的適用范圍。 (3) 提出了一種有效數(shù)據(jù)識別算法。給出了分布式數(shù)據(jù)流系統(tǒng)中有效數(shù)據(jù)的概念，將單輸入數(shù)據(jù)流的數(shù)據(jù)識別技術推廣到多輸入數(shù)

4、據(jù)流環(huán)境，給出了一種有效數(shù)據(jù)識別算法，該算法較好地解決了分布式數(shù)據(jù)流應用中的有效數(shù)據(jù)識別這一技術問題。 (4) 針對分布式數(shù)據(jù)流應用范疇，給出了負載管理系統(tǒng)模型DDSM_LMS。通過分析負載管理系統(tǒng)的設計原則以及對現(xiàn)有負載管理系統(tǒng)結構、功能、運行環(huán)境的研究，論文綜合考慮多種負載管理技術，給出了負載管理系統(tǒng)模型DDSM_LMS。該模型作為課題組設計的生產(chǎn)現(xiàn)場管理系統(tǒng)的重要部分，在某國防基礎預研項目中得到良好應用，提高了數(shù)據(jù)流系統(tǒng)的