視頻多模態(tài)信息處理的關(guān)鍵技術(shù)研究.pdf

1、視覺(圖像序列)信息和聽覺(音頻)信息是構(gòu)成視頻的兩種主要信息模態(tài)。隨著計算機性能的重大突破和互聯(lián)網(wǎng)應用的普及，視頻數(shù)據(jù)量劇增。為了充分有效地利用和發(fā)揮這些分布廣泛、內(nèi)涵信息豐富的視頻內(nèi)容的作用，視頻信息處理技術(shù)應運而生。視頻信息處理是智能信息處理的重要組成部分，它分為基于視頻數(shù)據(jù)的低層處理(對感興趣目標的檢測、跟蹤和識別)和在此基礎上的高層(語義層)的行為判別、理解等研究內(nèi)容。視頻數(shù)據(jù)中包含視覺(圖像)和聽覺(音頻)兩種模態(tài)的信息，基

2、于視頻數(shù)據(jù)內(nèi)容的處理涉及對感興趣目標的檢測、識別、跟蹤等關(guān)鍵技術(shù)。雖然已有眾多研究人員開展了大量相關(guān)的研究工作，取得了較多的實驗性成果，然而這些技術(shù)距離實用化還有待深入研究。本文面向視頻監(jiān)控，以信號處理、圖像處理及模式分類等理論為基礎，針對視頻多模態(tài)信息處理中，關(guān)于聽覺信息處理的音頻流(語音流)檢測和話者識別及視覺信息處理中的運動目標檢測、跟蹤等關(guān)鍵技術(shù)問題進行了研究。論文主要研究內(nèi)容概括為四點：
　　 (1)提出了一種基于希爾

3、伯特變換的經(jīng)驗模分解和高階統(tǒng)計量的語音流檢測算法。在提取語音流特征時小樣本的端點飛翼效應問題一直是存在于信號的經(jīng)驗模分解中的。為解決這一問題，需要對端點進行延拓處理，經(jīng)分析可知采用回歸支持向量機是一種可行的解決方案。但在采用SVRM方法時，又帶來了如何進行參數(shù)選取的問題。為此。本文給出了微粒群優(yōu)化的參數(shù)選擇方法。既解決了端點延拓問題，最終又實現(xiàn)了視頻中的語音流的有效檢測問題。實驗結(jié)果表明，提出的算法無論在高斯噪聲環(huán)境下，還是非高斯噪聲環(huán)

4、境下，對語音流的檢測都很有效，說明該方法的抗噪聲能力較強。
　　 (2)提出了一種分別以美爾倒譜系數(shù)和翻轉(zhuǎn)美爾倒譜系數(shù)為特征的多分類器融合的話者識別算法。MFCC對語音信號低頻段信息的表征能力十分強，但它又弱于表征語音的高頻段信息。為了提取能較全面表征語音信息的特征，本文經(jīng)分析后分別從語音信號中提取美爾倒譜系數(shù)和翻轉(zhuǎn)美爾倒譜系數(shù)作為語音片段的兩組不同的特征進行分類器設計，最終應用基于信息融合理論的方法，得出關(guān)于該語音段話者的雙分

5、類器的綜合判定結(jié)果。實驗結(jié)果表明，本文提出的基于MFCC與IMFCC特征的多分類器融合的話者識別算法，比僅僅依靠其中之一的單一特征的分類算法性能更優(yōu)。
　　 (3)提出了一種基于顏色空間向量差法的運動目標檢測算法。針對背景模型在實時更新時受環(huán)境噪聲影響大的問題，本文提出了采用自適應K分布數(shù)混合高斯法進行背景建模，利用EM迭代算法對背景模型進行提取和更新，實驗驗證了方法的快速及有效性。針對基于灰度圖像的目標檢測方法中對色彩信息的損

6、失問題，提出利用顏色空間向量差中長度和方向兩個屬性的統(tǒng)計特性，將運動目標與噪聲進行分類，對于運動模板中的孤立噪聲，借助數(shù)學形態(tài)學方法進行刪除，并對不完整運動目標進行修補完善。實驗結(jié)果表明所提出算法的運動目標檢測結(jié)果比較理想。
　　 (4)提出了一種基于歐式距離判斷的改進的粒子濾波跟蹤算法。針對聯(lián)合多目標概率密度算法在目標狀態(tài)估計時計算量過大的問題，采用N個加權(quán)粒子的組合來近似聯(lián)合多目標概率密度p(X，T|Z)的分布。提出了一種改

7、進的粒子濾波算法，根據(jù)粒子對于不同目標之間的歐式距離的大小，對粒子進行獨立劃分或者關(guān)聯(lián)劃分，實現(xiàn)對同一視頻中的多個運動目標的跟蹤。在室內(nèi)和室外兩種不同的環(huán)境中，實驗結(jié)果表明該算法可以有效地對多目標進行跟蹤。
　　 上述四個創(chuàng)新點，按照其在文中給出的視頻多模態(tài)信息處理框架中所示的處理順序來加以研究。期望本文的研究成果，能為下一步的工作--在智能視頻監(jiān)控系統(tǒng)的實施中提供技術(shù)儲備，達到對視頻所反映的內(nèi)容--感興趣目標的行為進行自動分析