基于DSP的說話人定位跟蹤系統(tǒng)的設計.pdf

1、隨著科學技術的快速發(fā)展，基于DSP技術的音視頻信號處理成為了學術研究中的一個重要課題。其中，音頻或視頻技術對目標說話人的檢測、定位和跟蹤日趨成為研究的一個重點。它在視頻監(jiān)控、視頻會議，多媒體系統(tǒng)中都有著越來越廣泛的應用。但由于單模態(tài)視頻在進行工作時，可能會因為光線不足導致視頻的定位跟蹤不準確，或是失效；同樣地，單一的音頻技術對于目標說話人的定位與跟蹤，也可能因為較大的噪聲或混響而產(chǎn)生性能的降低。針對出現(xiàn)的這一問題，音視頻融合技術應運而生

2、。本文主要研究的是利用一種魯棒的方法由音視頻融合信息對目標說話人進行定位與跟蹤，并通過硬件平臺進行實現(xiàn)。
　　 論文首先對硬件平臺及選取進行了介紹，并搭建了帶有DM6437處理芯片并基于達芬奇(DaVinci)技術的DSP硬件實驗平臺，為之后語音和視頻信息的處理及融合提供了良好的硬件環(huán)境的支持；其次，對音頻信號時延估計方法所用模型及算法做了深入的介紹，最終采用一種基于坐標系變換的空間聲源定位方法對目標進行音頻定位。通過建立一個特

3、定坐標系，將原有坐標系中的任意4個麥克風陣列坐標轉換為新坐標中的3個特定點和一個任意點的坐標，并進行聲源坐標的計算。此方法與傳統(tǒng)的延時估計算法相比，有效的提高了定位的準確度，并且在坐標轉換之后使得運算量得到很大程度的簡化。
　　 之后，介紹卡爾曼濾波器及均值漂移(Mean Shift)算法在視頻信息中的應用。實驗驗證各自方法的優(yōu)缺點，并提出了使用卡爾曼濾波器結合均值漂移算法對目標進行視頻跟蹤的方法，且通過實際操作證明該方法的魯棒

4、性。通過對硬件視頻子系統(tǒng)(VPSS)中3個主要寄存器(CCDC、OSD和VENC)及TVP5146寄存器的設置，實現(xiàn)經(jīng)過芯片DM6437處理并在硬件平臺上進行的視頻采集與顯示的功能。
　　 最后，本文利用卡爾曼濾波器融合音頻及視頻信息，并將程序刻寫入硬件開發(fā)板，使之能獨立運用音視頻融合方法完成對目標說話人進行定位與跟蹤。其優(yōu)點在于綜合了視覺與聽覺信息，降低單模態(tài)信息固有存在的不足在目標定位跟蹤時產(chǎn)生的誤差，使兩個模態(tài)信息能夠彼此