視頻時(shí)空聯(lián)合模型與去噪研究.pdf

1、視頻信號(hào)是客觀事物連續(xù)采樣的結(jié)果，相鄰視頻像素間具有很強(qiáng)的相關(guān)性，利用這種相關(guān)性可以為視頻處理帶來(lái)性能的提升。為分析視頻語(yǔ)義，提升視頻處理的效果，人們引入時(shí)空聯(lián)合來(lái)描述這種復(fù)雜的時(shí)域與空域的相關(guān)性。隨著視頻信號(hào)處理技術(shù)的發(fā)展，時(shí)空聯(lián)合方法已經(jīng)成為發(fā)掘視頻信號(hào)中的潛在信息的重要途徑。傳統(tǒng)的信號(hào)模型將視頻信號(hào)視為隨機(jī)變量，時(shí)域關(guān)系與空域關(guān)系通常被分離，相應(yīng)地時(shí)域處理與空域處理只能獨(dú)立進(jìn)行，時(shí)空聯(lián)合處理一般都是在處理結(jié)果上進(jìn)行聯(lián)合。要提升視頻

2、處理的時(shí)空聯(lián)合程度，必須建立反映視頻時(shí)空特性的視頻模型。本文圍繞時(shí)空聯(lián)合處理的問(wèn)題，對(duì)時(shí)空聯(lián)合視頻信號(hào)建模、時(shí)空聯(lián)合去噪、基于時(shí)空聯(lián)合模型的對(duì)象檢測(cè)與跟蹤等問(wèn)題進(jìn)行了研究，主要獲得了以下幾方面成果：
　　 1、提出了視頻剛體模型。視頻剛模型以只存在平移、縮放和旋轉(zhuǎn)三種運(yùn)動(dòng)的剛體區(qū)域分解視頻對(duì)象區(qū)域，以剛體區(qū)域的運(yùn)動(dòng)表達(dá)視頻信號(hào)的時(shí)域關(guān)系，以剛體區(qū)域及其層次關(guān)系表達(dá)視頻信號(hào)的空域關(guān)系。剛體模型的獲取包括區(qū)域劃分、區(qū)域匹配、層次判定

3、、運(yùn)動(dòng)估計(jì)和區(qū)域再劃分等過(guò)程：剛體區(qū)域可以通過(guò)顏色區(qū)域分割得到初步結(jié)果，區(qū)域間通過(guò)邊緣句法進(jìn)行匹配，區(qū)域?qū)哟蝿t通過(guò)相互遮擋關(guān)系進(jìn)行判定，區(qū)域間的運(yùn)動(dòng)關(guān)系可以通過(guò)區(qū)域的邊緣轉(zhuǎn)折點(diǎn)進(jìn)行最小二乘估計(jì)，當(dāng)估計(jì)誤差較大時(shí)，對(duì)區(qū)域進(jìn)行重復(fù)劃分，直到所有對(duì)應(yīng)像素的顏色絕對(duì)差值和進(jìn)行許可范圍。
　　 2、提出了視頻流體模型。流體模型將同一對(duì)象區(qū)域在視頻中不同時(shí)刻的成像視為一個(gè)整體，使用視頻流線(xiàn)表示對(duì)象的質(zhì)心運(yùn)動(dòng)，視頻流紋表示對(duì)象的質(zhì)點(diǎn)運(yùn)動(dòng)，視頻

4、流線(xiàn)在時(shí)域上光滑，視頻流紋在空域與時(shí)域上均光滑。視頻流紋可以通過(guò)切出線(xiàn)、補(bǔ)入線(xiàn)、旋轉(zhuǎn)子和平移子描述其變化，進(jìn)行簡(jiǎn)化表示。流體模型的獲取過(guò)程包括區(qū)域劃分、流線(xiàn)計(jì)算、流紋計(jì)算等過(guò)程：流體的初始區(qū)域可以通過(guò)顏色區(qū)域分割獲得，流線(xiàn)可以先通過(guò)其時(shí)域上的光滑性預(yù)測(cè)、然后用對(duì)應(yīng)區(qū)域的質(zhì)心校正，流紋可以利用其上對(duì)應(yīng)像素顏色不變以及流紋在流體區(qū)域內(nèi)光滑、在時(shí)域上光滑等條件進(jìn)行嚴(yán)格計(jì)算，也可以使用等色線(xiàn)進(jìn)行估計(jì)，根據(jù)流紋的空域光滑性情況，還可以對(duì)流體區(qū)域進(jìn)

5、行合并或再劃分。
　　 3、研究了基于時(shí)空聯(lián)合模型的視頻去噪方法?；趧傮w模型的中值去噪方法以剛體的時(shí)空關(guān)系決定鄰域，根據(jù)污染程度判斷像素的參考價(jià)值，能適應(yīng)高椒鹽噪聲去噪的需要?；诹黧w模型的中值去噪根據(jù)流紋的時(shí)域、空域光滑性判斷像素的污染程度與去噪?yún)⒖純r(jià)值?；趧傮w模型的插值去噪算法通過(guò)插值恢復(fù)視頻在剛體區(qū)域內(nèi)的光滑性?；诹黧w模型的插值去噪算法通過(guò)插值恢復(fù)流紋的光滑性。基于時(shí)空聯(lián)合模型的視頻去噪方法的去噪效果明顯優(yōu)于單純的時(shí)

6、域或空域去噪算法，也超過(guò)了基于運(yùn)動(dòng)補(bǔ)償?shù)臅r(shí)空聯(lián)合去噪方法。
　　 4、提出了一種利用幾何均值聯(lián)合時(shí)、空結(jié)果的視頻去噪方法。該方法以卡爾曼濾波進(jìn)行時(shí)域?yàn)V波，以中值濾波進(jìn)行空域?yàn)V波，根據(jù)時(shí)域與空域的污染程度計(jì)算結(jié)果的可靠性，以時(shí)域去噪結(jié)果與空域去噪結(jié)果的幾何均值作為最終去噪的結(jié)果?；诳柭鼮V波與中值濾波的去噪方法去椒鹽噪聲效果超越了以往的各種時(shí)空聯(lián)合去噪方法。
　　 5、將時(shí)空聯(lián)合模型應(yīng)用到鋼管生產(chǎn)過(guò)程視頻監(jiān)測(cè)的問(wèn)題中，提

7、出了基于視頻流體模型的目標(biāo)檢測(cè)與跟蹤方法?；诹黧w模型對(duì)鋼管視頻建模，可以較容易獲得各視頻對(duì)象的流紋特征，結(jié)合視頻幀內(nèi)的空域關(guān)系，容易識(shí)別鋼管生產(chǎn)視頻中的人、鋼管、設(shè)備與地面等不同的對(duì)象。基于流體模型的鋼管目標(biāo)跟蹤通過(guò)流線(xiàn)與流紋的時(shí)域光滑性進(jìn)行預(yù)測(cè)，通過(guò)流紋的空域光滑性進(jìn)行位置校正。根據(jù)鋼管生產(chǎn)過(guò)程視頻監(jiān)測(cè)的需要，本文還建立了基于流體標(biāo)記的多鏡頭跟蹤與視頻聯(lián)動(dòng)機(jī)制。實(shí)驗(yàn)結(jié)果表明，基于流體模型的目標(biāo)檢測(cè)方法能準(zhǔn)確地檢測(cè)出完整的鋼管目標(biāo)，基