數字圖像及視頻修復方法研究.pdf

1、數字圖像(視頻)修復是通過從圖像(視頻)的完好區(qū)域提取有效信息，填補圖像(視頻)中丟失信息的過程。數字圖像(視頻)修復技術與復原技術不同，圖像修復的目的不要求修復結果還原缺損圖像的本來面目，而是要求修復結果保證良好的視覺觀賞性，并且在觀察者沒有見過原圖的情況下不能察覺出圖像內容經過改動。相對圖像的恢復、增強、去噪等技術，圖像修復技術因為其在操作上具有高度的自由性并帶有一定的娛樂性，在圖像處理領域成為備受矚目的應用技術。數字圖像修復技術是

2、數字圖像處理的一個新興領域，也是當前計算機視覺領域研究的一個熱點問題。隨著數字圖像處理技術的不斷進步，圖像修復技術已經成為了文物保護、照片修復、特效制作、視頻固化信息去除等應用領域中不可缺少的技術。由于圖像的種類繁多，缺損區(qū)域的千差萬別，所以修復的方法側重點各有不同。相對于國外研究的蓬勃發(fā)展，國內在數字圖像修復和數字視頻修復領域中研究起步較晚，其理論及技術水平亟待提高。
　　 本文在介紹數字圖像修復技術研究背景，深入分析現有圖像

3、修復方法的基礎上，結合目前圖像處理發(fā)展的最新理論，針對圖像中的固化字幕信息的檢測、小面積缺損圖像修復、大面積缺損圖像修復和視頻修復等問題提出了一系列的新方法。本文的主要研究成果如下：
　　 1.字幕修復區(qū)域自動檢測方法研究目前的圖像以及視頻修復方法都需要人工指定修復區(qū)域，而在各種圖像和視頻修復任務中，圖像和視頻中的文字去除一直是備受關注的應用，而手工標定所有的圖像文字區(qū)域不但費時費力而且容易出錯。為了自動定位圖像和視頻上的文字區(qū)

4、域作為圖像修復和視頻修復的目標區(qū)域。本文提出了一種基于稀疏表示分類字典和多尺度幾何分析的圖像文字檢測方法。這種方法首先通過多尺度幾何分析得到圖像文字的候選邊緣，然后借助基于分類字典的稀疏表示完成文字的檢測。一系列的實驗驗證了這種文字檢測方法不僅能夠準確的提取照片和視頻中的人工字幕，為圖像和視頻修復提供高質量的修復目標區(qū)域；而且還能在各種復雜環(huán)境中提取嵌入場景之中的文字，不受文字顏色、大小、紋理、語言和光照強度的限制，具有較好的魯棒性和較

5、高地準確性。
　　 2.小面積缺損圖像修復方法研究稀疏表示是圖像處理和信號處理中的重要理論和重點研究方向，受到了國內外圖像處理界的廣泛關注。我們在現有稀疏表示圖像修復框架的基礎上提出了一種基于圖像源區(qū)域字典的稀疏表示圖像修復方法。利用圖像源區(qū)域字典生成方便，并且能夠攜帶目標圖像信息的特點有效地克服了以往固定字典修復方法和機器學習字典修復方法的不足，使得稀疏表示圖像修復方法的效果有了顯著增強。而后針對現有圖像修復方法無法高效地修復

6、包含紋理的小面積缺損圖像的問題，本文提出了結合各向同性擴散修復和稀疏表示修復的混合圖像修復方法，首先充分考慮到擴散修復和基于圖像源區(qū)域稀疏表示修復的互補性，通過簡單而有效地紋理分析算法將待修復區(qū)域劃分為光滑部分和復雜部分。然后使用各向同性擴散的修復方法修復光滑部分，用基于稀疏表示的修復方法修復復雜部分。最后將兩種修復方法的修復結果結合起來得到最終的修復結果。理論分析和實驗結果表明，混合修復方法無論在修復結果的觀賞性或修復方法的處理速度上

7、都要優(yōu)于現有的擴散類圖像修復算法。在這一章的最后我們分析了稀疏表示圖像修復的局限性，即稀疏表示圖像修復方法因為其求解誤差的關系不適合大面積缺損圖像的修復。
　　 3.大面積缺損圖像修復方法研究在補全大面積缺損圖像的問題中，保證缺損結構的完整性和一致性是得到良好修復結果的關鍵。在分析了現有基于紋理合成的圖像修復方法容易產生結構誤差的原因以及敘述了人類視覺在感知圖像缺損和自動填充的機制之后，針對大面積缺損圖像的修復問題，本文提出了一

8、種基于圖像缺損結構線補全的圖像修復方法。不同于現有修復算法通過修復順序來補全圖像缺損結構的做法，該方法考慮了圖像結構完整的重要性，充分利用缺損結構的信息來保證修復結果結構的完整性。首先通過多尺度幾何分析找出缺損的結構線，然后根據缺損結構線的顏色、紋理和曲率信息將它們配對并通過曲線擬合加以補全。這樣不僅保證了圖像結構的完整性而且使得修復的結構有較好的視覺效果。此外考慮到修復的結構線將缺損區(qū)域分割成了幾個子區(qū)域，在進行紋理修復時可以逐個地對

9、每個子區(qū)域進行紋理填充，這樣不但加快了處理速度，而且提高了紋理填充的質量。大量的修復結果和對比實驗證明本文提出基于圖像缺損結構線補全的圖像修復方法比現有方法更好地保證了修復結果圖像的完整性，并且修復結果有很高的視覺質量。
　　 4.視頻修復方法研究視頻修復是圖像修復的延續(xù)，也是圖像修復技術重要的研究和應用領域。針對視頻修復中的不同應用本文提出了兩種視頻修復算法。一個是針對視頻中的臺標字幕等固化修復區(qū)域的基于三維泊松方程的視頻修復

10、方法；另一個是針對視頻中的物體缺損的基于前景運動目標運動周期的視頻修復方法。在三維泊松方程圖像修復方法中，本文首先計算所有視頻幀的梯度場，然后填補梯度場中的缺失信息，最后通過求解三維泊松方程完成視頻修復，這樣充分保證了修復視頻在時間域上的連續(xù)性。在基于前景運動目標運動周期的視頻修復方法中，本文對視頻修復問題提出了一個觀點，即視頻修復技術應該是一種遮掩視頻待修復區(qū)域的技術，因此視頻修復技術可以根據實際需要在滿足觀察者視覺感官的同時對視頻的