注意力引導的高效視頻解碼及顯示研究.pdf

1、對于視頻通信而言，其信宿，也就是最終接受者，是一個人類觀測者。對于這一點，很多傳統(tǒng)的視頻編解碼方式均沒有考慮到。本文圍繞這個問題，考慮了人類視覺系統(tǒng)在視線與視野、強度與對比上面的特點，結合人類視覺系統(tǒng)的視覺選擇性特性，設計了一個注意力引導的高效視頻解碼及顯示系統(tǒng)，主要工作如下：
　?。?）首先對人類視覺系統(tǒng)的特性進行系統(tǒng)的研究，從人眼的生理構造入手，研究了人類視覺系統(tǒng)的功能，然后研究了人類視覺系統(tǒng)在視線與視野、強度與對比上面的特點

2、?；谝陨系幕A研究，設計了一個基于注意力引導的高效視頻解碼及顯示系統(tǒng)的結構。
　　（2）在實現(xiàn)所設計的高效視頻解碼及顯示系統(tǒng)中，對其中兩個關鍵技術要點做了重點的研究，第一個是多個數(shù)據流的幀融合，通過二值化、腐蝕、高斯模糊等操作后結合一個加權公式得到融合后圖像，這種方法可以消除對多數(shù)據流的圖像進行簡單拼接留下的邊緣效應。第二個是基于視頻序列在時間維度上的冗余進行背景區(qū)域高分辨率重建。利用上一幀中部分信息對當前幀中的部分背景區(qū)域進行

3、重建，從而提高該區(qū)域的清晰度。通常方法僅考慮背景區(qū)域與高分辨區(qū)域之間的相似性，重建效果較差。本文利用最優(yōu)化理論中的懲罰函數(shù)法對遺傳算法中的目標函數(shù)進行了優(yōu)化，結合了兩幀高分辨區(qū)域之間的聯(lián)系，使得重建的結果與周圍圖像有更好的匹配效果。
　?。?）為量化對比本文方法與傳統(tǒng)方法在相同碼率條件下得到的視頻質量之間的差異，研究了兩種視頻客觀質量評價算法：峰值信噪比 PSNR和結構相似性SSIM，其中重點研究了現(xiàn)在被廣泛使用的 SSIM算法。

4、研究過程中發(fā)現(xiàn) SSIM算法在模糊失真下表現(xiàn)不佳，給出的評價值與人眼觀感相悖。本文結合圖像的邊緣信息和感興趣區(qū)域信息，提出了一個結合了人眼注意力特性的改進SSIM算法。實驗結果顯示經非線性擬合后對測試序列的主觀評價值進行估計，相比傳統(tǒng)SSIM算法相對誤差下降了約50％。這表明本文改進后的 SSIM算法更接近人眼的主觀感受。
　?。?）使用C++語言和ffmpeg等開源庫，編寫了一個注意力引導的高效視頻解碼及顯示程序，實現(xiàn)了所設計的