結合全局觀測值的圖像區(qū)域語義自動標注研究.pdf

1、隨著互聯(lián)網技術的快速發(fā)展和社交網站的廣泛應用，互聯(lián)網上的圖像和視頻的數量以前所未有的速度增長。與文字相比，圖像往往包含了更為豐富的信息，因此對于圖像信息的挖掘和探索一直是計算機科學研究的一個重要的課題。為了在海量的圖像里進行有效地檢索和管理，圖像一般都被標注了語義標簽。圖像自動標注研究(Automatic Image Annotation，AIA)是研究如何自動地根據圖像的內容，將與其相關的語義標簽賦給圖像。在過去幾年的研究中，很多與圖

2、像自動標注相關的方法被提出，并取得了很大的進展。然而，圖像標注僅僅是標注了相關的物體是否在圖像里出現(xiàn)，并沒有具體地標明物體出現(xiàn)在圖像當中的位置。因此，對圖像的像素或區(qū)域進行語義標注的研究吸引了學術界越來越多的關注。
　　圖像區(qū)域的自動標注就是根據圖像區(qū)域的視覺內容，將一個與其相關的語義標簽賦給它。一個有效的方法是在對圖像區(qū)域進行標注的時候利用空間上下文信息，即考察相鄰區(qū)域的標簽和視覺內容。通常情況下，相鄰的圖像區(qū)域或像素往往具有相

3、同的語義標簽，這被稱作“標簽平滑性”。利用圖像區(qū)域在空間上的平滑性，圖像區(qū)域標注的效果有了明顯的提升。但是，圖像的局部區(qū)域通常具有有限和模糊的視覺內容。與圖像的區(qū)域相比，圖像整體的觀測信息具有更為豐富和清晰的觀測信息，這被稱作“全局觀測值”。對于圖像的局部觀測值來說，圖像的全局觀測值是一個有效的補充。
　　本文提出了一個基于條件隨機場（Conditional Random Fields，CRF）的標注模型，結合圖像局部觀測值和全局

4、觀測值，同時將語義上下文建模融合到模型當中，通過利用不同尺度的圖像觀測信息和語義標簽之間的相關關系來提高標注的效果。條件隨機場能夠有效地利用圖像局部的觀測信息，圖像全局觀測值的引入則是對局部觀測值一個有效的補充，彌補了圖像局部的視覺信息的不足。在圖像當中，很多語義標簽往往會同時出現(xiàn)，這些語義標簽具有相關性。圖像標注的相關研究表明，語義上下文關系的利用能有效地提高圖像標注的效果。在引入圖像全局觀測的同時，我們也對圖像級別語義上下文關系進行

5、建模，進一步提高對圖像全局觀測值的挖掘利用效果。在條件隨機場框架下，圖像局部觀測值和全局觀測值的參數能夠通過標準參數學習方法得到。
　　我們在兩個公用數據集——MSRC數據集和Corel數據集——上進行了系統(tǒng)的實驗，驗證了本文提出的條件隨機場(CRF)模型的標注性能。從實驗的結果可以看出，本文提出的模型比目前較先進的標注模型在標注準確性上有了明顯地提高。實驗證明了模型的性能提升來自與局部觀測值和全局觀測值的結合.，而不是來某一種單