基于多模態(tài)特征融合的圖像重排序研究.pdf

1、隨著計(jì)算機(jī)軟硬件水平的快速發(fā)展以及各種移動(dòng)終端智能設(shè)備，如智能手機(jī)、數(shù)碼相機(jī)等的出現(xiàn)，人們?cè)诨ヂ?lián)網(wǎng)上上傳和分享圖片變得越來(lái)越容易，這就導(dǎo)致了互聯(lián)網(wǎng)上多媒體數(shù)據(jù)總量爆炸地增長(zhǎng)。由于文本檢索的巨大成功，目前大部分主流的圖像檢索系統(tǒng)仍采用基于文本的圖像檢索方式。可是，圖像的文本信息通常含有很多噪聲而且圖像文本信息對(duì)于圖像的描述能力不足，因此基于文本的圖像檢索方法通常得不到令人滿意的檢索結(jié)果。為了解決這個(gè)問(wèn)題，圖像搜索重排序的思想被提出并且受到

2、大量的關(guān)注。圖像搜索重排序是指在初始檢索結(jié)果基礎(chǔ)上，通過(guò)挖掘檢索結(jié)果中的文本特征、視覺(jué)特征等潛在信息或者利用外部輔助知識(shí)來(lái)對(duì)圖像重新進(jìn)行排序，從而提高檢索性能?，F(xiàn)存的圖像重排序算法在重排序過(guò)程中僅僅使用圖像的一種特征，如文本特征或視覺(jué)特征，結(jié)果仍然不太令人滿意，一些研究者試圖在重排序過(guò)程中使用圖像的多種模態(tài)特征并且取得了不錯(cuò)的效果?？墒撬麄兙鶝](méi)有考慮到圖像多模態(tài)特征之間的相互關(guān)系對(duì)重排序結(jié)果的影響，而且圖像的多模態(tài)特征是從不同角度對(duì)圖像

3、進(jìn)行的描述，它們本質(zhì)上是異構(gòu)的，這就對(duì)于直接度量它們之間的相似性帶來(lái)了很大的挑戰(zhàn)。基于上述考慮，本文提出了兩種基于圖框架的重排序方法:典型相關(guān)分析隨機(jī)游走重排序CCA-RW(Canonical Correlation Analysis Random Walk Reranking)和潛在語(yǔ)義稀疏哈希隨機(jī)游走重排序方法LSSH-RW(Latent Semantic Sparse Hashing Random WalkReranking)。<

4、br>　　典型相關(guān)分析隨機(jī)游走重排序方法中，通過(guò)線性映射將圖像的異構(gòu)特征表示映射到同一抽象空間中，從而可以方便的度量圖像不同特征之間的相似度。然后，我們構(gòu)建同構(gòu)完全圖來(lái)表示圖像集合，在計(jì)算得到圖像的相似度矩陣后，我們采用隨機(jī)游走算法來(lái)對(duì)圖像進(jìn)行重排序。
　　潛在語(yǔ)義稀疏哈希隨機(jī)游走重排序方法中，我們認(rèn)為在潛在語(yǔ)義空間中對(duì)圖像多模態(tài)特征之間的相互關(guān)系建模以及圖像的高層抽象表示對(duì)于改善重排序結(jié)果是有幫助的。該方法首先分別通過(guò)稀疏編碼和

5、矩陣分解的方式將圖像的視覺(jué)特征和文本特征映射到兩個(gè)等同的潛在語(yǔ)義空間中，然后通過(guò)線性映射將這兩個(gè)潛在語(yǔ)義空間映射到同一高層抽象空間中。然后在該高層抽象空間中直接度量圖像不同模態(tài)特征之間的相似性，然后構(gòu)建同構(gòu)完全圖，計(jì)算圖像的相似性矩陣，通過(guò)圖上的隨機(jī)游走來(lái)對(duì)圖像進(jìn)行重排序。這兩種方法均解決了圖像多模態(tài)之間的異構(gòu)問(wèn)題，從而更方便更準(zhǔn)確地度量圖像多模態(tài)特征之間的相似度。通過(guò)與其他幾種算法進(jìn)行對(duì)比，我們?cè)跀?shù)據(jù)集上的實(shí)驗(yàn)驗(yàn)證了這兩種方法的有效性