對草圖特征線的描述符用于大規(guī)模圖像檢索的一種評價

1、對草圖特征線的描述符用于大規(guī)模圖像檢索的一種評價對草圖特征線的描述符用于大規(guī)模圖像檢索的一種評價摘要摘要我們解決了在一個超過一百萬圖像的數據庫中，快速、大規(guī)模基于草圖的圖像檢索的搜索問題。我們發(fā)現，目前的檢索方法不能很好地適用于交互監(jiān)督搜索背景下的大型數據庫，于是我們提出了兩種不同的方法。通過客觀的評價，我們認為兩種方法明顯優(yōu)于現有的方法。所提出描述符的構造，使得全色圖像和草圖能進行完全相同的預處理步驟。首先，尋找具有相似結構的圖像，分

2、析梯度方向。然后，在主要顏色分布的基礎上，最佳匹配的圖像都進行聚集，以抵消在初始搜索時，缺乏基于顏色的決定量。總的來說，查詢結果表明，該系統(tǒng)通過一個用戶友好的簡約瀏覽界面，提供了對大型圖像數據庫的一個直觀的訪問。1.引言引言數碼相機已經產生了大量的數字圖像，許多都可以通過互聯網免費訪問（如Flickr）。在一個數據庫中，尋找一個接近心理模型的圖像是一個重要而困難的任務。目前，大多數查詢不是基于文本注釋和粗糙的彩色草圖，就是分別基于其他的

3、圖像和部分圖像[12]。我們認為圖像不能簡潔的被表現出來，并且僅僅基于文字進行查詢；人們可能會描述圖像的不同部分，并且根據他們的文化和專業(yè)背景使用不同的單詞。另一方面，基于顯示預期的結果非常相似查詢來搜索圖片，要么需要一個現有的圖像，它的缺少是通常用于查找原因，要么就是偉大的藝術技巧，如果圖像的陰影表演是必要的。它似乎使人更容易的描述出草圖形狀或場景的主要特征線。這可能會與人類如何思考和記憶對象相聯系[35]。請注意，一個圖像的主要特征

4、線幾乎完全決定它的陰影[6]。這一結果最近已經用創(chuàng)建一個簡單直觀的編輯矢量圖像來表示了[7]。1.1以前的成果以前的成果比較草圖特征線和圖像的任務是自然很困難的。對這個問題的第一次探索可以追溯到回到1979[8]基于畫報描述的檢索。大多數圖像檢索的方法式基于輪廓草圖，到現在仍在使用如下算法：Hirata等人[9]搜索205個油畫的數據庫，通過把圖像數據庫的圖像邊緣和用戶的草圖相匹配。圖像大小劃分為8X8塊。對于每一塊，最好的相鄰相互關系

5、是通過搜索本地塊的一個小窗口來計算。全球的相似性是作為當地的相關值的總和來計算。Chan等人[10]搜索137個彩色圖像的數據庫，通過對比凸起的邊緣特征屬性，如長度，曲率和空間關系。邊緣被建模為隱式多項式，導致檢索算法允許輸入草圖的局部失真。Rajendran和Chang[11]將方向和曲率直方圖用到圖像編碼的最大邊緣。該方法利用多尺度考慮到用戶的草圖中各種層次的細節(jié)。由此產生的系統(tǒng)被用來檢索一個含有約5000幅繪畫和其他圖像的數據庫。

6、Lopresti等人[12]確認用戶的草圖可以被看作是一種特殊形式的筆跡，在125個草圖數據庫中巧妙地把搜索作為一個字符串匹配問題。Jain等人[13]將顏色和形狀的信息（使用顏色直方圖和邊緣直方圖的線性組合相似地測繪）在有400個圖像數據庫中檢索商標圖像。Hurtut等人[14]在線型繪制的小型數據庫中利用曲率驅動流分析圖像內容。其他的成果是基于匹配一個單一的曲線到草圖：DelBimbo等人[15]和Sclaroff[16]讓用戶草圖

7、進行彎曲和拉伸變形來匹配輪廓。Matusiak等人[17]提出在曲率尺度空間的輪廓[18]并且對曲率尺度空間的曲線，定義了一個距離測量方法。Ip等人[19]對于單輪廓描述提出了一種仿射不變量。像目前對于大型圖像集的大多數檢索算法一樣，我們的系統(tǒng)是基于一個小的能捕捉到的圖像的基本特性描述符（高維特征向量）。然后圖像的相似性是通過對特征向量的距離度量的定義。典型的描述符使用全局或局部直方圖的強度，顏色，方向性[2023]或全部的圖像變換系數

8、[2425]。這些描述符未能為輸入特征線產生了良好的結果。一個為基于邊緣[26]的圖像被檢索。下載圖像的最大尺寸已經被限制在1024x768像素內，所有下載的圖像都按JPEG格式，被存儲在硬盤的一個簡單的文件夾內。數據庫的內存占用為375G，導致平均JPEG文件大小為250K。我們的圖像搜索引擎的輸入是一組二進制的提綱（見圖1，左），由用戶定義搜索內容所需的形狀。一個查詢結果是一個形狀相似但生成的潛在大范圍色調的圖片的小集合。為了給用戶

9、提供一種快速找到正確的彩色圖像結果集的機制，我們另外聚集了一種顏色的直方圖搜索結果，將其匯聚成一個小的集群（通常在510的順序）。然后用戶可以快速找到包含匹配所需顏色的集群，并且從該集群中選擇最符合草圖形狀的圖像。集群在第4節(jié)中有更詳細的描述。我們的圖像排序算法是基于捕捉圖像的每一部分主要方向的描述符，是對數據庫中的所有圖像在脫機過程中進行計算。在查詢過程中，用戶草圖提供每個空間區(qū)域的方向信息。描述符是從素描中提取的，和使用數據庫中最近

10、鄰搜索算法得到的描述符相比較。與通過最近鄰發(fā)現的描述符對應的圖像被反饋，并呈現給用戶。我們已將所提出的方法應用到基于草圖的圖像檢索系統(tǒng)，這個系統(tǒng)可以讓任何新手用戶用來快速查詢圖像數據庫（見第6節(jié)）或者使用目前基于草圖的照片合成器系統(tǒng)[40、41]來創(chuàng)建新內容。該系統(tǒng)的功能源于探索現有大量的圖像，這抵消圖像描述符和搜索中明顯的偏移。我們分析了所提出描述符的性能并在5和6節(jié)中評價其檢索性能。3.基于草圖的圖像描述符基于草圖的圖像描述符幾乎所

11、有的圖像描述符都是為匹配數據庫中給定的（部分）圖像[202542]而設計。這些描述符可用被用戶用來輸入，僅僅當這些輸入與圖像的顏色，強度，或方向相類似時。病媒生物。一個向量值或轉換的描特征線不完全兼容這些描述符，我們相信基于該輸入搜索圖像數據庫可以被認為比基于效仿數據庫條目的輸入困難。在下面，我們首先快速地描述，對于草圖的圖像檢索現有的兩個描述符：Chalechale等人[26]提出的角徑向分區(qū)和在MPEG7標準[29]中定義的邊緣直方

12、圖。然后，我們描述兩個由Eitz等人[34]介紹的描述符，并在5節(jié)中顯示他們克服現有方法的不足。分區(qū)策略和特點：所有四個描述符通過使用規(guī)則的劃分策略和從每個所結果的局部區(qū)域提取圖像的特點，對圖像進行細分。在本文中，我們把細分過程中產生的圖像局部區(qū)域稱為“單元”。所有單元（使用固定空間的布局）的局部特征被用于形成一個表示圖像的特征向量。本文分析了四個描述符用不同方式細分圖像（在張量的情況下用規(guī)則的網格，HOG和EHD描述符，如在ARP描述

13、符情況下徑向角細分）和從每個單元中提取什么樣的信息（在HOG和EHD的情況下的梯度方向描述符，在張量描述符下的結構張量和在ARP的描述符的情況下Canny的特征線[43]）。部分匹配：為了獲得包含一個適合用戶草圖的對象同時還包括在不同位置的其他對象的圖片，每個單元空格（即，與用戶草圖沒有交集）在基于描述符的距離計算中被忽略并且存儲在二進制標記中。這有三個直接的后果：第一，用戶可以專注于特定的圖像內容，不需要在查詢數據庫前素描出整個圖片；

14、第二，通過避免對圖片背景的限制，增加了潛在可能的結果；第三，在查詢過程中，這大大地減少了距離計算的量。3.1角徑向分區(qū)角徑向分區(qū)Chalechale等人[26]對于基于草圖的圖像檢索明確地提出了一個描述符，這個描述符對抵抗位置和規(guī)模的小位移有魯棒性，并且被設計為旋轉不變的。從輸入圖像中對描述符的提取，要求按照以下步驟：（a）轉換圖像為它的灰度強度表示；（b）采用Canny邊緣濾波器提取局部邊緣特征；（c）劃分邊緣到MN角徑向分區(qū)（如圖2