視頻廣告內(nèi)容分析與理解.pdf

1、視頻廣告已經(jīng)成為當今人類社會最為流行的一種商業(yè)媒介，為人們的現(xiàn)代生活帶來了不可或缺的商業(yè)信息，時時刻刻都在潛移默化的影響著人們的工作和生活方式。每年世界各國的企業(yè)都會花費上億美元的資金，生產(chǎn)、投放成千上萬條的視頻廣告并在各國電視臺循環(huán)不斷的播出，在向民眾推介各種各樣新穎的商品及服務(wù)的同時，也帶動了相關(guān)產(chǎn)業(yè)的迅速發(fā)展。
　　同時，隨著數(shù)字化浪潮的發(fā)展，人們已經(jīng)可以通過各種手段錄制海量的視頻廣告以便隨時獲取重要的商業(yè)咨詢。但是，由于缺

2、少有效的廣告內(nèi)容自動分析技術(shù)，錄制廣告數(shù)量的爆炸性增長導(dǎo)致了不同用戶群對于視頻廣告自動濾除、采集以及索引等多方面的迫切需求。如何針對他們各具特色的需求，開發(fā)一系列有效的視頻廣告內(nèi)容分析與理解技術(shù)，從而快速有效的監(jiān)視、分析、存儲、查詢視頻廣告的內(nèi)容、播出時間、質(zhì)量等已經(jīng)成為當前多媒體內(nèi)容分析領(lǐng)域的一個熱點問題。
　　針對當前視頻廣告內(nèi)容分析與理解技術(shù)中存在的不足，本文嘗試和探索從視頻廣告各種潛在語義特性的分析入手，借助計算機視覺、機

3、器學(xué)習(xí)以及多媒體處理技術(shù)，跨媒體挖掘視頻廣告中存在的各種語義概念，構(gòu)造中層描述子，實現(xiàn)不同媒體模態(tài)下的信息交互融合，提出行之有效的解決方案。本文主要成果和創(chuàng)新之處包括以下幾個方面：
　　1)視頻廣告識別技術(shù)中的由粗及細匹配策略
　　為提高視頻廣告識別技術(shù)的效率，通過將局部敏感哈希函數(shù)(Locality SensitiveHash，LSH)與精細尺度連續(xù)濾除技術(shù)(Fine Granularity Successive Elim

4、ination，F(xiàn)GSE)進行有機的融合，提出一種由粗及細的匹配策略。在粗匹配階段，利用LSH加快初始檢索速度，大量過濾無關(guān)內(nèi)容，得到全局近似的查詢結(jié)果；在精匹配階段，引入 FGSE技術(shù)解決粗匹配過程中的沖突問題，通過逐層分解匹配特征，快速尋找局部差異，獲得精確匹配結(jié)果，實現(xiàn)對于視頻廣告的快速識別。
　　2)基于協(xié)同學(xué)習(xí)的視頻廣告文本檢測
　　視頻廣告中的文本是一種重要的語義信息。為實現(xiàn)對這類復(fù)雜文本的有效定位，提出一種基于

5、協(xié)同學(xué)習(xí)的視頻廣告文本檢測方法。通過將文本檢測視為一種特殊紋理的分類問題，引入?yún)f(xié)同學(xué)習(xí)機制，采用兩種相對獨立的視角強化對于文本區(qū)域特性的描述。針對協(xié)同學(xué)習(xí)機制中容易引入噪聲樣本的問題，結(jié)合Bootstrap思想，提出一種改進的協(xié)同學(xué)習(xí)算法，在兩個相對獨立的視角中交互選擇典型樣本，提高分類器的泛化能力。
　　3)融合視覺一音頻一文本模態(tài)信息的視頻廣告段落檢測
　　提出一種基于視覺、音頻以及文本模態(tài)交互式融合的廣告段落檢測方法。

6、通過充分挖掘廣告各模態(tài)中本質(zhì)的播放特性，首次在視頻廣告的文本模態(tài)中，結(jié)合視頻文本區(qū)域在時空域隨機變化的特性，提出一個全面的文本描述子，同廣告音視頻模態(tài)特征構(gòu)成完整的描述空間。此外，為解決現(xiàn)有融合方式中，簡單將各模態(tài)信息進行疊加的不足，提出一種交互集成式學(xué)習(xí)算法Tri-AdaBoost，交互挖掘各種模態(tài)的中級描述子所蘊含的互補信息，實現(xiàn)這些模態(tài)的有機融合，從而提升分類器的性能。
　　4)視頻廣告段落分割技術(shù)中跨媒體特性分析與融合研究

7、
　　通過融合廣告視覺、音頻以及文本模態(tài)，提出一種有效的視頻廣告段落分割方法。為了加強對于廣告分割具有重要作用的描述子--產(chǎn)品信息幀(FrameMarked with Product Information，F(xiàn)MPI)檢測的魯棒性，首次將文本模態(tài)與一些重要的視覺特性引入FMPI的構(gòu)造過程，并結(jié)合音頻模態(tài)描述子形成一個對于廣告邊界特性的完整描述空間。此外，利用不同模態(tài)下描述子之間時域的上下文信息，實現(xiàn)各模態(tài)的有效融合，自動分割廣告段

8、落。
　　5)基于稀疏視覺詞包描述的廣告語義分類方法
　　為提高傳統(tǒng)視覺詞包的描述能力，利用更加符合人類理解圖像方式的稀疏學(xué)習(xí)技術(shù)，提出一種基于稀疏視覺詞包描述的廣告語義分類方法?；趯τ诖罅繌V告中視覺語義單元共生規(guī)律之間的分析，將不同類別廣告中出現(xiàn)的各具特色的語義單元映射為一種過完備化的視覺詞典表示，并利用這個詞典中基本元素的稀疏線性組合描述廣告中潛在的語義，在不同類別廣告中蘊含的語義信息與稀疏視覺詞包描述之間建立潛在的映