視頻中人體動作識別關(guān)鍵技術(shù)研究.pdf

1、視頻中人體動作識別作為計(jì)算機(jī)視覺與模式識別領(lǐng)域中的一個重要分支，在智能視頻監(jiān)控、人機(jī)交互、運(yùn)動分析、視頻檢索等諸多領(lǐng)域，具有廣闊的應(yīng)用前景，受到了國內(nèi)外學(xué)者廣泛關(guān)注。然而，視頻中人體動作的復(fù)雜性和多樣性，使其成為一項(xiàng)深具挑戰(zhàn)的研究課題。
　　本文根據(jù)人體動作視頻拍攝時是否發(fā)生攝像機(jī)運(yùn)動，將人體動作識別劃分為固定攝像機(jī)拍攝視頻（簡稱為靜止視頻）、運(yùn)動攝像機(jī)拍攝視頻（簡稱為運(yùn)動視頻）中人體動作識別兩類。分別采用基于人體前景的全局表示、

2、基于視頻局部特征的局部表示方法用于靜止、運(yùn)動視頻中人體動作識別。具體研究內(nèi)容如下：
　　1）基于時空條件信息的靜止視頻運(yùn)動前景檢測
　　針對視頻監(jiān)控應(yīng)用中，常發(fā)生的動態(tài)背景干擾問題，提出了基于時空條件信息的靜止視頻中前景檢測方法。采用圖像像素在時空域內(nèi)的時空條件信息代替像素亮度進(jìn)行運(yùn)動前景、背景分類，并將視覺顯著性原理引入時空域構(gòu)建過程中，通過加權(quán)鄰域內(nèi)像素時空條件信息進(jìn)一步抑制噪聲，最后采用圖像分塊加速策略，實(shí)現(xiàn)了動態(tài)場景

3、運(yùn)動目標(biāo)實(shí)時、高精度檢測。
　　2）基于黎曼流形的靜止視頻人體動作全局表示
　　采用人體前景時空形狀（Space Time Shapes, STS）進(jìn)行人體動作全局表示，并針對STS匹配存在的高維問題，提出基于體內(nèi)點(diǎn)輻射距離的STS三維形狀局部采樣（Local sample of Space Time Shapes, LsSTS）特征，統(tǒng)計(jì)LsSTS的協(xié)方差矩陣作為 STS的特征描述對其降維。在黎曼流形框架下，以較低的計(jì)算復(fù)

4、雜度，實(shí)現(xiàn)了較高的人體動作識別精度。
　　3）攝像機(jī)運(yùn)動不變視頻局部特征提取及表示
　　針對現(xiàn)有視頻局部特征提取方法容易受到攝像機(jī)運(yùn)動干擾的問題，提出了攝像機(jī)運(yùn)動不變視頻局部特征提取及表示方法。先在圖像空域檢測圖像局部特征、并跟蹤得到局部特征運(yùn)動軌跡；再采用RANSAC(RANdom SAmple Consensus)算法檢測前景運(yùn)動軌跡，用于與人體動作相關(guān)的視頻局部特征定位；最后利用背景運(yùn)動軌跡進(jìn)行攝像機(jī)運(yùn)動補(bǔ)償，提取攝像

5、機(jī)運(yùn)動不變視頻局部特征描述子。該方法有效降低了運(yùn)動視頻中局部特征誤檢測率，提高了BoF(Bag of Feature)模型進(jìn)行運(yùn)動視頻人體動作識別的精度。
　　4）視頻局部特征時空編碼算法
　　針對 BoF模型在進(jìn)行人體動作建模時忽視人體區(qū)域中視頻局部特征時空位置關(guān)系的問題，將局部特征時空位置坐標(biāo)引入局部特征編碼中，直接對局部特征時空位置關(guān)系建模。實(shí)驗(yàn)結(jié)果表明，該算法優(yōu)于向量量化、稀疏編碼、局部約束線性編碼等局部編碼算法，可

6、有效提高人體動作識別精度。
　　5）基于視頻分割序列集的人體動作分類
　　為提高整段視頻人體動作分類精度，提出了基于視頻分割序列集的人體動作分類框架。通過將待分類人體動作視頻劃分為若干個部分重疊的視頻分割序列，以視頻分割序列集進(jìn)行人體動作視頻分類。可增加分類樣本輸入、保留更多人體動作信息，提高整段視頻的識別率。在該分類框架下，分別采用了KNN投票分類、局部約束組稀疏表示分類(Locality constrained grou