基于關(guān)節(jié)點(diǎn)特征融合的人體行為識(shí)別.pdf

1、人體行為識(shí)別是計(jì)算機(jī)視覺(jué)領(lǐng)域的熱門研究課題之一，同時(shí)也是非常具有挑戰(zhàn)性的研究難點(diǎn)。它在諸多領(lǐng)域有著廣泛的應(yīng)用，如：智能視頻監(jiān)控、人機(jī)交互、基于內(nèi)容的視頻檢索等?？梢?jiàn)，人體行為識(shí)別技術(shù)與人類生活的各個(gè)方面密切相關(guān)，相關(guān)研究成果正在急劇地改變著我們的生活。因此，開(kāi)展人體行為識(shí)別的研究具有極其重大的現(xiàn)實(shí)意義。
　　大部分現(xiàn)有行為識(shí)別方法主要從視頻數(shù)據(jù)出發(fā)，即先從視頻序列中提取與人體行為相關(guān)的特征，再利用提取的特征訓(xùn)練分類器進(jìn)行行為識(shí)別。

2、這些方法往往忽略了人體行為最本質(zhì)的信息，即人體各個(gè)關(guān)節(jié)點(diǎn)與人體行為之間的關(guān)系。為了更好地利用這一信息，本文分別使用兩種特征融合方式對(duì)關(guān)節(jié)點(diǎn)信息進(jìn)行處理，從而獲取更具有判別性的人體行為表示，并分別融合多任務(wù)學(xué)習(xí)框架、多核學(xué)習(xí)框架完成識(shí)別任務(wù)。論文的主要工作如下：
　?。?）提出了一種基于人體關(guān)節(jié)點(diǎn)及多任務(wù)稀疏學(xué)習(xí)的行為識(shí)別方法，通過(guò)多任務(wù)稀疏學(xué)習(xí)挖掘關(guān)節(jié)點(diǎn)之間的內(nèi)在聯(lián)系，實(shí)現(xiàn)關(guān)節(jié)點(diǎn)特征的融合。首先在每一幀圖像中提取人體各個(gè)關(guān)節(jié)點(diǎn)處的

3、初始特征，為了更好地對(duì)時(shí)間信息進(jìn)行編碼，采用分層時(shí)間結(jié)構(gòu)將視頻序列劃分為不同時(shí)間粒度的子序列，然后分別在這些子序列中計(jì)算關(guān)節(jié)點(diǎn)初始特征的協(xié)方差特征并將其串聯(lián)以獲取各個(gè)關(guān)節(jié)點(diǎn)與時(shí)間長(zhǎng)度無(wú)關(guān)的特征表示。在分類階段，采用基于稀疏表示的分類方法，考慮到人體運(yùn)動(dòng)過(guò)程中各個(gè)關(guān)節(jié)點(diǎn)之間的相互聯(lián)系，通過(guò)多任務(wù)稀疏學(xué)習(xí)的方法聯(lián)合學(xué)習(xí)所有關(guān)節(jié)點(diǎn)的稀疏表示，并據(jù)此對(duì)人體行為進(jìn)行識(shí)別。實(shí)驗(yàn)結(jié)果表明該方法在一定程度上提高了行為識(shí)別的準(zhǔn)確率。
　　（2）提出

4、了一種基于人體姿態(tài)和上下文信息的行為識(shí)別方法，通過(guò)多核學(xué)習(xí)實(shí)現(xiàn)姿態(tài)特征和上下文特征的融合。首先提取每一幀圖像中的人體姿態(tài)特征，為了對(duì)人體運(yùn)動(dòng)信息進(jìn)行更好的描述，通過(guò)關(guān)節(jié)點(diǎn)的位置和角度變化情況描述該關(guān)節(jié)點(diǎn)的速度以及角速度信息并作為人體姿態(tài)特征的一部分；同時(shí)，為了保證不同長(zhǎng)度視頻中提取到的人體姿態(tài)特征具有相同的維度，在分層時(shí)間結(jié)構(gòu)中對(duì)其實(shí)施最大值聚合操作。此外，考慮到人體姿態(tài)特征對(duì)描述人體行為的局限性以及周圍環(huán)境中其他事物的運(yùn)動(dòng)與人體運(yùn)動(dòng)之