基于骨架節(jié)點的人體行為識別研究.pdf

1、人體行為識別是融合了計算機視覺、深度學習、模式識別等眾多學科的研究成果，并在基于內容的視頻搜索，輔助醫(yī)療，娛樂游戲，視頻監(jiān)控等領域具有廣泛的應用價值。近年來，人體行為識別是計算機視覺中比較活躍的研究領域。人體可被視為一種關節(jié)系統(tǒng)，由關節(jié)點連接的剛性段（肢體）組成。人體行為由這些剛性段的運動組成，且由人體骨架節(jié)點在三維空間中的運動表示。隨著深度傳感器，如Kinect，以及骨架節(jié)點提取技術的發(fā)展，基于骨架節(jié)點的人體行為識別的研究逐漸興起。<

2、br>　　基于骨架節(jié)點的人體行為識別研究主要包括四個方面:三維骨架節(jié)點特征表示，動態(tài)時序注冊，多源特征聯合學習，以及關鍵幀分析。現有關三維骨架節(jié)點特征表示方法在幀級特征提取過程中，往往忽略了骨架數據本身的噪聲和其從屬序列的類別及時序特性，使得提取的特征魯棒性不高，并很難反映動作間細微且有意義的差異。而傳統(tǒng)的基于動態(tài)時序規(guī)整的注冊方法在處理含有周期性片段的行為序列時存在嚴重誤配問題，并且忽略了類內與類間序列的差異，使得生成的隱式模板的辨識

3、能力比較弱。另外，對于一些復雜或者極其相似的動作，僅僅依靠骨架節(jié)點數據，難以準確地識別人體行為。針對該問題，研究者提出了結合其他數據源，比如深度圖序列、彩色圖序列，提取多源特征進行行為識別的研究以提高識別準確率。而這些研究工作，往往是將多源特征線性組合，對最終的行為識別性能提升非常有限。對于視頻關鍵幀提取，大多數研究是基于一些預先設計弱語義特征的準則，這使得它們難以適應不同的場景或任務。
　　基于上述背景，本文首先簡要介紹了人體行

4、為識別算法的研究背景，意義和國內外相關研究現狀，然后著重于基于骨架節(jié)點的人為行為識別研究，闡述了本文的基本思想和研究思路，深入研究三維骨架特征表示、動態(tài)時序注冊、多源特征聯合學習以及時序視覺注意選擇四個方面的問題。
　　本論文的主要貢獻可歸納以下幾個方面:
　　(1)針對現有的方法在提取單幀特征時很少考慮其從屬序列的類別與時序特性，骨架節(jié)點數據存在噪聲等問題，提出一種類別與時序約束的自編碼神經網絡(DAE-CTC)。DAE-

5、CTC在非監(jiān)督學習過程中，引入類別約束項與時序約束項，并在解碼中重建，獲得更好魯棒性的骨架特征。相較于其他方法，DAE-CTC在人體行為動作識別中獲得了較高的準確率。
　　(2)針對傳統(tǒng)的時序注冊算法存在嚴格的時序前傳限制，并在處理周期性動作時可能完全失效的問題，提出一種基于局部時序約束的序列注冊方法(LRWS)。計算動作隱式模板時，LRWS不僅考慮模板與類內的各行為類別序列間的相似性，同時強化其與類間序列間的差異。相對于主流的時

6、序注冊方法，本文提出的LRWS方法更加有利于人體行為識別問題。
　　(3)針對現有算法辨識極其相似或存在重疊的動作不準確問題，提出了結合深度圖的多源特征聯合學習算法(DMAE)。DMAE采用DAE-CTC與卷積自編碼分別提取骨架節(jié)點圖與深度圖的隱層特征，并通過一個兩層神經網絡對二者特征進行非線性建模，最后采用BP-NN聯合優(yōu)化整個網絡。最終提取的骨架節(jié)點特征與深度圖特征可以有效提升對于復雜和非常相似動作的辨識能力。另外，DMAE具

7、有很強的重建能力，可以修復存在干擾噪聲的三維骨架節(jié)點數據。
　　(4)針對人體行為識別中存在時序干擾與計算冗余的問題，提出了一種基于遞歸自編碼的時序視覺注意選擇機制(TSAE)。利用遞歸神經網絡LSTM(Long Short Term Memory)輸出門閥的特性，通過添加低秩與稀疏約束，TSAE可以從動作序列中提取重要且稀疏的時序視覺注意點用于行為識別，自適應地減少運算量，并提高動作識別任務的準確性。同時在時間性能上，TSAE較