基于視頻序列的人體骨架提取與三維重建.pdf

1、目前，在視頻分析和處理過程中，運(yùn)動(dòng)物體的實(shí)時(shí)檢測和輪廓跟蹤已經(jīng)逐漸成為計(jì)算機(jī)視覺分析和識別的關(guān)鍵技術(shù)。尤其是人體運(yùn)動(dòng)分析的研究在人體動(dòng)畫、游戲、虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)、人機(jī)交互、視頻監(jiān)控、體育運(yùn)動(dòng)分析、輔助臨床醫(yī)療診斷等領(lǐng)域均有著廣闊的應(yīng)用前景。因此，基于視頻序列的研究運(yùn)動(dòng)人體骨架的提取，識別，及三維重構(gòu)具有重要意義。
　　 利用圖像序列進(jìn)行人體運(yùn)動(dòng)的跟蹤有三個(gè)基本內(nèi)容：(1)從復(fù)雜背景中提取運(yùn)動(dòng)人體；(2)人體跟蹤和標(biāo)定；(3)人

2、體行為的識別和理解。其中，人體運(yùn)動(dòng)的跟蹤和標(biāo)定是人體運(yùn)動(dòng)跟蹤與分析過程的關(guān)鍵，是進(jìn)一步識別和理解人體運(yùn)動(dòng)行為的基礎(chǔ)。本文完成的是基于雙目視頻序列對人體運(yùn)動(dòng)進(jìn)行分析的實(shí)驗(yàn)。該實(shí)驗(yàn)的輸入是兩組視頻圖像序列，首先對其進(jìn)行運(yùn)動(dòng)目標(biāo)檢測，本文采用背景差分法，結(jié)合灰度直方圖進(jìn)行閾值自動(dòng)分割，檢測出運(yùn)動(dòng)人體，并進(jìn)行人體形態(tài)學(xué)的處理。然后將人體輪廓矢量化，利用apar條帶將人體劃分為幾個(gè)子區(qū)域，結(jié)合骨架算法做為apar種子對的篩選約束，提取人體關(guān)鍵點(diǎn)。

3、最后利用上一步處理得到的人體關(guān)鍵點(diǎn)進(jìn)行三維重建。三維重建分為四個(gè)步驟，首先建立圖片間的關(guān)聯(lián)，其次對結(jié)構(gòu)和運(yùn)動(dòng)進(jìn)行恢復(fù)，再次進(jìn)行攝像機(jī)自標(biāo)定，最后對人體運(yùn)動(dòng)進(jìn)行三維重建。
　　 本文采用無標(biāo)記技術(shù)，即運(yùn)動(dòng)人體不帶任何標(biāo)記和傳感器，也不需要對首幀圖像中的關(guān)節(jié)點(diǎn)位置坐標(biāo)進(jìn)行人工標(biāo)定，減少了用戶干預(yù)，智能化程度較高。實(shí)驗(yàn)表明，本文可以準(zhǔn)確地辨別人體運(yùn)動(dòng)的較為簡單的動(dòng)作，并進(jìn)行三維重建，恢復(fù)深度信息到3D姿態(tài)。能夠在一定程度上有效地抵抗噪