基于Kinect和指尖識(shí)別的EAST手勢(shì)交互系統(tǒng).pdf

1、EAST三維模型結(jié)構(gòu)復(fù)雜、部件種類繁多，對(duì)于大屏幕上的EAST模型交互，傳統(tǒng)的交互設(shè)備如鼠標(biāo)鍵盤等都需要時(shí)刻接觸設(shè)備，給用戶帶來(lái)不便。無(wú)法達(dá)到普通小顯示屏給人帶來(lái)的交互一致性，同時(shí)大屏幕上的交互會(huì)帶來(lái)強(qiáng)烈的空間差異性，長(zhǎng)期觀看容易使人產(chǎn)生疲勞感。三維模型交互比二維界面交互更為復(fù)雜，對(duì)復(fù)雜的EAST三維模型來(lái)說(shuō)，傳統(tǒng)交互方式具有一定的局限性、復(fù)雜性和疲勞性。因此我們?cè)O(shè)計(jì)了一種自由、直接的交互方式來(lái)減弱空間差異性，降低交互復(fù)雜性，避免長(zhǎng)期疲

2、勞性的系統(tǒng)—EAST三維模型手勢(shì)交互系統(tǒng)。對(duì)系統(tǒng)的研究分為三個(gè)部分實(shí)現(xiàn):需求分析、算法研究實(shí)現(xiàn)、系統(tǒng)實(shí)現(xiàn)和測(cè)試。
　　在需求分析階段，首先對(duì)EAST實(shí)體裝置的基本情況進(jìn)行了簡(jiǎn)單介紹，從而引出了EAST三維虛擬模型的交互需求。然后針對(duì)EAST模型的結(jié)構(gòu)進(jìn)行了分析和介紹，并以調(diào)查問(wèn)卷的形式進(jìn)行交互需求的調(diào)研和分析。通過(guò)調(diào)研分析，我們?cè)O(shè)計(jì)了6種手勢(shì)，分別是移動(dòng)、點(diǎn)擊、拾取、旋轉(zhuǎn)、拖拽、縮放。與此同時(shí)，通過(guò)查閱和研究國(guó)內(nèi)與國(guó)外的裸手識(shí)別相

3、關(guān)資料和文獻(xiàn)，我們最終提出了“基于Kinect和指尖特征”的動(dòng)態(tài)手勢(shì)識(shí)別算法。
　　“基于Kinect和指尖特征”的手勢(shì)識(shí)別算法的實(shí)現(xiàn)主要包括4個(gè)階段:數(shù)據(jù)采集、區(qū)域分割、特征提取、特征識(shí)別。數(shù)據(jù)采集階段我們采用了微軟的Kinect二代傳感器，從Kinect的人體骨骼幀和深度幀提取出人體手部的彩色圖像幀的大致區(qū)域。然后，通過(guò)高斯混合模型背景減法，從手部的大致區(qū)域里面去除背景得到手部區(qū)域，再利用橢圓膚色模型算法分割出膚色區(qū)域并通過(guò)形

4、態(tài)學(xué)開(kāi)閉運(yùn)算進(jìn)行區(qū)域平滑和去噪，從而得到進(jìn)一步精確的手部區(qū)域。在指尖特征提取之前，先對(duì)手部區(qū)域進(jìn)行輪廓提取，再通過(guò)計(jì)算手部輪廓的重心和霍夫曼圓圓心的加權(quán)平均求得掌心位置，同時(shí)在進(jìn)行輪廓采樣時(shí)，我們提出了根據(jù)手部區(qū)域占圖像比例來(lái)動(dòng)態(tài)設(shè)置采樣距離的方法，通過(guò)計(jì)算采樣點(diǎn)的K曲率得到指尖候選點(diǎn)，最后通過(guò)指尖和掌心的位置關(guān)系和距離因素來(lái)排除非指尖點(diǎn)從而得到指尖點(diǎn)。手勢(shì)識(shí)別我們采用了有限狀態(tài)機(jī)的方法。
　　最后，利用該手勢(shì)識(shí)別算法，基于Uni