基于手機(jī)和可穿戴設(shè)備的用戶活動(dòng)識(shí)別問題研究.pdf

1、自動(dòng)地識(shí)別人類的物理活動(dòng)，通常被稱作是用戶活動(dòng)識(shí)別(HAR)技術(shù)，是人機(jī)交互和普適計(jì)算領(lǐng)域中一個(gè)重要的研究方向，其目的在于自動(dòng)獲取關(guān)于用戶活動(dòng)的信息并提供給相關(guān)的服務(wù)或應(yīng)用，使它們能夠更加主動(dòng)和準(zhǔn)確地輔助用戶完成他們的目標(biāo)。傳統(tǒng)的用戶活動(dòng)識(shí)別技術(shù)主要使用基于計(jì)算機(jī)視覺的方法，該類技術(shù)通過圖像處理方法對(duì)靜止圖像或者視頻進(jìn)行分析，從而提取出用戶的活動(dòng)并對(duì)活動(dòng)的類別進(jìn)行判斷。雖然該類技術(shù)已經(jīng)得到了廣泛的研究，但是其仍然存在著較為明顯的缺陷。首

2、先，該類技術(shù)依賴于外部設(shè)備，因此使用范圍被限制在已經(jīng)部署了圖像采集設(shè)備（如攝像頭）并且可被這些設(shè)備觀察到的區(qū)域內(nèi);其次，由于圖像所能傳達(dá)的信息非常豐富，會(huì)有除了用戶活動(dòng)之外的其他信息被泄漏的風(fēng)險(xiǎn)，因此該類技術(shù)也存在較為嚴(yán)重的隱私問題;最后，由于圖像處理和視頻處理技術(shù)對(duì)網(wǎng)絡(luò)傳輸帶寬和計(jì)算能力要求較高，在現(xiàn)有技術(shù)條件下很難做到實(shí)時(shí)處理，因此也限制了該類技術(shù)在實(shí)時(shí)系統(tǒng)中的應(yīng)用。
　　近些年來，隨著智能移動(dòng)設(shè)備（如智能手機(jī)和可穿戴設(shè)備）和

3、相關(guān)傳感器（如動(dòng)作傳感器和皮膚電傳感器）等技術(shù)的飛速發(fā)展，用戶活動(dòng)識(shí)別技術(shù)研究的重點(diǎn)正從基于計(jì)算機(jī)視覺的方法轉(zhuǎn)向在用戶隨身攜帶的智能移動(dòng)設(shè)備上基于其他傳感器的識(shí)別方法。這些新興的基于智能移動(dòng)設(shè)備的用戶活動(dòng)識(shí)別技術(shù)沒有了對(duì)外部設(shè)備的依賴，更加符合普適計(jì)算中“隨時(shí)隨地”的要求。該類技術(shù)按照所使用的傳感器類型可以分為三類，即:基于動(dòng)作傳感器的識(shí)別技術(shù)，基于聲音傳感器的識(shí)別技術(shù)，和基于其他生理指標(biāo)傳感器的識(shí)別技術(shù)。其中基于動(dòng)作傳感器的識(shí)別技術(shù)，

4、是目前學(xué)術(shù)界重點(diǎn)研究的領(lǐng)域，也是本文所關(guān)注的問題。傳統(tǒng)的基于動(dòng)作的活動(dòng)識(shí)別技術(shù)一般采用靜態(tài)的模式識(shí)別方法和較為簡單的時(shí)間概率模型，這些模型都忽略了人類活動(dòng)存在持續(xù)時(shí)間的模式這一特性，事實(shí)上，不同活動(dòng)持續(xù)時(shí)間的差異能夠?yàn)樽R(shí)別活動(dòng)類型提供重要的線索。另外，并不是所有的活動(dòng)之間都存在著顯著的動(dòng)作差異，在某些情況下不同活動(dòng)的差別更多地是由用戶所處的環(huán)境決定的，然而單獨(dú)的動(dòng)作傳感器只能提供對(duì)用戶動(dòng)作的測量，而不能提供對(duì)用戶所處環(huán)境的觀測，因此不利

5、于對(duì)動(dòng)作差異較小的活動(dòng)進(jìn)行區(qū)分，也不利于對(duì)更加復(fù)雜和高級(jí)的人類活動(dòng)進(jìn)行識(shí)別。
　　針對(duì)上述基于動(dòng)作傳感器的用戶活動(dòng)識(shí)別技術(shù)所存在的問題，本文首先總結(jié)了目前學(xué)術(shù)界研究成果中所采用的各種移動(dòng)設(shè)備和傳感器，并分析其各自的適用性和優(yōu)缺點(diǎn)，然后提出了一種基于智能手機(jī)和可穿戴設(shè)備的活動(dòng)感知框架，該框架可以同時(shí)利用可穿戴設(shè)備的持續(xù)感知能力和智能手機(jī)豐富的傳感器以及強(qiáng)大的計(jì)算能力。在此框架的基礎(chǔ)上，本文針對(duì)用戶活動(dòng)識(shí)別技術(shù)進(jìn)行了以下四個(gè)方面的研究

6、:1）研究通過半馬爾科夫模型對(duì)活動(dòng)持續(xù)時(shí)間進(jìn)行建模并利用該模型實(shí)現(xiàn)對(duì)用戶活動(dòng)的識(shí)別;2）研究對(duì)動(dòng)作傳感器數(shù)據(jù)和環(huán)境信息觀測進(jìn)行融合的方法以提高用戶活動(dòng)識(shí)別技術(shù)的性能;3）研究如何在用戶活動(dòng)識(shí)別的基礎(chǔ)上實(shí)現(xiàn)對(duì)用戶活動(dòng)的預(yù)測，提出并研究了基于活動(dòng)預(yù)測的傳感器調(diào)度問題;4)研究如何在半馬爾科夫模型中實(shí)現(xiàn)對(duì)異常活動(dòng)的識(shí)別，提出并研究了與異?；顒?dòng)相關(guān)的被暴力侵犯監(jiān)測應(yīng)用。本文的創(chuàng)新點(diǎn)如下:
　　第一，本文提出了基于智能手機(jī)和可穿戴設(shè)備的識(shí)別

7、框架。該框架基于如下的考慮:可穿戴設(shè)備由于空間和成本限制，傳感器比較單一，計(jì)算能力較弱，但是往往經(jīng)過特殊的設(shè)計(jì)以支持持續(xù)的感知，而智能手機(jī)搭載了更為豐富的傳感器組和強(qiáng)大的計(jì)算單元，但是由于任務(wù)較多和能耗限制，無法支持持續(xù)的感知。因此，通過將兩者結(jié)合，使得低能耗、持續(xù)而且基于多類觀測數(shù)據(jù)的用戶活動(dòng)識(shí)別技術(shù)成為可能。
　　第二，為了實(shí)現(xiàn)對(duì)活動(dòng)持續(xù)時(shí)間的建模，我們將隱半馬爾科夫模型和半馬爾科夫條件隨機(jī)場引入到用戶活動(dòng)識(shí)別技術(shù)中，并對(duì)這兩

8、種模型進(jìn)行了修改使其適應(yīng)活動(dòng)識(shí)別技術(shù)中特定的問題。具體地，我們通過混合高斯模型得到對(duì)于不同活動(dòng)類型中特征向量分布的概率密度描述，并以此來代替標(biāo)準(zhǔn)半馬爾科夫模型中針對(duì)離散觀測變量的觀測概率。除此之外，我們研究了在半馬爾科夫模型中通過特征融合和模型融合這兩種方法對(duì)由動(dòng)作傳感器提供的動(dòng)作信息和由聲音及位置傳感器提供的環(huán)境信息進(jìn)行利用，以提高活動(dòng)識(shí)別的性能，我們通過實(shí)驗(yàn)對(duì)兩種融合方法進(jìn)行了比較，并分析了其各自的優(yōu)缺點(diǎn)和適用場景。
　　第三

9、，本文研究了如何在基于半馬爾科夫模型的活動(dòng)識(shí)別技術(shù)的基礎(chǔ)上實(shí)現(xiàn)對(duì)活動(dòng)的預(yù)測，我們將活動(dòng)預(yù)測問題進(jìn)一步細(xì)分為對(duì)尚未結(jié)束活動(dòng)的預(yù)測和對(duì)尚未開始活動(dòng)的預(yù)測，并針對(duì)這兩種問題分別提出了相應(yīng)的解決方案。然后，我們提出了用于降低感知能耗的傳感器調(diào)度問題，并設(shè)計(jì)了基于對(duì)當(dāng)前活動(dòng)和下一活動(dòng)持續(xù)時(shí)間預(yù)測的傳感器休眠調(diào)度機(jī)制，通過該方法使得活動(dòng)感知系統(tǒng)可以在識(shí)別到當(dāng)前活動(dòng)為不感興趣的活動(dòng)類型且預(yù)測到其剩余持續(xù)時(shí)間可能較長時(shí)，選擇合適的休眠間隔并進(jìn)入休眠狀態(tài)

10、。
　　最后，我們對(duì)異?；顒?dòng)識(shí)別技術(shù)及其應(yīng)用進(jìn)行了探索和研究，我們首先將異?；顒?dòng)細(xì)分為了活動(dòng)轉(zhuǎn)移異常、活動(dòng)持續(xù)時(shí)間和活動(dòng)觀測異常這三種類型，然后在本文所提出的基于半馬爾科夫模型的活動(dòng)識(shí)別技術(shù)的基礎(chǔ)上設(shè)計(jì)了一種基于概率閾值的異常活動(dòng)監(jiān)測方法。另外，我們還提出了與異?；顒?dòng)識(shí)別相關(guān)的被暴力侵犯監(jiān)測應(yīng)用，其目的是在用戶遭受暴力侵犯時(shí)能夠自動(dòng)地識(shí)別和報(bào)警。我們針對(duì)被暴力侵犯動(dòng)作的特點(diǎn)提取若干有區(qū)分能力的特征并設(shè)計(jì)了一種基于組合分類器的識(shí)別方