基于手機(jī)和可穿戴設(shè)備的用戶活動(dòng)識(shí)別問(wèn)題研究.pdf

1、自動(dòng)地識(shí)別人類的物理活動(dòng)，通常被稱作是用戶活動(dòng)識(shí)別(HAR)技術(shù)，是人機(jī)交互和普適計(jì)算領(lǐng)域中一個(gè)重要的研究方向，其目的在于自動(dòng)獲取關(guān)于用戶活動(dòng)的信息并提供給相關(guān)的服務(wù)或應(yīng)用，使它們能夠更加主動(dòng)和準(zhǔn)確地輔助用戶完成他們的目標(biāo)。傳統(tǒng)的用戶活動(dòng)識(shí)別技術(shù)主要使用基于計(jì)算機(jī)視覺(jué)的方法，該類技術(shù)通過(guò)圖像處理方法對(duì)靜止圖像或者視頻進(jìn)行分析，從而提取出用戶的活動(dòng)并對(duì)活動(dòng)的類別進(jìn)行判斷。雖然該類技術(shù)已經(jīng)得到了廣泛的研究，但是其仍然存在著較為明顯的缺陷。首

2、先，該類技術(shù)依賴于外部設(shè)備，因此使用范圍被限制在已經(jīng)部署了圖像采集設(shè)備（如攝像頭）并且可被這些設(shè)備觀察到的區(qū)域內(nèi);其次，由于圖像所能傳達(dá)的信息非常豐富，會(huì)有除了用戶活動(dòng)之外的其他信息被泄漏的風(fēng)險(xiǎn)，因此該類技術(shù)也存在較為嚴(yán)重的隱私問(wèn)題;最后，由于圖像處理和視頻處理技術(shù)對(duì)網(wǎng)絡(luò)傳輸帶寬和計(jì)算能力要求較高，在現(xiàn)有技術(shù)條件下很難做到實(shí)時(shí)處理，因此也限制了該類技術(shù)在實(shí)時(shí)系統(tǒng)中的應(yīng)用。
　　近些年來(lái)，隨著智能移動(dòng)設(shè)備（如智能手機(jī)和可穿戴設(shè)備）和

3、相關(guān)傳感器（如動(dòng)作傳感器和皮膚電傳感器）等技術(shù)的飛速發(fā)展，用戶活動(dòng)識(shí)別技術(shù)研究的重點(diǎn)正從基于計(jì)算機(jī)視覺(jué)的方法轉(zhuǎn)向在用戶隨身攜帶的智能移動(dòng)設(shè)備上基于其他傳感器的識(shí)別方法。這些新興的基于智能移動(dòng)設(shè)備的用戶活動(dòng)識(shí)別技術(shù)沒(méi)有了對(duì)外部設(shè)備的依賴，更加符合普適計(jì)算中“隨時(shí)隨地”的要求。該類技術(shù)按照所使用的傳感器類型可以分為三類，即:基于動(dòng)作傳感器的識(shí)別技術(shù)，基于聲音傳感器的識(shí)別技術(shù)，和基于其他生理指標(biāo)傳感器的識(shí)別技術(shù)。其中基于動(dòng)作傳感器的識(shí)別技術(shù)，

4、是目前學(xué)術(shù)界重點(diǎn)研究的領(lǐng)域，也是本文所關(guān)注的問(wèn)題。傳統(tǒng)的基于動(dòng)作的活動(dòng)識(shí)別技術(shù)一般采用靜態(tài)的模式識(shí)別方法和較為簡(jiǎn)單的時(shí)間概率模型，這些模型都忽略了人類活動(dòng)存在持續(xù)時(shí)間的模式這一特性，事實(shí)上，不同活動(dòng)持續(xù)時(shí)間的差異能夠?yàn)樽R(shí)別活動(dòng)類型提供重要的線索。另外，并不是所有的活動(dòng)之間都存在著顯著的動(dòng)作差異，在某些情況下不同活動(dòng)的差別更多地是由用戶所處的環(huán)境決定的，然而單獨(dú)的動(dòng)作傳感器只能提供對(duì)用戶動(dòng)作的測(cè)量，而不能提供對(duì)用戶所處環(huán)境的觀測(cè)，因此不利

5、于對(duì)動(dòng)作差異較小的活動(dòng)進(jìn)行區(qū)分，也不利于對(duì)更加復(fù)雜和高級(jí)的人類活動(dòng)進(jìn)行識(shí)別。
　　針對(duì)上述基于動(dòng)作傳感器的用戶活動(dòng)識(shí)別技術(shù)所存在的問(wèn)題，本文首先總結(jié)了目前學(xué)術(shù)界研究成果中所采用的各種移動(dòng)設(shè)備和傳感器，并分析其各自的適用性和優(yōu)缺點(diǎn)，然后提出了一種基于智能手機(jī)和可穿戴設(shè)備的活動(dòng)感知框架，該框架可以同時(shí)利用可穿戴設(shè)備的持續(xù)感知能力和智能手機(jī)豐富的傳感器以及強(qiáng)大的計(jì)算能力。在此框架的基礎(chǔ)上，本文針對(duì)用戶活動(dòng)識(shí)別技術(shù)進(jìn)行了以下四個(gè)方面的研究

6、:1）研究通過(guò)半馬爾科夫模型對(duì)活動(dòng)持續(xù)時(shí)間進(jìn)行建模并利用該模型實(shí)現(xiàn)對(duì)用戶活動(dòng)的識(shí)別;2）研究對(duì)動(dòng)作傳感器數(shù)據(jù)和環(huán)境信息觀測(cè)進(jìn)行融合的方法以提高用戶活動(dòng)識(shí)別技術(shù)的性能;3）研究如何在用戶活動(dòng)識(shí)別的基礎(chǔ)上實(shí)現(xiàn)對(duì)用戶活動(dòng)的預(yù)測(cè)，提出并研究了基于活動(dòng)預(yù)測(cè)的傳感器調(diào)度問(wèn)題;4)研究如何在半馬爾科夫模型中實(shí)現(xiàn)對(duì)異?；顒?dòng)的識(shí)別，提出并研究了與異?；顒?dòng)相關(guān)的被暴力侵犯監(jiān)測(cè)應(yīng)用。本文的創(chuàng)新點(diǎn)如下:
　　第一，本文提出了基于智能手機(jī)和可穿戴設(shè)備的識(shí)別

7、框架。該框架基于如下的考慮:可穿戴設(shè)備由于空間和成本限制，傳感器比較單一，計(jì)算能力較弱，但是往往經(jīng)過(guò)特殊的設(shè)計(jì)以支持持續(xù)的感知，而智能手機(jī)搭載了更為豐富的傳感器組和強(qiáng)大的計(jì)算單元，但是由于任務(wù)較多和能耗限制，無(wú)法支持持續(xù)的感知。因此，通過(guò)將兩者結(jié)合，使得低能耗、持續(xù)而且基于多類觀測(cè)數(shù)據(jù)的用戶活動(dòng)識(shí)別技術(shù)成為可能。
　　第二，為了實(shí)現(xiàn)對(duì)活動(dòng)持續(xù)時(shí)間的建模，我們將隱半馬爾科夫模型和半馬爾科夫條件隨機(jī)場(chǎng)引入到用戶活動(dòng)識(shí)別技術(shù)中，并對(duì)這兩

8、種模型進(jìn)行了修改使其適應(yīng)活動(dòng)識(shí)別技術(shù)中特定的問(wèn)題。具體地，我們通過(guò)混合高斯模型得到對(duì)于不同活動(dòng)類型中特征向量分布的概率密度描述，并以此來(lái)代替標(biāo)準(zhǔn)半馬爾科夫模型中針對(duì)離散觀測(cè)變量的觀測(cè)概率。除此之外，我們研究了在半馬爾科夫模型中通過(guò)特征融合和模型融合這兩種方法對(duì)由動(dòng)作傳感器提供的動(dòng)作信息和由聲音及位置傳感器提供的環(huán)境信息進(jìn)行利用，以提高活動(dòng)識(shí)別的性能，我們通過(guò)實(shí)驗(yàn)對(duì)兩種融合方法進(jìn)行了比較，并分析了其各自的優(yōu)缺點(diǎn)和適用場(chǎng)景。
　　第三

9、，本文研究了如何在基于半馬爾科夫模型的活動(dòng)識(shí)別技術(shù)的基礎(chǔ)上實(shí)現(xiàn)對(duì)活動(dòng)的預(yù)測(cè)，我們將活動(dòng)預(yù)測(cè)問(wèn)題進(jìn)一步細(xì)分為對(duì)尚未結(jié)束活動(dòng)的預(yù)測(cè)和對(duì)尚未開始活動(dòng)的預(yù)測(cè)，并針對(duì)這兩種問(wèn)題分別提出了相應(yīng)的解決方案。然后，我們提出了用于降低感知能耗的傳感器調(diào)度問(wèn)題，并設(shè)計(jì)了基于對(duì)當(dāng)前活動(dòng)和下一活動(dòng)持續(xù)時(shí)間預(yù)測(cè)的傳感器休眠調(diào)度機(jī)制，通過(guò)該方法使得活動(dòng)感知系統(tǒng)可以在識(shí)別到當(dāng)前活動(dòng)為不感興趣的活動(dòng)類型且預(yù)測(cè)到其剩余持續(xù)時(shí)間可能較長(zhǎng)時(shí)，選擇合適的休眠間隔并進(jìn)入休眠狀態(tài)

10、。
　　最后，我們對(duì)異?；顒?dòng)識(shí)別技術(shù)及其應(yīng)用進(jìn)行了探索和研究，我們首先將異?；顒?dòng)細(xì)分為了活動(dòng)轉(zhuǎn)移異常、活動(dòng)持續(xù)時(shí)間和活動(dòng)觀測(cè)異常這三種類型，然后在本文所提出的基于半馬爾科夫模型的活動(dòng)識(shí)別技術(shù)的基礎(chǔ)上設(shè)計(jì)了一種基于概率閾值的異?；顒?dòng)監(jiān)測(cè)方法。另外，我們還提出了與異?；顒?dòng)識(shí)別相關(guān)的被暴力侵犯監(jiān)測(cè)應(yīng)用，其目的是在用戶遭受暴力侵犯時(shí)能夠自動(dòng)地識(shí)別和報(bào)警。我們針對(duì)被暴力侵犯動(dòng)作的特點(diǎn)提取若干有區(qū)分能力的特征并設(shè)計(jì)了一種基于組合分類器的識(shí)別方