基于手機和可穿戴設備的用戶活動識別問題研究.pdf

1、自動地識別人類的物理活動，通常被稱作是用戶活動識別(HAR)技術，是人機交互和普適計算領域中一個重要的研究方向，其目的在于自動獲取關于用戶活動的信息并提供給相關的服務或應用，使它們能夠更加主動和準確地輔助用戶完成他們的目標。傳統(tǒng)的用戶活動識別技術主要使用基于計算機視覺的方法，該類技術通過圖像處理方法對靜止圖像或者視頻進行分析，從而提取出用戶的活動并對活動的類別進行判斷。雖然該類技術已經(jīng)得到了廣泛的研究，但是其仍然存在著較為明顯的缺陷。首

2、先，該類技術依賴于外部設備，因此使用范圍被限制在已經(jīng)部署了圖像采集設備（如攝像頭）并且可被這些設備觀察到的區(qū)域內(nèi);其次，由于圖像所能傳達的信息非常豐富，會有除了用戶活動之外的其他信息被泄漏的風險，因此該類技術也存在較為嚴重的隱私問題;最后，由于圖像處理和視頻處理技術對網(wǎng)絡傳輸帶寬和計算能力要求較高，在現(xiàn)有技術條件下很難做到實時處理，因此也限制了該類技術在實時系統(tǒng)中的應用。
　　近些年來，隨著智能移動設備（如智能手機和可穿戴設備）和

3、相關傳感器（如動作傳感器和皮膚電傳感器）等技術的飛速發(fā)展，用戶活動識別技術研究的重點正從基于計算機視覺的方法轉(zhuǎn)向在用戶隨身攜帶的智能移動設備上基于其他傳感器的識別方法。這些新興的基于智能移動設備的用戶活動識別技術沒有了對外部設備的依賴，更加符合普適計算中“隨時隨地”的要求。該類技術按照所使用的傳感器類型可以分為三類，即:基于動作傳感器的識別技術，基于聲音傳感器的識別技術，和基于其他生理指標傳感器的識別技術。其中基于動作傳感器的識別技術，

4、是目前學術界重點研究的領域，也是本文所關注的問題。傳統(tǒng)的基于動作的活動識別技術一般采用靜態(tài)的模式識別方法和較為簡單的時間概率模型，這些模型都忽略了人類活動存在持續(xù)時間的模式這一特性，事實上，不同活動持續(xù)時間的差異能夠為識別活動類型提供重要的線索。另外，并不是所有的活動之間都存在著顯著的動作差異，在某些情況下不同活動的差別更多地是由用戶所處的環(huán)境決定的，然而單獨的動作傳感器只能提供對用戶動作的測量，而不能提供對用戶所處環(huán)境的觀測，因此不利

5、于對動作差異較小的活動進行區(qū)分，也不利于對更加復雜和高級的人類活動進行識別。
　　針對上述基于動作傳感器的用戶活動識別技術所存在的問題，本文首先總結了目前學術界研究成果中所采用的各種移動設備和傳感器，并分析其各自的適用性和優(yōu)缺點，然后提出了一種基于智能手機和可穿戴設備的活動感知框架，該框架可以同時利用可穿戴設備的持續(xù)感知能力和智能手機豐富的傳感器以及強大的計算能力。在此框架的基礎上，本文針對用戶活動識別技術進行了以下四個方面的研究

6、:1）研究通過半馬爾科夫模型對活動持續(xù)時間進行建模并利用該模型實現(xiàn)對用戶活動的識別;2）研究對動作傳感器數(shù)據(jù)和環(huán)境信息觀測進行融合的方法以提高用戶活動識別技術的性能;3）研究如何在用戶活動識別的基礎上實現(xiàn)對用戶活動的預測，提出并研究了基于活動預測的傳感器調(diào)度問題;4)研究如何在半馬爾科夫模型中實現(xiàn)對異?；顒拥淖R別，提出并研究了與異?；顒酉嚓P的被暴力侵犯監(jiān)測應用。本文的創(chuàng)新點如下:
　　第一，本文提出了基于智能手機和可穿戴設備的識別

7、框架。該框架基于如下的考慮:可穿戴設備由于空間和成本限制，傳感器比較單一，計算能力較弱，但是往往經(jīng)過特殊的設計以支持持續(xù)的感知，而智能手機搭載了更為豐富的傳感器組和強大的計算單元，但是由于任務較多和能耗限制，無法支持持續(xù)的感知。因此，通過將兩者結合，使得低能耗、持續(xù)而且基于多類觀測數(shù)據(jù)的用戶活動識別技術成為可能。
　　第二，為了實現(xiàn)對活動持續(xù)時間的建模，我們將隱半馬爾科夫模型和半馬爾科夫條件隨機場引入到用戶活動識別技術中，并對這兩

8、種模型進行了修改使其適應活動識別技術中特定的問題。具體地，我們通過混合高斯模型得到對于不同活動類型中特征向量分布的概率密度描述，并以此來代替標準半馬爾科夫模型中針對離散觀測變量的觀測概率。除此之外，我們研究了在半馬爾科夫模型中通過特征融合和模型融合這兩種方法對由動作傳感器提供的動作信息和由聲音及位置傳感器提供的環(huán)境信息進行利用，以提高活動識別的性能，我們通過實驗對兩種融合方法進行了比較，并分析了其各自的優(yōu)缺點和適用場景。
　　第三

9、，本文研究了如何在基于半馬爾科夫模型的活動識別技術的基礎上實現(xiàn)對活動的預測，我們將活動預測問題進一步細分為對尚未結束活動的預測和對尚未開始活動的預測，并針對這兩種問題分別提出了相應的解決方案。然后，我們提出了用于降低感知能耗的傳感器調(diào)度問題，并設計了基于對當前活動和下一活動持續(xù)時間預測的傳感器休眠調(diào)度機制，通過該方法使得活動感知系統(tǒng)可以在識別到當前活動為不感興趣的活動類型且預測到其剩余持續(xù)時間可能較長時，選擇合適的休眠間隔并進入休眠狀態(tài)

10、。
　　最后，我們對異?；顒幼R別技術及其應用進行了探索和研究，我們首先將異?；顒蛹毞譃榱嘶顒愚D(zhuǎn)移異常、活動持續(xù)時間和活動觀測異常這三種類型，然后在本文所提出的基于半馬爾科夫模型的活動識別技術的基礎上設計了一種基于概率閾值的異?；顒颖O(jiān)測方法。另外，我們還提出了與異常活動識別相關的被暴力侵犯監(jiān)測應用，其目的是在用戶遭受暴力侵犯時能夠自動地識別和報警。我們針對被暴力侵犯動作的特點提取若干有區(qū)分能力的特征并設計了一種基于組合分類器的識別方