雙模態(tài)情感識(shí)別關(guān)鍵技術(shù)研究.pdf

1、人臉表情、語(yǔ)音和身體姿態(tài)是人類(lèi)最重要的三種情感表達(dá)方式，通過(guò)研究這三種情感表達(dá)方式中的一種或幾種，可以有效分析和識(shí)別人類(lèi)的內(nèi)心情感狀態(tài)。近年來(lái)，人臉表情識(shí)別、語(yǔ)音情感識(shí)別、身體姿態(tài)情感識(shí)別、基于人臉表情和身體姿態(tài)的雙模態(tài)情感識(shí)別、基于人臉表情和語(yǔ)音的雙模態(tài)情感識(shí)別以及其他多模態(tài)情感識(shí)別已經(jīng)成為計(jì)算機(jī)視覺(jué)、情感計(jì)算、模式識(shí)別和社會(huì)信號(hào)處理等領(lǐng)域的主要研究?jī)?nèi)容，受到了國(guó)內(nèi)外研究人員的大量關(guān)注。到目前為止，單模態(tài)情感識(shí)別和多模態(tài)情感識(shí)別都取得

2、了較多的研究成果，在很大程度上促進(jìn)了情感分析和識(shí)別技術(shù)在人類(lèi)行為分析、公共安全以及早期兒童教育等領(lǐng)域的廣泛應(yīng)用。本論文主要研究了雙模態(tài)情感識(shí)別中的特征提取、特征降維和特征融合等關(guān)鍵問(wèn)題，并討論了情感識(shí)別中的特征選擇問(wèn)題以及噪聲和遮擋問(wèn)題。本研究主要內(nèi)容包括：
　?、叛芯苛饲楦凶R(shí)別中的特征選擇。針對(duì)局部保持投影(LPP)方法不能進(jìn)行情感特征選擇的問(wèn)題，提出了一種基于回歸的稀疏局部保持投影(SLPP)方法，分別用于語(yǔ)音情感識(shí)別和人臉表

3、情識(shí)別。SLPP方法是在原始LPP方法的最小二乘回歸式子上增加LASSO正則項(xiàng)，來(lái)對(duì)語(yǔ)音情感特征和人臉表情特征進(jìn)行特征降維和特征選擇。SLPP方法不僅可以刻畫(huà)情感特征的內(nèi)在流形結(jié)構(gòu)，還可以去除無(wú)用的情感特征，從而提升了情感識(shí)別的實(shí)驗(yàn)效果。SLPP方法在JAFFE人臉表情庫(kù)、POFA人臉表情庫(kù)、Berlin語(yǔ)音情感庫(kù)、eNTERFACE'05庫(kù)和FAU Aibo情感庫(kù)上都取得了較好的實(shí)驗(yàn)效果，其平均識(shí)別率高于LPP方法，說(shuō)明了特征選擇在人

4、臉表情識(shí)別和語(yǔ)音情感識(shí)別中的有效性。
　?、蒲芯苛饲楦凶R(shí)別中的魯棒特征降維。針對(duì)傳統(tǒng)LPP方法應(yīng)用于情感識(shí)別時(shí)缺乏魯棒性的問(wèn)題，提出了基于回歸的魯棒局部保持投影(RRLPP)方法，來(lái)有效處理情感識(shí)別中的噪聲和遮擋問(wèn)題。類(lèi)似于魯棒主成分分析(RPCA)方法、魯棒回歸(RR)方法和低秩約束線(xiàn)性判別分析(LRLDA)方法，RRLPP方法的基本思想也是通過(guò)同時(shí)引入情感樣本矩陣的低秩項(xiàng)和稀疏項(xiàng)來(lái)克服LPP方法中存在的不足，進(jìn)而提高情感識(shí)別的

5、魯棒性。在Multi-PIE人臉表情庫(kù)上的測(cè)試結(jié)果表明，RRLPP方法可以有效去除人臉表情圖像中的噪聲和遮擋，同時(shí)也能取得比非魯棒方法更高的人臉表情識(shí)別率。
　?、茄芯苛嘶谝曨l的人臉表情和身體姿態(tài)雙模態(tài)情感識(shí)別。提出了一種基于多類(lèi)典型相關(guān)分析(MCCA)的雙模態(tài)情感識(shí)別方法。該方法首先分別提取兩種模態(tài)的Harris空時(shí)特征以及情感語(yǔ)義特征，然后采用MCCA方法建立人臉表情Harris空時(shí)特征、身體姿態(tài)Harris空時(shí)特征和情感語(yǔ)

6、義特征的最小二乘回歸模型，進(jìn)而有效提取兩種模態(tài)的判別信息并實(shí)現(xiàn)特征融合。為了進(jìn)一步提高雙模態(tài)情感識(shí)別的準(zhǔn)確性，采用多類(lèi)核典型相關(guān)分析(MKCCA)融合方法替換MCCA融合方法，提出了一種基于MKCCA的雙模態(tài)情感識(shí)別方法。相比于MCCA融合方法，MKCCA是一種非線(xiàn)性融合方法。在FABO雙模態(tài)情感數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)結(jié)果顯示，MCCA融合方法和MKCCA（高斯核）融合方法都能有效地提高人臉表情和身體姿態(tài)雙模態(tài)情感識(shí)別效果。
　?、妊芯苛?/p>

7、基于特征層融合的人臉表情和語(yǔ)音雙模態(tài)情感識(shí)別。由于提取的人臉表情特征和語(yǔ)音情感特征往往存在噪聲或者冗余，因此會(huì)降低雙模態(tài)情感識(shí)別率。針對(duì)這個(gè)問(wèn)題，提出了一種基于稀疏核減秩回歸(SKRRR)的人臉表情和語(yǔ)音雙模態(tài)情感識(shí)別方法。通過(guò)增加兩個(gè)投影方向的LASSO正則項(xiàng)，SKRRR融合方法可以比KRRR融合方法更加有效地提取人臉表情模態(tài)和語(yǔ)音模態(tài)的相關(guān)情感信息，進(jìn)而在一定程度上提升了雙模態(tài)融合效果。在eNTERFACE'05數(shù)據(jù)庫(kù)上，SKRRR