基于深度學(xué)習(xí)的語音情感特征學(xué)習(xí)方法研究.pdf

1、作為人類情感行為理解的一種基本方式，在過去的十幾年內(nèi)，語音情感識別已經(jīng)吸引許多相關(guān)領(lǐng)域研究者的關(guān)注。雖然語音情感特征提取和分類器設(shè)計已經(jīng)取得進(jìn)步，然而由于說話人和內(nèi)容的差異，以及環(huán)境擾動等因素的影響，設(shè)計具有魯棒性的語音情感識別系統(tǒng)仍然是一個具有挑戰(zhàn)性的問題。另外，目前先進(jìn)的語音情感識別系統(tǒng)都嚴(yán)重依賴于一個共同的假設(shè)，即訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)來源于同一種分布。然而在現(xiàn)實應(yīng)用中，來自不同域的語音信號在說話人、語言、情感類型、錄制環(huán)境以及使用的

2、標(biāo)記方法等方面具有一定差異。因此急需研究容忍說話人、說話內(nèi)容變化以及環(huán)境因素干擾的顯著情感特征學(xué)習(xí)或提取方法以及語音情感特征遷移學(xué)習(xí)方法。
　　深度學(xué)習(xí)方法能夠從輸入信號中學(xué)習(xí)出非常有效的信號的層次非線性表示，并且成功運用到語音識別、圖像理解等相關(guān)領(lǐng)域之中。受此思想的啟發(fā)，對無監(jiān)督語音情感特征學(xué)習(xí)方法進(jìn)行分析，并提出基于卷積神經(jīng)網(wǎng)絡(luò)的語音情感顯著特征學(xué)習(xí)方法和基于PCANet的語音情感特征遷移學(xué)習(xí)方法。所學(xué)習(xí)顯著的語音情感特征能夠

3、在復(fù)雜場景下（如說話人和語言差異，環(huán)境因素擾動等）獲得穩(wěn)定和魯棒的系統(tǒng)性能，并能解決跨庫引起的域間差異問題。具體研究內(nèi)容與創(chuàng)新點如下:
　　1)采用無監(jiān)督學(xué)習(xí)方法對語音情感特征進(jìn)行學(xué)習(xí)和分析，采用幾種典型的無監(jiān)督特征學(xué)習(xí)算法（稀疏自動編碼器，稀疏受限玻爾茲曼機(jī)，K均值聚類）對無標(biāo)注情感樣本進(jìn)行學(xué)習(xí)以發(fā)現(xiàn)與情感相關(guān)的特征。同時，對模型所涉及到的參數(shù)如:塊(patch)大小與隱層結(jié)點數(shù)量等超參數(shù)的選擇進(jìn)行詳細(xì)的分析和比較。該部分工作對

4、語音情感特征的自動學(xué)習(xí)和提取具有很好的參考作用。
　　2)提出基于卷積神經(jīng)網(wǎng)絡(luò)的語音情感特征學(xué)習(xí)新方法。該方法分為兩個階段。第一階段采用無標(biāo)注樣本訓(xùn)練稀疏自動編碼器學(xué)習(xí)得到局部不變特征。在第二階段將局部不變特征作為特征提取器的輸入，并在目標(biāo)函數(shù)中引入體現(xiàn)正交性、顯著性和可區(qū)分性懲罰項。從而將情感無關(guān)的特征從語音信號中分離出來，學(xué)習(xí)得到情感變化相關(guān)的、顯著的語音情感特征。在四個公開數(shù)據(jù)集(SAVEE，Emo-DB，MES，DES)上

5、的實驗結(jié)果表明提出的特征學(xué)習(xí)方法在復(fù)雜環(huán)境下（說話人與語言變化，環(huán)境擾動等）產(chǎn)生穩(wěn)定和魯棒的特征表示，同時在識別準(zhǔn)確率上超過傳統(tǒng)手工提取的情感特征。
　　3)提出基于PCANet的語音情感特征遷移學(xué)習(xí)新方法。該方法通過PCANet（一種深度網(wǎng)絡(luò)）嘗試學(xué)習(xí)產(chǎn)生從源域到目標(biāo)域路徑上多種中間特征表示，同時利用目標(biāo)域特征空間對路徑上的其他特征空間進(jìn)行矯正以控制它們用一種正確方式往目標(biāo)域靠近。在三個公開數(shù)據(jù)庫上（源庫:ABC，Emo-DB以