基于視覺(jué)信息的語(yǔ)音識(shí)別技術(shù)研究.pdf

1、在人機(jī)交互領(lǐng)域中，傳統(tǒng)的單語(yǔ)音識(shí)別技術(shù)在相對(duì)安靜的環(huán)境下能夠?qū)B續(xù)的單詞及詞組達(dá)到較高的識(shí)別率。然而，將其應(yīng)用到有背景噪聲或多人交互的真實(shí)環(huán)境時(shí)，其識(shí)別能力受到了極大的限制?，F(xiàn)實(shí)語(yǔ)音交流中，說(shuō)話(huà)人的視覺(jué)信息可以明顯提升接受者的感知能力。因此，本文主要研究了計(jì)算機(jī)視覺(jué)技術(shù)在自動(dòng)語(yǔ)音識(shí)別中的應(yīng)用。 本文首先介紹了基于視覺(jué)的視聽(tīng)語(yǔ)音識(shí)別(AVSR)系統(tǒng)的整體框架，并對(duì)傳統(tǒng)的單視覺(jué)、單音頻的特征提取和識(shí)別方法進(jìn)行了分析比較。認(rèn)為人臉嘴部

2、視覺(jué)特征的檢測(cè)提取與視、音特征融合是提高系統(tǒng)整體語(yǔ)音識(shí)別能力的關(guān)鍵，亦是本文主要的研究工作。 為了滿(mǎn)足視覺(jué)特征的實(shí)時(shí)檢測(cè)，我們首先引入了旋轉(zhuǎn)哈爾特征在積分圖像中的應(yīng)用，在基于Adaboost推進(jìn)學(xué)習(xí)算法上通過(guò)使用單值分類(lèi)作為基礎(chǔ)特征分類(lèi)器，以級(jí)聯(lián)的方式合并強(qiáng)分類(lèi)器，劃分檢測(cè)區(qū)域并用于嘴部定位，最后通過(guò)卡爾曼濾波跟蹤、主成分分析、線(xiàn)性判別、音節(jié)分析，拋棄了大量對(duì)后期特征融合識(shí)別無(wú)用的特征量，快速有效的提取了人臉嘴部特征。音頻語(yǔ)音特