基于彩色與深度圖像的唇讀技術(shù)研究.pdf

1、唇讀技術(shù)是一門新型的多種交叉學(xué)科研究技術(shù)，涵蓋了圖像處理、模式識(shí)別、計(jì)算機(jī)視覺中的關(guān)鍵技術(shù)。由于視覺方面的優(yōu)勢(shì)，廣泛應(yīng)用于輔助聾兒康復(fù)、輔助語音識(shí)別、手勢(shì)識(shí)別和個(gè)人身份認(rèn)證等方面。本課題通過對(duì)國(guó)內(nèi)外研究成果的總結(jié)，對(duì)唇讀技術(shù)的各個(gè)關(guān)鍵模塊進(jìn)行了較為深入細(xì)致的研究。主要工作包括：
　?。?）自建了小型彩色與深度圖像數(shù)據(jù)庫。由于本課題研究方向的特殊性，需要彩色圖像與深度圖像相對(duì)應(yīng)的數(shù)據(jù)庫，而目前并沒有這樣的成熟的數(shù)據(jù)庫，因此自建了小型

2、的彩色圖像與深度圖像相對(duì)應(yīng)的數(shù)據(jù)庫，并完成前期視頻分割，得到發(fā)音的關(guān)鍵幀圖像。
　?。?）對(duì)唇部區(qū)域定位進(jìn)行了相關(guān)的研究。采用基于人臉檢測(cè)與五官相對(duì)結(jié)構(gòu)的唇部區(qū)域定位方法對(duì)唇部區(qū)域進(jìn)行精確的定位，并通過大量實(shí)驗(yàn)，研究得到唇部區(qū)域相對(duì)于鼻子在人臉區(qū)域分布的最佳參數(shù)。實(shí)驗(yàn)表明該方法以及通過該方法得到的參數(shù)可以精確的標(biāo)定唇部區(qū)域并且盡量排除其他干擾。
　　（3）在唇部分割技術(shù)的研究方面，提出基于彩色與深度圖像的唇部分割方法。對(duì)于彩

3、色圖像，采用基于Lab色彩空間a分量的唇部提取方法進(jìn)行唇部提取，同時(shí)在閾值選擇方面進(jìn)行了研究，通過實(shí)驗(yàn)證明應(yīng)用 Otsu法能夠得到更好的分割閾值。對(duì)于深度圖像通過彩色圖像的映射得到深度圖像的唇部區(qū)域，對(duì)深度圖像的唇部區(qū)域利用k均值聚類進(jìn)行分割。并且在兩種圖像的結(jié)合方法和除噪方法上進(jìn)行了研究。實(shí)驗(yàn)證明基于彩色與深度圖像的唇部分割方法能有精確有效的將唇部像素和非唇部像素分離。
　?。?）在唇部特征提取方面，研究了基于投影法和可變模板相