視覺與聽覺跨模態(tài)轉換的認知和應用研究.pdf

1、在日常生活中,人類時時刻刻都在攝取來自不同感官的各種信息,為了完成不同的認知任務,我們可能需要將注意力在各個感官通道上進行來回切換;當有的感官通道受到不可逆的損傷時,我們希望通過從其他感官獲取相關信息來進行替代。本文主要圍繞視覺與聽覺跨模態(tài)轉換闡述碩士期間的兩項工作:其一,視覺與聽覺跨模態(tài)轉換的認知過程研究。本文采用行為學實驗和腦電分析的方法,討論了這種自上而下的注意力切換的行為學和電生理特征,對比了注意力從聽覺切換到視覺與從視覺切換到

2、聽覺的不同特性,計算了感官間注意力切換所需要的時間以及對應的腦電成分,并使用事件相關電位(ERP)這種高時間分辨率的方法確定了接到注意力轉移的任務以后,開始注意力轉移的時間點。我們發(fā)現(xiàn),注意力從視覺切換到聽覺約需要152ms,而從聽覺切換到視覺只需要約96ms。對于事件相關電位,聽覺提示誘發(fā)的N1、P2幅值均比視覺提示誘發(fā)的大。注意力從視覺轉移到聽覺誘發(fā)了額葉和中央區(qū)一個2μV左右的負波,而視覺注意力的保持則表現(xiàn)為一個接近基線的信號;聽

3、覺注意力的保持誘發(fā)了一個位于額葉和中央區(qū)的2μV左右的負波,而注意力從聽覺轉移到視覺的過程卻表現(xiàn)為一個接近基線的信號?？紤]到ERP波形幅值反映了認知資源的分配,這很好地驗證了“視覺主導認知過程(visual dominance)”的觀點。此外,注意力的轉移會造成聽覺刺激誘發(fā)的ERP幅值增加,對于視覺刺激恰好相反,感官間的注意力切換會造成視覺刺激誘發(fā)的ERP幅值減小,我們猜測,這種現(xiàn)象與聽覺對于注意力的自吸引效應和視覺注意力水平可能有一定

4、關系。其二,基于聽覺代替視覺的助盲系統(tǒng)SoundView升級優(yōu)化工作。為了實現(xiàn)聽覺代替視覺的目標,我們搭建了聽覺引導助盲系統(tǒng)SoundView,它通過識別環(huán)境中的某些物體編碼相應的語音播放給盲人聽,告知盲人環(huán)境中重要物體的名稱和方位。聽覺引導助盲系統(tǒng)SoundView通過攝像頭采集視頻輸入嵌入式系統(tǒng)進行數字圖像處理和特征識別,根據特定物體所處位置構建三維立體聲序列,盲人能夠通過聲音序列的不同區(qū)別物體,并利用三維立體聲判斷物體方位。為了避

5、免復雜的模式識別算法,我們用條形碼標記環(huán)境中的重要物體幫助識別。本課題前期已經完成了SoundView系統(tǒng)整體搭建,但是已有的系統(tǒng)存在處理速度過慢、有效識別范圍過小等問題。為了改善系統(tǒng)性能,使SoundView更加具有實用價值,我們使用長焦鏡頭和分段特征識別算法擴展了有效距離,同時簡化圖像處理程序、使用系統(tǒng)庫函數節(jié)省計算資源,大大提升了SoundView的處理速度,使得在0.5m-6.5m的范圍內可以以12幀/秒以上的速度進行有效的條形