深度學習中卷積網(wǎng)絡的改進算法研究.pdf

1、自2006年以來，深度學習技術備受矚目。它正在多個領域如語音識別、圖像識別等領域大放異彩，而深度學習的卷積網(wǎng)絡技術也在計算機視覺領域獨領風騷。目前在深度學習中使用最多也最有效的就是卷積神經(jīng)網(wǎng)絡(CNN)，由于其獨特的參數(shù)共享的卷積結構，網(wǎng)絡的表達能力得以增強;除了CNN，在卷積網(wǎng)絡中還有一種簡單的卷積網(wǎng)絡被稱為主成分分析網(wǎng)絡(PCANet)，該網(wǎng)絡的特點是只有前向傳播的路徑，沒有反向傳播這個過程，結構較為簡單，也能堆疊成深度的網(wǎng)絡。卷積

2、網(wǎng)絡的問題目前主要是計算量大、硬件條件苛刻、參數(shù)量大、訓練過程緩慢，同時網(wǎng)絡的泛化性也不夠好。
　　卷積網(wǎng)絡PCANet憑借其簡單的網(wǎng)絡結構，因而訓練快速并且在識別任務中表現(xiàn)良好。本文首先針對PCANet，結合人臉識別的應用，提出了關于該網(wǎng)絡的改進方法，重新構造了一種特征提取網(wǎng)絡LPPNet/LPP PCANet。該網(wǎng)絡在多個人臉數(shù)據(jù)集ORL，Yale，AR上驗證了該網(wǎng)絡的有效性。實驗表明，LPPNet在這些數(shù)據(jù)集上表現(xiàn)良好，實驗

3、結果總體而言比PCANet稍好，同時遠比單純使用傳統(tǒng)的人臉識別算法Laplacianfaces的效果要好，并且在只有較少的訓練圖像時以及表情變化較大時，LPPNet要明顯優(yōu)于PCANet。
　　而針對CNN中傳統(tǒng)的卷積過程計算慢等問題，本文研究了在頻域中通過不同快速算法計算卷積的有效性。利用卷積定理在頻域中實現(xiàn)空域線性卷積被認為是一種非常有效的實現(xiàn)方式。因此本文首先提出一種統(tǒng)一的基于時域抽取方法的分裂基-2/(2a)1維FFT快速

4、算法，其中a為正整數(shù)，然后在CPU環(huán)境下對提出的FFT算法對卷積神經(jīng)網(wǎng)絡中的加速性能進行了比較研究。在兩個標準的數(shù)據(jù)庫MNIST和Cifar-10上的實驗表明:使用分裂基-2/(2a)實現(xiàn)的卷積替代傳統(tǒng)的卷積實現(xiàn)方式并不會降低整個CNN的識別精度，并且當a=2時，分裂基-2/4能取得令人滿意的提速效果，在以上兩個數(shù)據(jù)集上分別提速38.56％和72.01％。
　　最后本文針對CNN中參數(shù)量大的問題，結合低秩矩陣分解，對Zhang等人

5、新提出的圖像去噪網(wǎng)絡進行了改進。值得注意的是，據(jù)文獻檢索，將網(wǎng)絡壓縮的方法用于深度學習圖像去噪網(wǎng)絡的嘗試尚屬首次。本文成功的運用低秩矩陣分解的方法壓縮了該去噪網(wǎng)絡，并且指出即使降低原始網(wǎng)絡的深度（17層）至12層仍然能有不遜色的去噪表現(xiàn)。對于特定噪聲強度的去噪，僅僅用略微的PSNR值上的差異將原始DnCNN去噪網(wǎng)絡的參數(shù)降低了至少75％，而視覺效果無明顯差異;而對于盲去噪，用不超過0.5db的PSNR的下降保證了與標準去噪網(wǎng)絡基本一致的