基于深度神經網絡的統(tǒng)計機器翻譯模型研究.pdf

1、隨著互聯(lián)網應用的日益增多，網絡交互愈加頻繁，互聯(lián)網內的資源呈現出爆發(fā)式的增長。在此浪潮的沖擊之下，深度學習等基于大規(guī)模數據的方法被提出，且對于許多擱置不前的經典任務，學者們開始從全新的角度加以思考。而本課題的研究方向就是對傳統(tǒng)的機器翻譯問題重新設計與建模，并使用深度神經網絡來解決此問題。
　　通過對傳統(tǒng)統(tǒng)計機器翻譯方法的調研，以及深度學習在自然語言處理中的應用分析，本課題旨在建立一個聯(lián)合的神經網絡模型來覆蓋整個翻譯過程，從End-

2、to-End的角度直接完成翻譯任務。以往對于機器翻譯模型的改進，通常是將其中某個子模塊使用神經網絡進行替換，但本課題聯(lián)合所有子模塊進行建模，把機器翻譯過程分解為編碼器、解碼器兩大部分。在此之上對語言模型、詞對齊部分、以及輸出模塊生成算法進一步優(yōu)化，并提出一種基于遞歸神經網絡的RNN-embed機器翻譯模型。此模型最大的優(yōu)勢為無需對雙語數據進行分詞處理，平行雙語對會被視為兩個高度相關的具有時間順序的序列對。雙語數據以字符級別輸入所提出的網

3、絡進行訓練，以解決文本類信息在深度神經網絡中高語義難處理的困難。
　　基于所提出的模型，本課題還實現了一個可插拔的通用機器翻譯框架，并以多線程及GPU計算加速訓練過程。由于沒有合適的公開數據集，便通過爬取字幕網站上的中英字幕數據，并預處理后生成一千多萬對雙語語料，部分作為實驗數據使用。最后，通過實驗驗證，相比于權威統(tǒng)計機器翻譯系統(tǒng)Moses，本課題的RNN-embed機器翻譯模型大幅度縮減模型訓練時間，同時降低翻譯過程的復雜性。且