基于神經(jīng)網(wǎng)絡的復述抽取和重排序研究.pdf

1、因為語言的多樣性和計算機對語言的理解能力有限，目前的機器翻譯性能與我們期待的仍有一定的差距。尤其在一些小語種上并沒有大量的雙語平行語料庫，語料相對比較稀疏，機器翻譯性能并不是很好。復述，作為解決稀疏問題的一種方法，通過引入復述來提升機器翻譯的性能。其次，全局特征，往往對機器翻譯的性能提升具有重要作用。非線性的神經(jīng)網(wǎng)絡模型具備更強的表達能力，而且，它通過引入隱含層，可以根據(jù)翻譯的平均度量對輸入層的特征進行進一步的抽象和解釋，從而能夠更好地

2、利用特征來提高翻譯的性能。因此，我們決定用神經(jīng)網(wǎng)絡模型來實現(xiàn)重排序中的判別函數(shù)，利用其全局特征、RNN語言模型特征和線性插值的方法提高翻譯的性能。本課題的研討內(nèi)容有以下幾個方面：
　?。?）我們提出了一種短語劃分的標準，首先對雙語語料進行句法標注，將句法解析后的語料按樹結(jié)構(gòu)存儲，抽取相應的包含名詞短語和動詞短語的子樹作為短語劃分。并且我們對不同粒度的名詞短語動詞短語的實驗結(jié)果進行對比，針對出現(xiàn)的嵌套問題，對算法進行改進，解決嵌套問

3、題，得到更精確的短語劃分，準確率和召回率都可以達到80％以上。
　　（2）我們根據(jù)詞向量模型建立了短語向量模型，對短語劃分后生成的短語進行短語向量表示，我們利用K-均值聚類來抽取復述，我們將抽取的復述結(jié)果應用到統(tǒng)計機器翻譯系統(tǒng)中，通過修改短語翻譯概率來解決訓練語料庫數(shù)據(jù)稀疏的問題，從實驗結(jié)果中我們也可以看到，改善后的短語表可以提高機器翻譯的性能，大概提高0.3BLEU值。
　?。?）我們嘗試引入了基于神經(jīng)網(wǎng)絡的統(tǒng)計機器翻譯重