中文復述實例與復述模板抽取技術研究.pdf

1、復述是自然語言中非常普遍的一個現(xiàn)象，它集中反映了語言的多樣性，已經(jīng)被應用到信息檢索、自動問答、信息抽取、自動文摘、機器翻譯等多個領域。本文從相關語料庫出發(fā)，運用多種自然語言處理技術和數(shù)據(jù)挖掘方法，對復述實例和復述模板的抽取進行了深入研究。主要內(nèi)容包括以下幾個方面：
　　1.復述研究的起點是復述實例語料庫的構建。本文基于兩種類型的相關語料庫，名著的多個譯本構成的篇章級單語平行語料庫和對同一事件的不同新聞報道組成的可比新聞語料庫，分別

2、從中抽取句子級的復述實例。對于譯本單語平行語料庫，本文針對沒有段落對齊標記的問題，提出了一種基于長度和位置信息相結(jié)合的句子對齊方法，有效獲取了大量句子級復述實例。對于可比新聞語料庫，本文實驗了三種抽取方法，分別為編輯距離方法、語義編輯距離方法和基于命名實體過濾的啟發(fā)式方法，根據(jù)各種方法的特點，能夠從可以新聞語料庫中抽取出不同類型的復述實例。
　　2.與句子級復述實例相比，短語級復述實例具有更細粒度的知識，因此本文針對短語級復述實例

3、的獲取進行了專門的研究。本文分別從兩種語料庫中抽短語復述實例：一種是對齊的句子級復述實例語料庫，一種是漢英雙語平行語料庫。對于句子級對齊復述實例語料庫，首先進行了統(tǒng)計和詞典相結(jié)合的方法進行了復述詞對齊，然后利用基于規(guī)則的方法，從詞對齊后的復述實例語料庫中抽取出大規(guī)模的短語級復述實例語料庫。對于漢英雙語平行語料庫，針對只輸入一個短語從雙語語料庫中抽取的復述不能夠解決歧義的情況，本文同時輸入一個雙語短語，雙語對中的兩個短語互相之間能夠確定對

4、方的語義，提出了一種基于雙語語料庫的短語級復述實例獲取方法，能夠有效的從中獲取短語級復述實例。
　　3.復述模板具有更強的抽象與表達能力，能夠被用來生成大量的復述實例。對于復述模板的研究主要存在兩個問題，第一是復述模板的表示，第二是復述模板的抽取。而復述模板的表示是復述模板抽取的前提，因此本文在分析了多種復述模板表示方法的基礎之上，提出了一種基于語義信息的復述模板表示方法，該方法結(jié)合一部中文語義詞典《同義詞詞林（擴展版）》，利用互

5、聯(lián)網(wǎng)上的豐富信息，自動對復述實例進行泛化以獲取復述模板，并從多個角度對泛化后的復述模板進行了評測。實驗結(jié)果顯示，本文的復述模板表示方法，與傳統(tǒng)的基于詞性的復述模板表示方法，具有更高的合理率和準確率。
　　4.本文提出了一種面向特定關系的復述模板抽取方法，該方法不需要首先抽取出準確的復述實例，而是面向某一特定關系，只需給定一個簡單易得的種子，就可以自動抽取出描述該關系的大量模板，這些模板之間由于都具有描述該特定關系的先驗知識，因此具

6、備了一種近似的復述模板關系。本文首先在一個大規(guī)模的語料庫上進行關系模板的抽取，為了解決數(shù)據(jù)稀疏問題，又將文本資源從大規(guī)模語料庫擴展到互聯(lián)網(wǎng)上，并改進了相應的模板抽取方法。實驗結(jié)果表明，該方法能夠抽取有效的復述模板。
　　本文界定復述研究的對象是短語或者句子的同義現(xiàn)象，需要用到多種自然語言處理的底層技術，因此，自然語言處理各種底層技術的不斷發(fā)展和成熟，能夠為復述技術進一步深入的研究提供基礎。反過來，復述研究的成果，也能夠有效的促進各