中文短文本實體識別和鏈接研究.pdf

1、隨著社會的信息化進(jìn)程，人們對自然語言語義理解系統(tǒng)的需求越來越迫切。目前基于命名實體的研究成為了語義研究的熱點。本文研究了中文短文本的命名實體識別(NER)和實體鏈接(EL)，考慮這兩個任務(wù)的相關(guān)性，采用了聯(lián)合處理這兩個任務(wù)的方式。
　　實體識別和鏈接是文本分析的基本任務(wù)，是許多自然語言任務(wù)的基礎(chǔ)支撐模塊?，F(xiàn)有方法大多使用pipeline模式執(zhí)行這兩個任務(wù)。通常先使用一個NER系統(tǒng)尋找命名實體的邊界，然后使用一個EL系統(tǒng)關(guān)聯(lián)命名實體

2、到具體的知識庫條目。在這樣的模式下NER系統(tǒng)的錯誤往往會傳遞到EL系統(tǒng)中，且EL系統(tǒng)缺乏足夠的信息糾正錯誤。這種模式在長文本上可能合適，因為現(xiàn)有的實體識別系統(tǒng)在足夠的訓(xùn)練語料和足夠理想的上下文情況下表現(xiàn)良好。但當(dāng)我們處理短文本的時候，這種模式下的NER系統(tǒng)對最終實體識別和鏈接的結(jié)果產(chǎn)生了不利影響。
　　為了解決此類在短文本實體識別和鏈接任務(wù)上的錯誤傳播問題，我們基于兩個任務(wù)之間的耦合關(guān)系及潛在可能的互促進(jìn)效應(yīng)，提出了2個聯(lián)合處理N

3、ER和EL任務(wù)的模型，分別是線性模型和基于半條件隨機(jī)場的模型。研究者們一般視NER為一個序列標(biāo)注問題，EL任務(wù)為實體排序問題。我們的線性模型視NER和EL任務(wù)為排序問題。它生成盡可能多的候選“實體指稱和實體對”，并對其進(jìn)行排序，選擇最合適的“實體指稱和實體對”。我們基于半條件隨機(jī)場的聯(lián)合模型處理的是序列標(biāo)注問題，在標(biāo)注其“實體指稱”時，盡可能多的使用實體相關(guān)的特征。在聯(lián)合處理實體識別和鏈接的情況下，我們可用的特征較分別處理識別和鏈接更加