中文機構名識別的研究.pdf

1、中文命名實體識別是中文信息處理任務的前提和基礎，其中機構名占有相當大的比重，而且是最難識別的一部分，其識別精度還遠遠達不到實際應用的需要。本文詳細研究了中文機構名的識別方法，并實現了一個有效的中文機構名識別系統(tǒng)。 本文將中文機構名分為簡單機構名和復雜機構名，其中簡單機構名僅由一個詞組成，結構簡單，而復雜機構名則由多個詞組成，結構相對復雜。根據兩類機構名不同的結構特點采用不同的方法進行識別。 復雜機構名中經常嵌套包含簡單機

2、構名，因此采用一個雙層模型進行識別。首先在低層采用條件隨機場模型(Conditional Random Fields，CRF)識別簡單機構名，CRF可以使用更復雜的特征進行訓練和推理，它不但能夠充分利用上下文信息作為特征，還可以任意添加其他的外部特征，是目前最優(yōu)秀的序列標注模型之一。實驗證明，采用CRF識別簡單機構名能夠獲得較好的性能;然后將低層的識別結果傳至高層，輔助進行復雜機構名的識別，最后將兩層的識別結果進行合并。本文采用兩種方法

3、識別復雜機構名： 一種是支持向量機(Support Vector Machine,SVM)和CRF相結合的方法。即根據復雜機構名的結構特點，將識別分為右邊界識別和前部標注，對文本中出現在特征詞表中的詞，采用SVM判斷其是否是機構名的右邊界，對確定為右邊界的詞向前采用CRF進行標注，也就是尋找機構名左邊界的過程。在前部標注的過程中加入了候選詞的策略，在一定程度上提高了識別精度。 另一種是CRF和可信度模型相結合的方法。首先

4、建立特征詞可信度模型和前部詞可信度模型，然后針對文本中的每個詞分別計算其可信度的大小，并將可信度信息加入到CRF中進行學習，最終獲得識別模型。 最后對機構名簡稱和兼類機構名進行詳細的分析。該類機構名的識別涉及到語義層次，單純采用統(tǒng)計方法無法有效的進行識別，本文根據它們不同的結構特點，制定了有效的規(guī)則進行初步的識別。 實驗證明本文的識別方法是有效的，針對北大版語料的開式精確率、召回率和F值分別為94.83％，95.02％和