排序?qū)W習中的領(lǐng)域自適應研究.pdf

1、隨著監(jiān)督式機器學習技術(shù)在各個領(lǐng)域的廣泛應用，研究人員逐漸意識到，訓練數(shù)據(jù)的缺乏是阻礙學習模型快速部署的關(guān)鍵因素之一。最近幾年，如何解決訓練數(shù)據(jù)缺乏的問題，已經(jīng)成為機器學習，自然語言處理，信息檢索、多媒體等領(lǐng)域的研究熱點。
　　 排序?qū)W習是信息檢索的關(guān)鍵問題之一。目前，基于監(jiān)督的機器學習技術(shù)被認為是解決排序?qū)W習的最佳選擇。如同傳統(tǒng)監(jiān)督式學習技術(shù)，目標領(lǐng)域缺乏訓練數(shù)據(jù)也是排序?qū)W習正在面臨的實際問題。針對排序?qū)W習，我們研究了如何利用其

2、他相關(guān)領(lǐng)域的已有訓練數(shù)據(jù)，學習出適用于目標領(lǐng)域的模型，即領(lǐng)域自適應。
　　 本文的主要貢獻有以下幾個方面：
　　 1.提出了基于文檔權(quán)重的排序?qū)W習自適應框架。首先，利用領(lǐng)域分隔超平面估計源領(lǐng)域文檔對目標領(lǐng)域的重要性；然后，把這些文檔權(quán)重轉(zhuǎn)換成文檔對權(quán)重；最終，文檔對權(quán)重可以集成到基于文檔對的排序?qū)W習算法中。
　　 2.研究了著名的排序?qū)W習算法RankBoost的領(lǐng)域自適應問題。在基于文檔權(quán)重的排序自適應框架下，提

3、出了三種基于文檔權(quán)重的RankBoost算法，并分別對它們進行了理論分析和試驗比較。
　　 3.提出了直接在查詢層次估計源領(lǐng)域查詢對目標領(lǐng)域重要性的方法。在排序?qū)W習中，查詢是帶有相關(guān)性標簽的文檔集合，是排序?qū)W習的基本對象。我們分別從兩個不同的角度進行查詢權(quán)重估計：(1)將查詢壓縮成特征向量，然后采用傳統(tǒng)的權(quán)重估計方法進行查詢權(quán)重估計。(2)對每個源領(lǐng)域的查詢，把它依次和目標領(lǐng)域查詢進行比較；通過集成這些兩兩比較的結(jié)果，估計源領(lǐng)域

4、查詢對于目標領(lǐng)域的重要程度。
　　 4.提出了基于主動學習的排序?qū)W習自適應算法。為了獲得目標領(lǐng)域特有的排序知識，采用主動學習技術(shù)，選擇少量目標領(lǐng)域具有信息量的查詢進行標注。這些查詢可以彌補源領(lǐng)域所缺失的目標領(lǐng)域排序知識，同時，利用這些目標查詢評估源查詢對目標領(lǐng)域的重要性權(quán)重，從而充分利用源領(lǐng)域的訓練數(shù)據(jù)。
　　 5.將領(lǐng)域自適應技術(shù)應用在語義實體識別中，提出了利用領(lǐng)域獨立特征來增強領(lǐng)域自適應能力的方法。傳統(tǒng)實體識別僅僅使

5、用短文本特征，當訓練文檔和測試文檔在風格上稍有差異時，性能便有明顯下降。為解決該問題，我們設(shè)計了一個CRF與SVM的組合框架，通過該框架，短文本特征與領(lǐng)域獨立特征可以有效的集成，最終獲得的識別模型能夠更好地適用于目標領(lǐng)域。
　　 針對不同的應用場景，本文研究了排序?qū)W習中的領(lǐng)域自適應問題。在目標領(lǐng)域沒有標注數(shù)據(jù)的場景下，我們從樣本權(quán)重的角度，研究了基于權(quán)重的排序?qū)W習領(lǐng)域自適應；在目標領(lǐng)域存在少量標注預算的場景下，我們研究了基于主動