基于排序學習的信息檢索模型研究.pdf

1、“信息檢索”(Information Retrieval)，又稱為“情報檢索”，它是指將信息按一定方式組織和存貯起來，并針對用戶要求找出所需信息的過程。其核心問題是如何根據(jù)候選文檔(或候選網(wǎng)頁)和用戶給定查詢的相關性產(chǎn)生一個檢索模型。早期的信息檢索模型雖然構造方法簡單，但精度較低，難以獲得用戶滿意的檢索結果。對此，近些年國外有學者提出把一種新的學習方法-排序學習(learning to rank)應用到檢索模型的構造上，以期獲得更精確的

2、檢索結果。所謂的排序學習是指，使用機器學習技術和有標簽的數(shù)據(jù)自動產(chǎn)生一個檢索(排序)模型。由于在文檔檢索，協(xié)同濾波等領域的廣泛應用，最近幾年排序學習的研究受到國內外學者越來越多地關注，并成為逐漸當前機器學習領域的一個研究熱點。
　　 本論文旨在研究基于排序學習的信息檢索模型。通過從Pointwise法，Pairwise法，Listwise法等多個角度設計更為高效的排序算法，以期構造更為精確的排序模型。具體而言，論文的工作主要包括

3、以下幾個方面：
　　 (1)針對傳統(tǒng)Ranking SVM算法得到的排序模型在用NDCG等信息檢索標準來評價效果不好。提出一種對原算法的改進算法。新算法首先設計了一個查詢級的框架，在此基礎上定義了一個面向NDCG的目標函數(shù)，針對該目標的非光滑，提出使用割平面算法進行求解?；鶞蕯?shù)據(jù)集上的實驗證明了所提算法的有效性。
　　 (2)針對已有“直接優(yōu)化評估標準”算法或基于“Pairwise”法或基于“Listwise”法。而對于

4、使用“Pointwise”法解決上述問題缺乏關注，提出兩個基于“Pointwise”法的排序算法。兩算法均以NDCG為優(yōu)化目標，但定義了不同的目標函數(shù)并使用了不同的優(yōu)化技術。具體而言，第一個算法使用基于margin-rescaling的算法框架，在此基礎上設計了面向NDCG的凸目標函數(shù)，并提出使用割平面算法進行求解。針對已有割平面算法對割平面的選擇，往往使“主問題”值的變化存在一定的波動，降低算法的效率。文中給出一個高效線性搜索算法，以

5、此決定新的割平面選擇，保證了“主問題”值變化地單調遞減。第二個算法采用基于slack-resealing的算法框架，并定義了面向NDCG的一個非凸目標函數(shù)，該函數(shù)比已有的凸目標函數(shù)更加緊湊。針對函數(shù)的非凸非光滑，提出首先使用凹-凸過程進行逼近，然后再使用割平面算法進行求解?；鶞蕯?shù)據(jù)集上的實驗證明了所提算法的有效性。
　　 (3)提出一種結合Listwise法和Pairwise法的新型排序算法。算法將排序學習分為兩個階段，第一階段

6、為“主學習”階段，該階段采用Listwise法，在本階段算法首先選擇1-slack SVM為學習工具，然后定義了學習目標，該目標更關注排名靠前的相關文檔。針對目標函數(shù)的約束條件太多，難以直接計算，提出使用割平面算法進行求解。對于算法內部的“尋找最違背排列”的子過程，提出將其看成一個降序排列的過程，并使用快速排序法求解。算法的第二個階段為第一階段基礎上的“再次精化”。為此，算法采用Pairwise法的框架，并將原RankingSVM的凸鉸

7、鏈函數(shù)，變?yōu)榉峭筍igmoid函數(shù)，確保了第二階段解為原解基礎上的局部最優(yōu)?；鶞蕯?shù)據(jù)集上的實驗結果表明：相比起已有的Pairwise算法和直接優(yōu)化評估標準的Listwise算法，本文提出的兩階段排序算法所獲得的模型更為精確，在不同等級數(shù)據(jù)集上的表現(xiàn)也更加穩(wěn)定。
　　 (4)針對已有Ranking SVM算法對異常點比較敏感，提出利用非凸Ramp Loss來抑制異常點的影響。具體來說，文中對原有的Ranking SVM算法提出了兩

8、種改進的算法。一種是直接將原有的凸Hinge Loss變成非凸Ramp Loss，針對該目標函數(shù)的非凸非光滑，提出使用凹-凸過程進行凸逼近，然后使用在線學習進行學習；另一種是將“選擇樣本技術”引入到對訓練數(shù)據(jù)的預處理中來，即利用Ramp Loss函數(shù)作為過濾器，刪除那些可能的異常點數(shù)據(jù)，并用剩余的數(shù)據(jù)進行學習。不同數(shù)據(jù)集上的實驗結果表明：相比起已有的Ranking SVm算法，所提算法能夠有效的抑制異常點的影響，獲得更精確的排序模型，同

9、時，由于算法具有更少的支持向量，在運行時間上也具有明顯的優(yōu)勢。
　　 作為信息檢索和機器學習的一個交叉課題，本文的研究具有重要的意義。一方面研究的成果可直接應用于文檔檢索，協(xié)同濾波，專家發(fā)現(xiàn)，情感分析，過濾垃圾郵件等領域。另一方面，文中用到的一些機器學習方面的理論和優(yōu)化方法，對于其它相關研究，比如：自然語言解析(natural language parsing)、生物信息中序列對比(sequence alignment)、標簽序