具有自然分組特性文本的分類研究.pdf

1、文本分類問(wèn)題是信息檢索與數(shù)據(jù)挖掘領(lǐng)域的研究熱點(diǎn)，具有廣泛的實(shí)際應(yīng)用，如垃圾郵件過(guò)濾、博客分類以及個(gè)人主頁(yè)識(shí)別等。文本分類任務(wù)主要是在給定的類別集合下，根據(jù)文本的內(nèi)容判定文本的類別。目前，基于機(jī)器學(xué)習(xí)的自動(dòng)文本分類方法成為了解決文本分類問(wèn)題的核心技術(shù)，其主要任務(wù)是從訓(xùn)練數(shù)據(jù)集中構(gòu)建一個(gè)符合實(shí)際數(shù)據(jù)特性的分類模型，以預(yù)測(cè)未知文本的類別標(biāo)簽。
　　在諸多文本分類應(yīng)用場(chǎng)合，數(shù)據(jù)集常?？梢宰匀坏貏澐譃槿舾蓚€(gè)組。各個(gè)分組不是根據(jù)數(shù)據(jù)的分類標(biāo)簽

2、劃分的，也不是通過(guò)數(shù)據(jù)聚類形成的，而是數(shù)據(jù)集的一個(gè)具有客觀物理意義的切分。例如，在垃圾郵件過(guò)濾任務(wù)中，郵箱是郵件客觀存在的寄件人標(biāo)號(hào)，可按郵箱對(duì)郵件進(jìn)行分組。在具有自然分組數(shù)據(jù)的文本分類任務(wù)中，分組數(shù)據(jù)具有分組文本特性不同、分組樣本規(guī)模不同以及組內(nèi)正負(fù)例不均衡等數(shù)據(jù)特性，是分類過(guò)程中可以利用的先驗(yàn)知識(shí)。然而，傳統(tǒng)分類算法忽略了分組數(shù)據(jù)上述特性，造成分類模型的偏差，制約分類性能。
　　針對(duì)上述問(wèn)題，本文開(kāi)展自然分組數(shù)據(jù)上文本分類研究

3、，旨在研究如何利用數(shù)據(jù)的自然分組信息以提升分類性能。本文并不探討數(shù)據(jù)自然分組的形成原因，也不涉及如何從眾多分組屬性中選擇最優(yōu)分組屬性的問(wèn)題。針對(duì)具有自然分組數(shù)據(jù)的文本分類任務(wù)，本文開(kāi)展了以下研究:
　　首先，針對(duì)不同分組具有不同的文本特性，提出基于分組間協(xié)作的集成分類算法，以綜合考慮訓(xùn)練數(shù)據(jù)集中所有分組的文本特性，避免分類模型丟失來(lái)自小規(guī)模分組以及組內(nèi)樣本失衡分組的文本特性。具體地，提出基于分類模型參數(shù)共享的分組上分類模型互訓(xùn)算法

4、，使得各個(gè)分組上分類模型的訓(xùn)練除了利用其自身數(shù)據(jù)，還可借助于來(lái)自其他分組的分類數(shù)據(jù)，從而為訓(xùn)練數(shù)據(jù)中各個(gè)分組構(gòu)建一個(gè)具有泛化性的分類模型。在得到各個(gè)分組上分類模型后，對(duì)各個(gè)分組上分類模型輸出類別標(biāo)簽的概率進(jìn)行融合。
　　其次，針對(duì)自然分組之間存在相關(guān)度這一特性，在基于分組間協(xié)作的集成分類算法基礎(chǔ)之上，提出融入分組相關(guān)度的集成分類算法，以進(jìn)一步提升集成分類性能。具體地，將分組相關(guān)度作為一種正則化信息，引入到各個(gè)分組上分類模型構(gòu)建的損

5、失函數(shù)中，使得相似分組具有相似分類模型，為各個(gè)分組上分類模型的構(gòu)建提供了額外的歸納偏置信息，必然為各個(gè)分組構(gòu)建一個(gè)更具有泛化性的模型。由于在實(shí)際文本分類任務(wù)中，無(wú)法預(yù)知分組相關(guān)度。本文將分類模型參數(shù)和分組相關(guān)度融合到一個(gè)優(yōu)化目標(biāo)中，通過(guò)迭代優(yōu)化策略從數(shù)據(jù)集中自動(dòng)地學(xué)習(xí)分組相關(guān)度和各個(gè)分組上分類模型參數(shù)。
　　最后，針對(duì)測(cè)試數(shù)據(jù)也存在自然分組特性，在融入分組相關(guān)度的集成分類算法基礎(chǔ)之上，提出體現(xiàn)測(cè)試數(shù)據(jù)分組特性的分類預(yù)測(cè)算法，以充分

6、利用測(cè)試數(shù)據(jù)的自然分組信息，更好預(yù)測(cè)未知文本的類別標(biāo)簽。具體地，提出基于代價(jià)敏感列表排序算法的測(cè)試數(shù)據(jù)融合權(quán)重學(xué)習(xí)算法，為每個(gè)測(cè)試數(shù)據(jù)構(gòu)造具有考慮其分組信息的集成權(quán)重，使得與樣本相似的分組上分類模型賦予較大的融合權(quán)重?；趯W(xué)習(xí)得到的融合權(quán)重，對(duì)訓(xùn)練數(shù)據(jù)中各個(gè)分組上分類模型輸出類別標(biāo)簽的概率進(jìn)行融合，以輸出未知文本的類別標(biāo)簽。
　　為了驗(yàn)證本文提出算法的有效性，將本文所提的算法應(yīng)用于垃圾郵件過(guò)濾任務(wù)、個(gè)人主頁(yè)識(shí)別任務(wù)以及文檔排序任務(wù)