多分類器集成技術(shù)研究.pdf

1、作為數(shù)據(jù)挖掘領(lǐng)域中一項重要的技術(shù),分類技術(shù)在許多方面有著廣泛的應(yīng)用,目前存在著很多的分類技術(shù),如決策樹、支持向量機等。為了達到比較好的預(yù)測效果,傳統(tǒng)的操作中,常常通過訓(xùn)練集產(chǎn)生多個分類模型,再用測試集逐個測試其分類性能,把性能最好的一個作為最終的分類模型。但是單個分類模型的預(yù)測性能畢竟有限,而且每個分類器都有其適合分類的數(shù)據(jù)區(qū)域,它可能對測試集表現(xiàn)出比較好的效果,但是對待測數(shù)據(jù)卻沒有很好的效果,這體現(xiàn)了單個分類器分類性能的不穩(wěn)定性。而通

2、過對多個單分類器進行有效地組合既可以提高分類的性能,又可以保證預(yù)測結(jié)果的穩(wěn)定性,在這種情況下,分類集成技術(shù)應(yīng)運而生。
　　 分類集成技術(shù)主要是通過對多個單分類器進行組合來提高分類性能,這些單分類器被稱為基分類器,它主要包括兩個部分:基分類器的產(chǎn)生方式和基分類器的組合方式。Boosting算法是分類集成學(xué)習(xí)中比較有代表性的方法,它產(chǎn)生基分類器時,通過在訓(xùn)練集樣本上維護一套權(quán)重分布,使每次訓(xùn)練產(chǎn)生的基分類器關(guān)注不同的樣本；Baggi

3、ng方法也是一種比較重要的分類集成技術(shù),它通過每次有放回抽樣來產(chǎn)生基分類器,每個樣本被選中的機會是完全相等的。MultiBoost方法可以看作Boosting方法和Wagging方法的結(jié)合,經(jīng)過驗證,它相對于Boosting方法和wagging方法有較低的錯誤率,它主要是對訓(xùn)練集指定一套符合泊松分布的權(quán)重,然后生成基分類器。本文通過對這些方法進行分析,提出了兩種改進的訓(xùn)練集樣本加權(quán)方法用于產(chǎn)生基分類器。
　　 基分類器的組合方式

4、是分類集成中另一個重要的方面,在基分類器的輸出是類別的情況下,目前常用的是投票法；Bagging方法用的是簡單投票法,每個基分類器的投票在最終決策中是相同的,Boosting方法是根據(jù)基分類器的分類錯誤率對每個基分類器給予一個投票權(quán)重,最終的決策運用有權(quán)投票技術(shù)。本文詳細分析了有權(quán)投票技術(shù),在此基礎(chǔ)上,針對不同方面的考慮,提出了兩種投票權(quán)值調(diào)整的方法。最后通過實驗對本文所提算法進行了實驗驗證,結(jié)果顯示,本文所提方法可以進一步提高分類性能