集成Logistic和SVM的分類算法研究.pdf

1、 集成 Logistic 和 SVM 的分類算法研究 重慶大學(xué)碩士學(xué)位論文 學(xué)生姓名：謝 玲 指導(dǎo)教師：劉瓊蓀 教 授 專 業(yè)：概率論與數(shù)理統(tǒng)計(jì) 學(xué)科門類：理 學(xué) 重慶大學(xué)數(shù)學(xué)與統(tǒng)計(jì)學(xué)院 二 O 一一年四月 重慶大學(xué)碩士學(xué)位論文 中文摘要 I 摘 要 分類是數(shù)據(jù)分析與機(jī)器學(xué)習(xí)領(lǐng)域的基本問(wèn)題之一，國(guó)內(nèi)外學(xué)者對(duì)分類算法的研究已有大量的成果。Logistic 回歸模型是一種應(yīng)用最為廣泛的多元量化分析技術(shù)，其特點(diǎn)是穩(wěn)健性好，模型

2、的可解釋性較強(qiáng)。支持向量機(jī)（SVM）是由 Vapnik提出的統(tǒng)計(jì)學(xué)習(xí)理論發(fā)展而來(lái)，它在處理小樣本、非線性以及高維數(shù)等問(wèn)題時(shí)具有一些獨(dú)特的優(yōu)勢(shì)。目前，SVM 已經(jīng)成為機(jī)器學(xué)習(xí)領(lǐng)域的研究熱點(diǎn)。 傳統(tǒng)的 Logistic 回歸用于二分類的方法一般以 0.5 為分界點(diǎn)，這樣可能存在較大的誤判風(fēng)險(xiǎn)，尤其是對(duì)于 0.5 附近模糊區(qū)間的樣本點(diǎn)。針對(duì) logistic 回歸處理分類問(wèn)題的不足， 本文將支持向量機(jī)引入到傳統(tǒng)的 Logistic 回歸分類方

3、法中， 利用支持向量機(jī)的輸出結(jié)果為 Logistic 回歸提供支持信念，減少 Logistic 回歸中的誤判風(fēng)險(xiǎn)，從而提高分類的正確率。 本文首先概述了 Logistic 回歸模型的原理、 推導(dǎo)和檢驗(yàn)， 接著詳細(xì)介紹了支持向量機(jī)及其相關(guān)理論，包括機(jī)器學(xué)習(xí)的基本理論、統(tǒng)計(jì)學(xué)習(xí)理論、SVM 分類算法以及模型參數(shù)的選擇等。 然后， 在深入分析 Logistic 回歸和支持向量機(jī)理論的基礎(chǔ)上， 本文構(gòu)造了一種集成 Logistic 回歸與支持向