支持向量機加速方法及應用研究.pdf

1、支持向量機（Support Vector Machines， SVMs）是基于統(tǒng)計學習理論以及結構風險最小化原則的新一代通用機器學習方法。它在解決小樣本、非線性及高維模式分類及函數(shù)回歸問題中表現(xiàn)出許多獨特優(yōu)勢，是克服過學習、局部最優(yōu)及維數(shù)災難等傳統(tǒng)困難的有效方法。由于其性能出色，支持向量機自誕生以來受到研究者越來越多的關注并已成為機器學習領域中一個新的研究熱點。然而支持向量機計算復雜，效率較低，這在一定程度上制約了它的在產業(yè)界的推廣和應

2、用。本文從幾個不同角度研究了提高其效率的方法，主要的研究內容及成果概述如下：
　　 1)增量及減量（在線）訓練算法針對現(xiàn)有支持向量回歸機(Support Vector Regression， SVR)在線訓練算法每次只能處理一個樣本而效率較低的問題提出一種基于多樣本的支持向量回歸機在線訓練算法。算法以拉格朗日乘數(shù)法和卡羅需-庫恩-塔克（KKT）條件為基礎，逐步改變樣本的系數(shù)，并在每次迭代中保持原來的樣本滿足KKT條件，最終使所有

3、訓練樣本滿足KKT條件。實驗表明，本算法可以有效地實現(xiàn)SVR模型的精確在線更新，其運算效率優(yōu)于針對單樣本的支持向量回歸機在線算法。在一次增加或減少的樣本較少時，其訓練速度遠優(yōu)于批量訓練算法，因而可作為一種有效的在線訓練算法．本算法可以高效地動態(tài)更新SVR模型，尤其適用于時變時間序列的預測以及時變系統(tǒng)的辨識等應用。
　　 2)SVM硬件實現(xiàn)針對嵌入式應用環(huán)境中靈活性和實時性的要求，本文提出一種基于流行的序貫最小優(yōu)化(Sequent

4、ial Minimal Optimization, SMO)算法的并行可擴展數(shù)字硬件結構以高效訓練SVM分類器，并且基于FPGA平臺驗證了其各方面特性。由于SMO算法最終利用解析方法求解QP問題，從而可以有效避免數(shù)值穩(wěn)定性問題。在深入分析SMO算法的基礎上，我們提取出其中的并行性并將其映射至并行硬件結構。實驗表明，本SVM硬件可以基于低成本的定點運算單元有效地處理SVM訓練問題，并且具有良好可伸縮性。基于本SVM硬件結構，可以方便地在性

5、能和資源消耗之間進行權衡折中以滿足不同應用的要求。本SVM硬件方案克服了現(xiàn)有方案缺乏靈活性的缺點，因而更適合嵌入式環(huán)境中的應用。此外，為了給SVM相關算法的硬件實現(xiàn)提供參考，簡化硬件架構的設計以及提高設計的可重用性等，本文還提出一種基于當前流行的映射-歸約（MapReduce）并行計算模型的SVM硬件實現(xiàn)方法。我們以SVM訓練和分類算法為例說明基于這一方法可以非常容易且有效地將相關算法映射至并行可擴展硬件結構。
　　 3)在光刻

6、熱點檢測中的應用針對SVM在集成電路版圖光刻熱點檢測（lithography hotspot）中的應用，提出一種在具體應用中提高SVM效率的方法。該方法首先利用離散余弦變換提取版圖樣本的頻域特征，然后利用多目標遺傳算法進行特征選擇以減少用作熱點檢測的特征的數(shù)目，從而提高熱點檢測的效率。此外，SVM參數(shù)的選擇也被集成到這一過程中同時進行以獲得盡可能高的檢測精度。實驗表明，本檢測方法在不影響檢測精度的前提下，效率明顯優(yōu)于原先直接以圖像像素為