基于正交最小二乘的邏輯積網絡非線性回歸模型研究.pdf

1、近幾十年來，機器學習快速發(fā)展，它已被廣泛應用在許多領域，如數據挖掘、人工智能和醫(yī)療保健等。作為機器學習中最重要的學科之一，回歸問題的研究已受到科學界和工業(yè)界的高度關注。
　　非線性回歸不像線性回歸那么簡單、易于處理，它代表了一項非常具有挑戰(zhàn)性的研究課題，因為它需要在因變量與多個特征屬性之間構建復雜的非線性變化關系。非線性回歸問題現被視為機器學習領域最重要的研究課題之一，其中模型的性能改進是一個重要的研究點。在已有的文獻中，主要是通

2、過對模型結構、參數估計方法、及參數預處理方法的選擇這幾個方面來實現模型的性能最優(yōu)。
　　邏輯積網絡(Logistic Product Basis Network，LPBN)是最近提出的一個優(yōu)秀的非線性回歸工具，它比標準的單隱層邏輯感知器具有更深層的網絡結構。單層邏輯感知器是邏輯函數的線性組合，用梯度下降法進行優(yōu)化，而梯度下降(GradientDescent，GD)類型的算法在用標準神經元的神經網絡中進行訓練時計算量大、收斂速度慢。

3、由于邏輯積網絡模型的參數比單層感知器多很多，這使得對訓練邏輯積網絡而言，情況會變得更加糟糕。
　　本論文對非線性模型的構建問題進行了研究，主要包括兩個方面:模型結構和參數估計方法。并在正交最小二乘法(Orthogonal Least Square，OLS)上對傳統(tǒng)的邏輯積網絡做了改進。OLS被用來把LPBN模型分解為多個子模型，并利用貪心算法逐項優(yōu)化模型，因此在每次的迭代中，只需要優(yōu)化一個參數很少的模型。重復加權推進搜索(Repe

4、ated Weighted Boosting Search，RWBS)算法被用于調整每一個子模型的參數，它簡單有效、易于編程和算法調整，而且它還是一個全局搜索算法。
　　實驗所用數據來自于人工模擬和從UCI機器學習數據庫中下載的真實數據集。實驗結果表明，與支持向量回歸機(Support Vector Regression，SVR)、相關向量機(Relevance Vector Machine，RVM)、標準的LPBN相比較，本文的