基于遺傳算法的bp神經(jīng)絡氣象預報建模doc

1、基于遺傳算法的基于遺傳算法的BPBP神經(jīng)網(wǎng)絡氣象預報建模神經(jīng)網(wǎng)絡氣象預報建模wxyhome20世紀90年代以來，國內(nèi)外在大氣學科中開展了很多有關神經(jīng)網(wǎng)絡預報建模和氣候分析等應用研究。然而隨著神經(jīng)網(wǎng)絡方法在大氣科學領域研究的不斷深入，研究人員發(fā)現(xiàn)神經(jīng)網(wǎng)絡方法在實際業(yè)務天氣預報應用中存在一個重要的問題，即在利用神經(jīng)網(wǎng)絡方法進行氣象預報建模時，神經(jīng)網(wǎng)絡的初始權值、網(wǎng)絡結構以及網(wǎng)絡的學習參數(shù)，動量因子難以確定，往往是通過反復訓練來確定網(wǎng)絡的結構

2、和各種參數(shù)，這樣會導致在應用中出現(xiàn)過擬合問題，嚴重影響網(wǎng)絡的泛化能力，極大限制神經(jīng)網(wǎng)絡在實際天氣業(yè)務中的應用([18])。該問題的研究不僅關系到在大氣學科中能否進一步深入開展有關人工神經(jīng)網(wǎng)絡方法的業(yè)務預報應用，并且也是目前人工神經(jīng)網(wǎng)絡應用理論研究中尚未得到很好解決的關鍵技術問題。神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡如何有效提高神經(jīng)網(wǎng)絡的泛化能力，我簡單以下分析影響神經(jīng)網(wǎng)泛化能力的因素。首先我簡單介紹以下神經(jīng)人工神經(jīng)網(wǎng)絡(ArtificialNeuralwk

3、sANN)，簡稱“神經(jīng)網(wǎng)絡”（NN），它是作為對人腦最簡單的一種抽象和模擬，是對人的大腦系統(tǒng)一定特性的描述。簡單地講，它是一個數(shù)學模型，可以用電子線路來實現(xiàn)或用計算機來模擬人的自然智能。其中BP神經(jīng)網(wǎng)絡是目前應用最為廣泛的神經(jīng)網(wǎng)絡模型之一，也是應用最具有成效的神經(jīng)網(wǎng)絡模型之一。它在大氣科學預報集成、觀測資料優(yōu)化等方面都有應用。BP神經(jīng)網(wǎng)絡(BackpropagationNeutralwk)通常是指基于誤差反向傳播算法(BP算法)的多層前

4、向神經(jīng)網(wǎng)絡，采用由導師的訓練方式。它是D.E.Rumelhart和J.L.McCell及其研究小組在1986年研究并設計出來的。BP算法已成為目前應用最為廣泛的神經(jīng)網(wǎng)絡學習算法，絕大部分的神經(jīng)網(wǎng)絡模型是采用BP算法或它的變化形式，它也是前向神經(jīng)網(wǎng)絡的核心部分，體現(xiàn)了神經(jīng)網(wǎng)絡最精華的部分。由于它可以實現(xiàn)輸入和輸出的任意非線性映射，這使得它在諸如函數(shù)逼近、模式識別、數(shù)據(jù)壓縮等領域有廣泛的應用。BP網(wǎng)絡的學習訓練過程由兩部分組成，即網(wǎng)絡輸入信

5、號正向傳播和誤差信號反向傳播，按有導師學習方式進行訓練。在正向傳播中，輸入信息從輸入層經(jīng)隱含層逐層計算傳向輸在神經(jīng)網(wǎng)絡的應用過程中，由于被逼近樣本的性質(zhì)不能精確知道，因此即使在網(wǎng)絡誤差為零的條件下，也未必能保證達到要求。往往會出現(xiàn)非常小，而卻無法1E2E1E2E滿足要求。這就是所謂的“過擬合”現(xiàn)象，“過擬合”現(xiàn)象直接影響網(wǎng)絡的泛化能力[77]，使得網(wǎng)絡最終失去實用價值。網(wǎng)絡的泛化能力由以下幾個因素影響：1取決樣本的特性，只有當訓練樣本足

6、以表征所研究問題的一些主要的或基本特性時，網(wǎng)絡通過合理的學習機制可以使其具有泛化能力，合理的采樣結構是網(wǎng)絡具有泛化能力的必要條件（參考文獻78）。2網(wǎng)絡自身的因素影響，如網(wǎng)絡結構、網(wǎng)絡初始權值的設定和網(wǎng)絡的學習算法等。網(wǎng)絡的結構主要包括：網(wǎng)絡的隱層數(shù)、各隱層節(jié)點的個數(shù)和隱節(jié)點激活函數(shù)的特性(本文主要從網(wǎng)絡的自身因素考慮如何有效提高網(wǎng)絡的泛化能力)，以下從這幾個方面說明原因：①Funahashi證明（參考文獻79），當隱層節(jié)點函數(shù)為單調(diào)遞

7、增連續(xù)函數(shù)時，三層前向網(wǎng)絡具有以任意精度逼近定義在緊致子集上的任意非線性函數(shù)的能力，Hni（參考文獻80~81）和陳天平（參考文獻82）進一步證明隱層節(jié)點函數(shù)有界是必要的，單調(diào)遞增的條件是非必要。這說明采用三層BP網(wǎng)絡，隱節(jié)點函數(shù)為Sigmoid函數(shù)，輸出節(jié)點函數(shù)采用線性函數(shù)，完全可以達到網(wǎng)絡逼近的要求。文獻[77]認為，“過擬合”現(xiàn)象是網(wǎng)絡隱節(jié)點過多的必然結果，它的出現(xiàn)影響了網(wǎng)絡的泛化能力，同時文獻[83]也進一步提到，在滿足精度的要

8、求下，逼近函數(shù)的階數(shù)越少越好，低階逼近可以有效防止“過擬合”現(xiàn)象，從而提高網(wǎng)絡的預測能力，反映到多層前向神經(jīng)網(wǎng)絡中，就是在精度滿足的要求下，網(wǎng)絡的隱節(jié)點數(shù)越少越好。但是在實際應用中，還沒有一套成熟的理論方法來確定網(wǎng)絡的隱節(jié)點，隱節(jié)點的確定基本上依賴經(jīng)驗，主要式采用遞增或遞減的試探方法來確定的網(wǎng)絡隱節(jié)點。②網(wǎng)絡的初始權值的選擇缺乏依據(jù)，具有很大的隨機性，這也在很大程度上影響網(wǎng)絡的泛化能力（參考文獻84~85）。神經(jīng)網(wǎng)絡連接權值的整體分布包

9、含著神經(jīng)網(wǎng)絡系統(tǒng)的全部知識，傳統(tǒng)的權值獲取方法都是隨機給定一組初始的權值，然后是采用某個確定的變化規(guī)則，在訓練中逐步調(diào)整，最終得到一個較好權值分布。由于BP算法是基于梯度下降方法，不同的初始權值可能會導致完全不同的結果。一旦取值不當，就會引起網(wǎng)絡振蕩或不收斂，即使收斂也會導致訓練時間增長，再加之實際問題往往是極其復雜的多維曲面，存在多個局部極值點，使得BP算法極易陷入局部極值點。這些導致BP神經(jīng)網(wǎng)絡訓練時間過長而最終得不到適當?shù)臋嘀捣植?/p>

10、，從而影響網(wǎng)絡的泛化能力，極大的限制了神經(jīng)網(wǎng)絡在實際預報中的應用。③BP神經(jīng)網(wǎng)絡算法收斂慢，即使一個相當簡單的問題求解，其訓練次數(shù)也要幾百或幾千次迭代。而且網(wǎng)絡對各種參數(shù)（包括初始權值、學習速率、動量參數(shù)）極為敏感，稍小的變動就會引起擬合和泛化能力的振蕩，在反復實驗中確定各種參數(shù)，這樣的過度訓練會提高網(wǎng)絡的擬合能力，同時也擬合了訓練數(shù)據(jù)中的噪聲和訓練樣本中沒有代表行的特征，最終導致過擬合現(xiàn)象（參考文獻86），從而影響網(wǎng)絡的泛化能力，限制