基于近似動態(tài)規(guī)劃的迭代控制研究及應用.pdf

1、近似動態(tài)規(guī)劃已經(jīng)成為求解優(yōu)化控制問題的一種有效方法，是機器學習和優(yōu)化控制領(lǐng)域的一個熱門研究方向。近些年來，前人的研究主要是針對離散狀態(tài)空間問題，而實際工業(yè)生產(chǎn)中往往遇到的是大規(guī)模、連續(xù)的狀態(tài)空間問題，對于這些問題的求解，現(xiàn)有的算法研究還沒有得出較好的結(jié)果并且算法的學習效率不高。因此論文研究了如何進一步改進近似動態(tài)規(guī)劃算法，改善該算法的學習控制性能。
　　我們先是研究如何通過神經(jīng)網(wǎng)絡來辨識建模，針對航煤干點軟測量問題，我們建立了部分

2、最小二乘(PLS)、徑向基函數(shù)神經(jīng)網(wǎng)絡(RBFN)和PLS-RBFN三個軟測量子模型，通過主元分析法把三個子模型線性加權(quán)，建立航煤干點混合軟測量預測模型，從而驗證了神經(jīng)網(wǎng)絡建模的可行性，為獲取改進近似動態(tài)規(guī)劃算法所需要的模型信息提供了思路。
　　目前研究的近似動態(tài)規(guī)劃算法中評價網(wǎng)絡通常采用神經(jīng)網(wǎng)絡結(jié)構(gòu)，該結(jié)構(gòu)存在著估計精度不夠和經(jīng)驗設(shè)置參數(shù)不足的缺點。我們在最小二乘TD（Temporal Differences）學習算法的基礎(chǔ)上，

3、分別采用RLSTD(0)、RLSTD(λ)、TDC(TD with gradient correction)算法和LSTDC(Least squarestemporal difference with gradient correction)算法代替對偶啟發(fā)式動態(tài)規(guī)劃（Dual Heuristic Programming，DHP）算法中評價網(wǎng)絡的神經(jīng)網(wǎng)絡結(jié)構(gòu)，從而推導出了RLSTD(0)-DHP算法、RLSTD(λ)-DHP算法和本文改

4、進的TDC-DHP算法、LSTDC-DHP算法，這樣我們改進了近似動態(tài)規(guī)劃算法中評價網(wǎng)絡估計值函數(shù)的逼近方式，優(yōu)化了權(quán)值更新過程，提高了算法的學習控制性能。
　　為了驗證所推導改進近似動態(tài)規(guī)劃的有效性，我們對乙醇生產(chǎn)間歇過程這個被控對象進行迭代控制應用研究。我們給出了RLSTD(0)-DHP算法、RLSTD(λ)-DHP算法和本文改進的TDC-DHP算法、LSTDC-DHP算法這四種算法的基本算法流程。在生物發(fā)酵間歇過程進行迭代控