多移動(dòng)機(jī)器人運(yùn)動(dòng)控制策略的強(qiáng)化學(xué)習(xí)研究.pdf

1、多移動(dòng)機(jī)器人是機(jī)器人研究的主要內(nèi)容之一，路徑規(guī)劃、運(yùn)動(dòng)控制是移動(dòng)機(jī)器人完成各種任務(wù)的關(guān)鍵。采用機(jī)器學(xué)習(xí)特別是強(qiáng)化學(xué)習(xí)方法實(shí)現(xiàn)多機(jī)器人環(huán)境中路徑規(guī)劃和運(yùn)動(dòng)控制，是近年來機(jī)器人研究的熱點(diǎn)。本論文研究了多機(jī)器人環(huán)境中運(yùn)動(dòng)控制策略的強(qiáng)化學(xué)習(xí)，本文的研究工作主要從四個(gè)方面展開：動(dòng)態(tài)環(huán)境中的建模規(guī)劃、多障礙環(huán)境中的運(yùn)動(dòng)控制策略學(xué)習(xí)和優(yōu)化、強(qiáng)化學(xué)習(xí)方法的改進(jìn)研究、基于多機(jī)器人仿真實(shí)驗(yàn)平臺(tái)的策略強(qiáng)化學(xué)習(xí)研究。 在動(dòng)態(tài)環(huán)境中的機(jī)器人控制研究中，提

2、出了一種基于模糊概念和可能性理論的環(huán)境建模方法，在此基礎(chǔ)上進(jìn)行模糊決策，有效的實(shí)現(xiàn)動(dòng)態(tài)運(yùn)動(dòng)控制，獲得高效的實(shí)時(shí)、避障規(guī)劃效果。 在多障礙環(huán)境中的移動(dòng)機(jī)器人路徑規(guī)劃方面，提出了人工勢(shì)場(chǎng)法和蟻群優(yōu)化算法相結(jié)合的路徑規(guī)劃方法，將人工勢(shì)場(chǎng)作為先驗(yàn)知識(shí)，對(duì)蟻群優(yōu)化算法進(jìn)行初始化，和已有的蟻群路徑規(guī)劃算法相比，顯著提高了規(guī)劃速度。 在對(duì)強(qiáng)化學(xué)習(xí)方法的改進(jìn)方面，針對(duì)傳統(tǒng)算法在大狀態(tài)空間中學(xué)習(xí)效率低的問題，提出針對(duì)模糊狀態(tài)的強(qiáng)化學(xué)習(xí)算法

3、(FSRL)，并基于模糊狀態(tài)實(shí)現(xiàn)離散狀態(tài)空間中的多尺度學(xué)習(xí)；考察蟻群優(yōu)化算法的狀態(tài)相關(guān)性特點(diǎn)，在時(shí)間學(xué)習(xí)尺度上對(duì)傳統(tǒng)算法進(jìn)行改進(jìn)，提出蟻群強(qiáng)化學(xué)習(xí)算法(RAL)和延遲優(yōu)化學(xué)習(xí)算法(DORL)；并應(yīng)用于多障礙環(huán)境路徑規(guī)劃，和基于傳統(tǒng)強(qiáng)化學(xué)習(xí)的路徑規(guī)劃方法相比，顯著提高了規(guī)劃性能。 根據(jù)實(shí)際應(yīng)用時(shí)環(huán)境狀態(tài)的不確定性、學(xué)習(xí)過程中策略的不確定性，在隨機(jī)變量熵的概念下，提出強(qiáng)化學(xué)習(xí)中的決策熵，來定量度量學(xué)習(xí)過程中策略的不確定性(即策略收斂