基于強(qiáng)化學(xué)習(xí)的異構(gòu)多智能體區(qū)域覆蓋算法研究.pdf

1、面向地-空多智能體系統(tǒng)的區(qū)域覆蓋問題，建立了基于分布式部分可觀測馬爾可夫決策模型(DEC-POMDPs)描述觀測異構(gòu)、驅(qū)動(dòng)模式異構(gòu)的多智能體系統(tǒng)，通過強(qiáng)化學(xué)習(xí)算法解決多智能體系統(tǒng)的路徑規(guī)劃及避障問題，主要包括以下幾個(gè)方面的研究內(nèi)容:
　　首先介紹了由馬爾可夫決策模型(MDP)向DEC-POMDPs模型的演變過程。由于智能體模型觀測的局部特性和不確定性，各智能體獲得的觀測不再具備馬爾可夫性，導(dǎo)致DEC-POMDPs模型求解最優(yōu)結(jié)果時(shí)

2、策略空間維度爆炸——即NEXP完全問題。
　　其次，針對(duì)單智能體搭建了基于POMDP模型的區(qū)域覆蓋仿真場景，利用QMDP算法和Q-learning算法求解行動(dòng)策略。通過調(diào)整模型參數(shù)，分析了觀測不確定性和觀測精度對(duì)POMDP強(qiáng)化學(xué)習(xí)收斂效果的影響。
　　再次，實(shí)現(xiàn)了基于DEC-POMDPs模型的多智能體在線規(guī)劃算法，并搭建了多個(gè)多智能體仿真場景，驗(yàn)證算法的有效性。考慮到通訊動(dòng)作的低耗時(shí)和高時(shí)效性，根據(jù)通訊動(dòng)作判斷智能體是否獲得

3、聯(lián)合觀測，設(shè)計(jì)一種包含多個(gè)強(qiáng)化學(xué)習(xí)模塊的異構(gòu)多智能體強(qiáng)化學(xué)習(xí)決策框架，在不影響分布式強(qiáng)化學(xué)習(xí)收斂速度的前提下，有效降低了通訊頻率，提高了多智能體系統(tǒng)在隱性馬爾科夫決策過程中的狀態(tài)辨識(shí)度和決策效率。
　　為了方便理論驗(yàn)證和理論分析，開發(fā)了基于MATLAB軟件的多智能體強(qiáng)化學(xué)習(xí)工具箱，搭建了完善的強(qiáng)化學(xué)習(xí)仿真運(yùn)算框架，實(shí)現(xiàn)了智能體運(yùn)動(dòng)學(xué)模型、地圖環(huán)境仿真、強(qiáng)化學(xué)習(xí)算法等模塊，設(shè)計(jì)實(shí)現(xiàn)了持久層模塊，借助數(shù)據(jù)庫技術(shù)改善了MATLAB軟件處