基于社區(qū)感知網(wǎng)絡(luò)的多機器人系統(tǒng)Q-學習與運動控制研究.pdf

1、近年來，基于網(wǎng)絡(luò)的多機器人系統(tǒng)領(lǐng)域研究取得了很好的成果，但從整體來看基于網(wǎng)絡(luò)環(huán)境下的多機器人系統(tǒng)研究仍然面臨許多亟需解決的問題，主要包括:如何應對實際環(huán)境復雜性所帶來的靜態(tài)節(jié)點無法全部連通問題;如何處理網(wǎng)絡(luò)信息傳輸帶來的時延、噪聲、數(shù)據(jù)包丟失等困擾;如何增強網(wǎng)絡(luò)化環(huán)境下機器人的環(huán)境理解能力;在網(wǎng)絡(luò)化系統(tǒng)的框架下，如何高效的實現(xiàn)多機器人之間的運動控制等。
　　增強學習是多機器人系統(tǒng)通過與外界環(huán)境交互的一類有效的機器學習方法。Q-學習

2、作為增強學習的一種典型算法，由于其不用建立環(huán)境模型，通過試錯法與環(huán)境的不斷交互獲得策略的改進和完善，最終實現(xiàn)對機器人的運動控制。通過在環(huán)境中部署靜態(tài)節(jié)點，構(gòu)建可相互連通的靜態(tài)節(jié)點群組形成一個社區(qū)，通過無線通信方式形成多跳的社區(qū)感知網(wǎng)絡(luò)。針對維數(shù)災和學習不充分等問題，本碩士論文采用ε-半徑近鄰分類方法對機器人的歷史狀態(tài)進行分類和降維，同時將信息交互與共享等方法有機結(jié)合，提高機器人的Q-學習效率。最后，考慮學習信息在靜態(tài)節(jié)點社區(qū)感知網(wǎng)絡(luò)傳輸

3、存在時滯特性，將拓撲網(wǎng)絡(luò)的時滯假設(shè)為等時滯和異時滯兩種情況，分別討論多機器人系統(tǒng)在兩種時滯社區(qū)感知網(wǎng)絡(luò)環(huán)境下的Q-學習算法與運動控制。主要研究工作如下:
　　第一，針對基于網(wǎng)絡(luò)的多機器人系統(tǒng)存在的不足，給出了社區(qū)感知網(wǎng)絡(luò)架構(gòu)。利用靜態(tài)智能節(jié)點提供社區(qū)內(nèi)其他機器人的歷史學習信息進行綜合決策進而加快自身學習，提出了一種改進的多機器人Q-學習算法實現(xiàn)對機器人的運動控制。
　　第二，針對社區(qū)感知網(wǎng)絡(luò)環(huán)境下的多機器人強化學習中存在的維

4、數(shù)災和對社區(qū)網(wǎng)絡(luò)內(nèi)智能節(jié)點提供的其他機器人的歷史信息學習不充分等問題，提出一種在線ε-半徑近鄰狀態(tài)分類方法，對機器人歷史狀態(tài)進行實時的降維分類;同時利用社區(qū)近鄰集更充分的學習其他機器人的歷史信息;最后分析了Q值矩陣收斂性問題。
　　第三，針對社區(qū)網(wǎng)絡(luò)感知環(huán)境下機器人之間的信息交互的問題，通過融合社區(qū)網(wǎng)絡(luò)內(nèi)的機器人的學習信息，提出社區(qū)信息共享機制及社區(qū)Q值表更新規(guī)則，從而減小網(wǎng)絡(luò)計算量和復雜度。同時考慮到學習信息在社區(qū)網(wǎng)絡(luò)內(nèi)的傳輸存