并行強化學習研究.pdf

1、強化學習(reinforcementleaming，RL)是一類重要的機器學習方法，在智能機器人、經(jīng)濟學、工業(yè)制造和博弈等領(lǐng)域得到了廣泛的應用。然而目前的強化學習算法在可擴展性方面都有所欠缺，在學習任務的狀態(tài)空間很大或狀態(tài)空間連續(xù)時，開銷非常巨大，甚至不能直接應用。同時，在實際應用中，收斂速度慢是強化學習的另一個主要不足。
　　 針對強化學習方法在大狀態(tài)空間或連續(xù)狀態(tài)空間的學習問題中存在的“維數(shù)災”及收斂速度慢等普遍存在且嚴重的

2、問題，本文從并行化強化學習過程的角度出發(fā)，提出了3種并行強化學習方法，主要研究內(nèi)容概括如下：
　　 (1)提出了一種基于狀態(tài)空間分解和智能調(diào)度的并行強化學習方法。這種方法首先將規(guī)模較大的學習問題分解成小的子問題，再對每個子問題進行并行學習。在學習過程中，通過一種自適應的智能調(diào)度算法選擇收益較大的子問題優(yōu)先學習。在算法收斂之后，通過合并各個子問題的結(jié)果得到整個學習問題的期望結(jié)果。本文還從理論上證明了基于狀態(tài)空間分解和多Agent并

3、行學習的Q學習算法的收斂性。
　　 (2)為了在具有延時回報特點的在線學習任務中提高時間信度的分配效率和使用資格跡的強化學習算法的收斂速度，提出了一種并行強化學習框架和一些可行的優(yōu)化方法。該學習框架充分利用了資格跡算法內(nèi)在的并行性，使用多個計算節(jié)點分攤值函數(shù)表和資格跡表的更新工作。
　　 (3)針對E3算法的理論收斂時間界限太大，在實際的大狀態(tài)空間學習問題中學習效率較低的問題，提出了一種基于多Agent并行采樣和學習經(jīng)驗