動(dòng)態(tài)不確定環(huán)境下的智能體序貫決策方法及應(yīng)用研究.pdf

1、中圖分類號(hào)嬰!墨!UDC0048博士學(xué)位論文學(xué)校代碼lQ三三密級(jí)公玨動(dòng)態(tài)不確定環(huán)境下的智能體序貫決策方法及應(yīng)用研究Agentsequentialdecisionmakingapproachanditsapplicationunderuncertainenviroment作者姓名：學(xué)科專業(yè)：研究方向：學(xué)院(系、所)：指導(dǎo)教師：副指導(dǎo)教師：仵博計(jì)算機(jī)科學(xué)與技術(shù)計(jì)算機(jī)應(yīng)用技術(shù)信息科學(xué)與工程學(xué)院吳敏教授陳鑫副教授論文答辯日期業(yè)i三：篁：]答辯委

2、員會(huì)主席牲中南大學(xué)2013年5月動(dòng)態(tài)不確定環(huán)境下的智能體序貫決策方法及應(yīng)用研究摘要：近年來(lái)，動(dòng)態(tài)不確定環(huán)境下的智能體在線規(guī)劃和學(xué)習(xí)引起了科學(xué)界的極大關(guān)注，己就智能體在決策時(shí)必須考慮各種不確定性作為設(shè)計(jì)健壯系統(tǒng)的必備條件而達(dá)成共識(shí)。部分可觀察馬爾可夫決策過程(PartiallyObservableMarkovDecisionProcesses，簡(jiǎn)稱POMDPs)為智能體在動(dòng)態(tài)不確定環(huán)境下的序貫決策提供了一個(gè)理想的模型，該模型可以對(duì)傳感器噪

3、音、丟失信息和部分觀察信息等不確定性信息提供魯棒性建模，進(jìn)而最優(yōu)化序貫策略。然而，基于POMDPs的智能體在線規(guī)劃與學(xué)習(xí)常陷入信念狀態(tài)空間“維數(shù)災(zāi)“和“歷史災(zāi)”問題，造成現(xiàn)有算法僅適用于小規(guī)模問題，難于應(yīng)用到大規(guī)模實(shí)際工程中。本文針對(duì)上述問題，重點(diǎn)研究信念狀態(tài)空間壓縮方法、在線規(guī)劃和在線學(xué)習(xí)方法，并將本文方法應(yīng)用到無(wú)線傳感器網(wǎng)絡(luò)能量高效領(lǐng)域。主要研究成果和創(chuàng)新點(diǎn)如下：(1)提出一種基于非負(fù)矩陣分解更新規(guī)則的可分解POⅧPs信念狀態(tài)空間降

4、維算法針對(duì)求解可分解POMDPs規(guī)劃問題時(shí)遭遇的“維數(shù)災(zāi)’’問題，提出一種基于非負(fù)矩陣分解更新規(guī)則的可分解POMDPs信念狀態(tài)空間降維算法。首先，根據(jù)POMDPs的結(jié)構(gòu)特性，對(duì)狀態(tài)、觀察和動(dòng)作進(jìn)行可分解表示，利用動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)的獨(dú)立關(guān)系對(duì)信念狀態(tài)空間進(jìn)行壓縮，從而降低信念狀態(tài)空間的稀疏性。然后，采用信念狀態(tài)空間值直接降維方法進(jìn)行降維，利用非負(fù)矩陣分解更新規(guī)則來(lái)更新信念狀態(tài)空間，從而不但避免Krylov迭代，加快降維速度，而且保留了值函數(shù)