求解一類非光滑優(yōu)化問(wèn)題的廣義神經(jīng)網(wǎng)絡(luò)方法.pdf

1、最優(yōu)化問(wèn)題源于軍事、管理、經(jīng)濟(jì)和工程技術(shù)等領(lǐng)域中,解決此類問(wèn)題的方法在圖像處理、通信、設(shè)計(jì)操作過(guò)程、生產(chǎn)裝置分析、經(jīng)濟(jì)運(yùn)作決策等方面的應(yīng)用也越來(lái)越廣。隨著現(xiàn)代科技的發(fā)展,目前在各領(lǐng)域出現(xiàn)的優(yōu)化問(wèn)題中,問(wèn)題的維數(shù)越來(lái)越多,而結(jié)構(gòu)也越來(lái)越復(fù)雜。這就要求人們能夠提供更有效的數(shù)學(xué)模型來(lái)求解此類問(wèn)題。特別是在求解實(shí)時(shí)解的過(guò)程中,當(dāng)處理具有較高維數(shù)和較復(fù)雜結(jié)構(gòu)的優(yōu)化問(wèn)題時(shí),我們必須考慮到計(jì)算時(shí)間。而計(jì)算時(shí)間是在極大程度上依賴于問(wèn)題的維數(shù)與結(jié)構(gòu),以及

2、算法的復(fù)雜度。一般來(lái)講,因?yàn)閿?shù)值方法是憑借迭代來(lái)計(jì)算的,傳統(tǒng)的數(shù)值方法對(duì)于解決具有高維數(shù)和較復(fù)雜的問(wèn)題可能不會(huì)很奏效。而神經(jīng)網(wǎng)絡(luò)的出現(xiàn),使得解決此類優(yōu)化問(wèn)題不再只是依賴于迭代,而是利用神經(jīng)網(wǎng)絡(luò)對(duì)于處理此類問(wèn)題的獨(dú)特優(yōu)勢(shì),即,它的自適應(yīng)性和并行性,可以使得計(jì)算的速度有很大的提高。最近,利用神經(jīng)網(wǎng)絡(luò)開(kāi)發(fā)最優(yōu)化問(wèn)題的算法取得了很大進(jìn)展,并由此產(chǎn)生了一些神經(jīng)網(wǎng)絡(luò)模型。但這些模型主要集中于光滑優(yōu)化問(wèn)題的研究,或者將不光滑的目標(biāo)函數(shù)近似逼近為光滑函

3、數(shù)。近年來(lái),隨著集值映射和非光滑理論的不斷深入研究,應(yīng)用神經(jīng)網(wǎng)絡(luò)方法研究非光滑優(yōu)化問(wèn)題逐漸受到重視。然而,對(duì)于極小極大優(yōu)化問(wèn)題的研究,目前不只是停留在應(yīng)用數(shù)值方法來(lái)研究的程度上。利用神經(jīng)網(wǎng)絡(luò)來(lái)探索此類問(wèn)題最優(yōu)解的方法逐漸地發(fā)揮了它的作用。特別是在微分包含理論和凸分析理論日臻成熟的基礎(chǔ)上,神經(jīng)網(wǎng)絡(luò)逐漸地在非光滑優(yōu)化分析上發(fā)揮了它的價(jià)值。
　　 基于以上的分析,本文首先給出了在優(yōu)化方面關(guān)于利用神經(jīng)網(wǎng)絡(luò)方法探究最優(yōu)解的相關(guān)進(jìn)展,以及非

4、光滑理論和凸分析理論的相關(guān)概念和引理;其次,介紹了三種廣義神經(jīng)網(wǎng)絡(luò)方法,并研究了如何求解一類無(wú)約束的極小極大優(yōu)化問(wèn)題,帶線性等式約束的極小極大優(yōu)化問(wèn)題,還探索了如何利用投影神經(jīng)網(wǎng)絡(luò)來(lái)求解一類非光滑優(yōu)化問(wèn)題。具體內(nèi)容為:
　　 (1)、求解一類帶有無(wú)約束非光滑成本函數(shù)的極小極大問(wèn)題的廣義神經(jīng)網(wǎng)絡(luò)。主要是利用微分包含理論,穩(wěn)定性理論和推廣的Lojasiewicz不等式來(lái)研究了一類帶有無(wú)約束的,次解析的,凸的成本函數(shù)的優(yōu)化問(wèn)題,并且討

5、論了此類廣義神經(jīng)網(wǎng)絡(luò)理論結(jié)果的有效性。
　　 (2)、求解一類帶線性等式約束的極小極大問(wèn)題的廣義神經(jīng)網(wǎng)絡(luò)。在帶有線性等式約束的情況下,利用投影神經(jīng)網(wǎng)絡(luò),微分包含理論和穩(wěn)定性理論來(lái)構(gòu)造一種廣義神經(jīng)網(wǎng)絡(luò),探索求解帶線性等式約束的極小極大優(yōu)化問(wèn)題的方法,并且給出了此類廣義神經(jīng)網(wǎng)絡(luò)理論結(jié)果的有效性證明。
　　 (3)、基于投影的廣義神經(jīng)網(wǎng)絡(luò)的收斂性及其在非光滑優(yōu)化問(wèn)題中的應(yīng)用。投影神經(jīng)網(wǎng)絡(luò)在解決光滑優(yōu)化問(wèn)題中發(fā)揮了重要的作用,而