【人工智能_人工智能導論課件】第8章人工神經網絡及其應用導論

1、第 8 章 人工神經網絡及其應用,教材： 王萬良《人工智能導論》（第3版） 高等教育出版社,第8章 人工神經網絡及其應用,人工神經網絡是對人腦或生物神經網絡若干基本特性的抽象和模擬。為機器學習等許多問題的研究提供了一條新的思路，目前已經在模式識別、機器視覺、聯想記憶、自動控制、信號處理、軟測量、決策分析、智能計算、組合優(yōu)化問題求解、數據挖掘等方面獲得成功應用。本章著重介紹最基本、最典型、應

2、用最廣泛的BP神經網絡和Hopfield神經網絡及其在模式識別、聯想記憶、軟測量、智能計算、組合優(yōu)化問題求解等方面的應用。,2,第8章 人工神經網絡及其應用,神經網絡（neural networks，NN）,生物神經網絡( natural neural network, NNN): 由中樞神經系統（腦和脊髓）及周圍神經系統（感覺神經、運動神經等）所構成的錯綜復雜的神經網絡，其中最重要的是腦神經系統。人工神經網絡(artificial

3、 neural networks, ANN): 模擬人腦神經系統的結構和功能，運用大量簡單處理單元經廣泛連接而組成的人工網絡系統。,神經網絡方法： 隱式的知識表示方法,3,第8章 人工神經網絡及其應用,8.1 神經元與神經網絡 8.2 BP神經網絡及其學習算法 8.3 BP神經網絡的應用 8.4 Hopfield神經網絡及其改進 8.5 Hopfield神經網絡的應用,4,第8章 人工神經網絡及其應用,8.1 神

4、經元與神經網絡 8.2 BP神經網絡及其學習算法 8.3 BP神經網絡的應用8.4 Hopfield神經網絡及其改進8.5 Hopfield神經網絡的應用,5,8.1 神經元與神經網絡,8.1.1 生物神經元的結構8.1.2 神經元數學模型8.1.3 神經網絡結構與工作方式,6,8.1.1 生物神經元的結構,人腦由一千多億（1011億－ 1014 億）個神經細胞（神經元）交織在一起的網狀結構組成，其中大腦皮

5、層約140億個神經元，小腦皮層約1000億個神經元。神經元約有1000種類型，每個神經元大約與103－ 104個其他神經元相連接，形成極為錯綜復雜而又靈活多變的神經網絡。 人的智能行為就是由如此高度復雜的組織產生的。浩瀚的宇宙中，也許只有包含數千憶顆星球的銀河系的復雜性能夠與大腦相比。,7,8.1.1 生物神經元的結構,,,,,（輸入）,（輸出）,神經沖動,生物神經元結構,,8,8.1.1 生物神經元的結構,工作狀態(tài)： 興奮狀

6、態(tài)：細胞膜電位 > 動作電位的閾值 → 神經沖動 抑制狀態(tài)：細胞膜電位 < 動作電位的閾值 學習與遺忘：由于神經元結構的可塑性，突觸的傳遞作用可增強和減弱 。,9,8.1 神經元與神經網絡,8.1.1 生物神經元的結構8.1.2 神經元數學模型8.1.3 神經網絡的結構與工作方式,10,8.1.2 神經元數學模型,1943年，麥克洛奇和皮茲提出M－P模型。一般模型：,,11,,8.1.2 神經元數學模

7、型,,：第 個神經元的輸出。 ：第 個神經元的閾值。 ：外部輸入。 ：權值。,加權求和：其矩陣形式：,12,線性環(huán)節(jié)的傳遞函數： ：1； ； ； 及其組合等。,8.1.2 神經元數學模型,13,8.1.2 神經元數學模型

8、,非線性激勵函數（傳輸函數、輸出變換函數）,（硬極限函數或階躍函數）,（對稱硬極限函數）,14,8.1.2 神經元數學模型,非線性激勵函數（傳輸函數、輸出變換函數）,（對數- S 形函數或S型函數）,（雙曲正切S形函數）,15,8.1.2 神經元數學模型,,工作過程:從各輸入端接收輸入信號 uj ( j = 1, 2, …, n )根據連接權值求出所有輸入的加權和 用非線性激勵函數進行轉換，得到輸出,16,,8.1.2

9、 神經元數學模型,,,,17,8.1 神經元與神經網絡,8.1.1 生物神經元的結構8.1.2 神經元的數學模型8.1.3 神經網絡的結構與工作方式,18,8.1.3 神經網絡的結構與工作方式,決定人工神經網絡性能的三大要素：,神經元的特性。神經元之間相互連接的形式——拓撲結構。為適應環(huán)境而改善性能的學習規(guī)則。,19,1. 神經網絡的結構 （1）前饋型（ 前向型）,,,8.1.3 神經網絡的結構與工作方式,20,1

10、. 神經網絡的結構 （2）反饋型,,,（ Hopfield神經網絡）,8.1.3 神經網絡的結構與工作方式,21,2. 神經網絡的工作方式,同步（并行）方式：任一時刻神經網絡中所有神經元同時調整狀態(tài)。異步（串行）方式：任一時刻只有一個神經元調整狀態(tài)，而其它神經元的狀態(tài)保持不變。,8.1.3 神經網絡的結構與工作方式,22,第8章 人工神經網絡及其應用,8.1 神經元與神經網絡 8.2 BP神經網絡及其學習算法 8.

11、3 BP神經網絡的應用 8.4 Hopfield神經網絡及其改進 8.5 Hopfield神經網絡的應用,23,8.2 BP神經網絡及其學習算法,8.2.1 BP神經網絡 的結構8.2.2 BP學習算法8.2.3 BP算法的實現,24,8.2 BP神經網絡及其學習算法,8.2.1 BP神經網絡的結構8.2.2 BP學習算法8.2.3 BP算法的實現,25,8.2.1 BP神經網絡的結構,,1. BP

12、網絡結構,26,,8.2.1 BP神經網絡的結構,,,,,,,,,,,,2. 輸入輸出變換關系,27,8.2.1 BP神經網絡的結構,,,,,,,,,,,,,3. 工作過程,第一階段或網絡訓練階段： N 組輸入輸出樣本：xi=[xi1, xi2,…, xip1]T di=[di1, di2,…,dipm]T

13、 i=1, 2,…, N 對網絡的連接權進行學習和調整，以使該網絡實現給定樣本的輸入輸出映射關系。 第二階段或稱工作階段：把實驗數據或實際數據輸入到網絡，網絡在誤差范圍內預測計算出結果。,28,8.2 BP神經網絡及其學習算法,8.2.1 BP神經網絡的結構8.2.2 BP學習算法8.2.3 BP算法的實現,29,（1）是否存在一個BP神經網絡能

14、夠逼近給定的樣本或者函數。,8.2.2 BP學習算法,兩個問題：,（ 2）如何調整BP神經網絡的連接權，使網絡的輸入與輸出與給定的樣本相同。 1986年，魯梅爾哈特（D. Rumelhart）等提出BP學習算法。,,,30,8.2.2 BP學習算法,目標函數：,,,,,,約束條件：,連接權值的修正量：,1. 基本思想,,,,31,8.2.2 BP學習算法,,,,記,,,,先求,,（1）對輸出層的神經元,,,（2）對隱單元層，則

15、有,,,,32,8.2.2 BP學習算法,2. 學習算法,,,33,8.2.2 BP學習算法,正向傳播：輸入信息由輸入層傳至隱層，最終在輸出層輸出。 反向傳播：修改各層神經元的權值，使誤差信號最小。,,,,,,2. 學習算法,34,8.2.2 BP學習算法,2. 學習算法,,35,8.2 BP神經網絡及其學習算法,8.2.1 BP神經網絡的結構8.2.2 BP學習算法8.2.3 BP算法的實現,36,8.2.3

16、BP算法的實現,（1） 隱層數及隱層神經元數的確定：目前尚無理論指導。（2）初始權值的設置：一般以一個均值為0的隨機分布設置網絡的初始權值。 （3）訓練數據預處理：線性的特征比例變換，將所有的特征變換到[0，1]或者[-1，1]區(qū)間內，使得在每個訓練集上，每個特征的均值為0，并且具有相同的方差。（4）后處理過程：當應用神經網絡進行分類操作時，通常將輸出值編碼成所謂的名義變量，具體的值對應類別標號。,1. BP算法的設計,37,8.

17、2.3 BP算法的實現,（1）初始化：對所有連接權和閾值賦以隨機任意小值；（2） 從 N 組輸入輸出樣本中取一組樣本：x=[x1, x2,…, xp1]T, d=[d1, d2,…,dpm]T, 把輸入信息x=[x1, x2,…, xp1]T輸入到BP網絡中 （3）正向傳播：計算各層節(jié)點的輸出：

18、（4）計算網絡的實際輸出與期望輸出的誤差：,,,,,,2. BP算法的計算機實現流程,38,8.2.3 BP算法的實現,（5）反向傳播：從輸出層方向計算到第一個隱層，按連接權值修正公式向減小誤差方向調整網絡的各個連接權值。（6）讓t+1→t，取出另一組樣本重復（2）－（5），直到 N 組輸入輸出樣本的誤差達到要求時為止。,,,,,,2. BP算法的計算機實現流程,,39,8.2.3 BP算法的實現,BP學習算法的程序框

19、圖,40,,,,,,,,,,,,,1. 特點,BP網絡：多層前向網絡（輸入層、隱層、輸出層）。 連接權值：通過Delta學習算法進行修正。 神經元傳輸函數：S形函數。 學習算法：正向傳播、反向傳播。 層與層的連接是單向的，信息的傳播是雙向的。,8.2.4 BP算法的特點分析,41,,,,,,,,,,,,,2. BP網絡的主要優(yōu)缺點,很好的逼近特性。 具有較強的泛化能力。 具有較好的容錯性。,優(yōu)點,收斂速度慢。 局部極值。

20、 難以確定隱層和隱層結點的數目。,缺點,8.2.4 BP算法的特點分析,42,8.3 BP神經網絡的應用,8.3.1 BP神經網絡在模式識別中的應用8.3.2 BP神經網絡在軟測量中的應用,43,8.3.1 BP神經網絡在模式識別中的應用,模式識別研究用計算機模擬生物、人的感知，對模式信息，如圖像、文字、語音等，進行識別和分類。 傳統人工智能的研究部分地顯示了人腦的歸納、推理等智能。但是，對于人類底層的智能，如視覺

21、、聽覺、觸覺等方面，現代計算機系統的信息處理能力還不如一個幼兒園的孩子。 神經網絡模型模擬了人腦神經系統的特點：處理單元的廣泛連接；并行分布式信息儲存、處理；自適應學習能力等。 神經網絡模式識別方法具有較強的容錯能力、自適應學習能力、并行信息處理能力。,44,8.3.1 BP神經網絡在模式識別中的應用,,例8.1 設計一個三層BP網絡對數字0至9進行分類。,,每個數字用9?7的網格表示，灰色像素代表0，黑色像素代表1

22、。將每個網格表示為0，1的長位串。位映射由左上角開始向下直到網格的整個一列，然后重復其他列。 選擇BP網絡結構為63-6-9。97個輸入結點，對應上述網格的映射。9個輸出結點對應10種分類。 使用的學習步長為0.3。訓練600個周期，如果輸出結點的值大于0.9，則取為ON，如果輸出結點的值小于0.1，則取為OFF。,,,45,測試結果表明：除了8以外，所有被測的數字都能夠被正確地識別。 對于數字8

23、，神經網絡的第6個結點的輸出值為0.53，第8個結點的輸出值為0.41，表明第8個樣本是模糊的，可能是數字6，也可能是數字8，但也不完全確信是兩者之一。,8.3.1 BP神經網絡在模式識別中的應用,當訓練成功后，對如圖所示測試數據進行測試。測試數據都有一個或者多個位丟失。,46,8.3.2 BP神經網絡在軟測量中的應用,,軟測量技術,主導變量：被估計的變量。 輔助變量：與被估計變量相關的一組可測變量。,47,軟測量系統的設計：

24、輔助變量的選擇：變量類型、變量數量和檢測點位置的選擇。數據采集與處理。軟測量模型的建立：通過輔助變量來獲得對主導變量的最佳估計。,8.3.2 BP神經網絡在軟測量中的應用,48,序批式活性污泥法（SBR）,8.3.2 BP神經網絡在軟測量中的應用,49,BOD、COD、N和P：為軟測量模型的主導變量。ORP、DO、PH和MLSS：輔助變量。三層BP網絡：,8.3.2 BP神經網絡在軟測量中的應用,50,第8章 人工神經網

25、絡及其應用,8.1 神經元與神經網絡 8.2 BP神經網絡及其學習算法 8.3 BP神經網絡的應用 8.4 Hopfield神經網絡及其改進 8.5 Hopfield神經網絡的應用,51,8.4 Hopfield神經網絡及其改進,8.4.1 離散型Hopfield神經網絡8.4.2 連續(xù)型Hopfield神經網絡及其VLSI實現8.4.3 隨機神經網絡,52,8.4 Hopfield神經網絡及其改進,8.

26、4.1 離散型Hopfield神經網絡8.4.2 連續(xù)型Hopfield神經網絡及其VLSI實現8.4.3 隨機神經網絡,53,,,,,離散Hopfield神經網絡結構圖,,…,…,,1,,2,,,,,,,,,,,,,(狀態(tài)）,(閾值）,（連接權值）,,8.4.1 離散Hopfield 神經網絡,1. 離散Hopfield神經網絡模型網絡結構：,54,,,,,,…,,注：,,,,,,…,,,或,8.4.1 離散Hopfi

27、eld 神經網絡,-1,1. 離散Hopfield神經網絡模型輸入輸出關系：,,55,工作方式：,異步（串行）方式:,同步（并行）方式:,8.4.1 離散Hopfield 神經網絡,1. 離散Hopfield神經網絡模型,,56,（異步或同步方式）,初態(tài)：,穩(wěn)態(tài)：,8.4.1 離散Hopfield 神經網絡,1. 離散Hopfield神經網絡模型工作過程：,57,,,,,,,（異步或同步方式）,,,,聯想 記憶

28、,8.4.1 離散Hopfield 神經網絡,1. 離散Hopfield神經網絡模型工作過程：,58,穩(wěn)定性定義： 若從某一時刻開始，網絡中所有神經元的狀態(tài)不再改變，即 ， 則稱該網絡是穩(wěn)定的， 為網絡的穩(wěn)定點或吸引子 。 Hopfield神經網絡是高維非線性系統，可能有許多穩(wěn)定優(yōu)態(tài)。從任何初始狀態(tài)開始運動，總可以到某個穩(wěn)定狀態(tài)。這些穩(wěn)定狀態(tài)可以通過改變網絡參數得到。,,8.4.1

29、 離散Hopfield 神經網絡,,2. 網絡的穩(wěn)定性,59,穩(wěn)定性定理證明：1983年，科恩（Cohen）、葛勞斯伯格（S. Grossberg）。 穩(wěn)定性定理（Hopfield）,8.4.1 離散Hopfield 神經網絡,,2. 網絡的穩(wěn)定性,并行穩(wěn)定性 —— W：非負定對稱陣,串行穩(wěn)定性 —— W：對稱陣,60,8.4 Hopfield神經網絡及其改進,8.4.1 離散型Hopfield神經網絡8.4.2

30、 連續(xù)型Hopfield神經網絡及其VLSI實現,61,8.4.2 連續(xù)型Hopfield神經網絡及其VLSI實現,連續(xù)Hopfield神經網絡模型網絡的穩(wěn)定性應用舉例,62,8.4.2 連續(xù)型Hopfield神經網絡及其VLSI實現,1. 連續(xù)Hopfield神經網絡模型,,63,8.4.2 連續(xù)型Hopfield神經網絡及其VLSI實現,1. 連續(xù)Hopfield神經網絡模型,,,64,8.4.2 連續(xù)型Hopfield神經

31、網絡及其VLSI實現,2. 網絡的穩(wěn)定性,,計算能量函數 ：,定理：對于連續(xù)型 Hopfield 神經網絡，若 為單調遞增的連續(xù)函數， Ci > 0, wij = wji , 則 ；當且僅當,,,65,8.4.3 隨機神經網絡,Hopfield神經網絡中，神經元狀態(tài)為1是根據其輸入是否大于閾值確定的，是確定性的。隨機神經網絡中，神經元狀態(tài)為1是隨機的，服從一定的

32、概率分布。例如，服從玻爾茲曼(Boltzmann)、高斯(Gaussian)、柯西(Cauchy)分布等，從而構成玻爾茲曼機、高斯機、柯西機等隨機機。,66,,8.4.3 隨機神經網絡,1. Boltzmann機 1985年，加拿大多倫多大學教授欣頓(Hinton)等人借助統計物理學的概念和方法，提出了Boltzmann機神經網絡模型。 Boltzmann機是離散Hopfield神經網絡的一種變型，通過對離散Hopfield

33、神經網絡加以擾動，使其以概率的形式表達，而網絡的模型方程不變，只是輸出值類似于Boltzmann分布以概率分布取值。 Boltzmann機是按Boltzmann概率分布動作的神經網絡。,67,8.4.3 隨機神經網絡,1. Boltzmann機 （續(xù)） 離散Hopfield神經網絡的輸出： Boltzman機的內部狀態(tài)： 神經元 輸出值為0和1時的概率：,,,,,,68,8.4.3 隨機神經網絡,,,,,

34、,,1. Boltzmann機 （續(xù)） Boltzmann的能量函數：,神經元 狀態(tài)轉換時網絡能量的變化：,神經元 改變?yōu)闋顟B(tài)“1”的概率：,,,,),exp(,1,1,T,E,p,i,i,D,-,+,=,69,2. 高斯機,8.4.3 隨機神經網絡,:均值為0的高斯隨機變量（白噪聲） ，其方差為,3. 柯西機,: 柯西隨機變量（有色噪聲）,70,8.5 Hopfield神經網絡的應用,8.5.1 Hopfield神經

35、網絡在聯想記憶中的應用8.5.2 Hopfield神經網絡優(yōu)化方法,71,8.5.1 Hopfield神經網絡在聯想記憶中的應用,72,例8.2,傳感器輸出：[外形，質地，重量]T,8.5.1 Hopfield神經網絡在聯想記憶中的應用,73,例8.2,樣本:,具體怎樣實現聯想記憶？,8.5.1 Hopfield神經網絡在聯想記憶中的應用,74,樣本:,（1）設計DHNN結構,3神經元的DHNN結構圖,注：,8.5.1 Hop

36、field神經網絡在聯想記憶中的應用,75,樣本: ，,連接權：,（ 2）設計連接權矩陣,,8.5.1 Hopfield神經網絡在聯想記憶中的應用,76,樣本: ，,連接權：,T,],0,1,,0,,[,),2,(,=,x,,（2）設計連接權矩陣,8.5.1 Hopfield神經網絡在聯

37、想記憶中的應用,77,,,（2）設計連接權矩陣,8.5.1 Hopfield神經網絡在聯想記憶中的應用,78,,輸入：[1，1，1]T,輸出 ?,（3）測試,8.5.1 Hopfield神經網絡在聯想記憶中的應用,79,,（3）測試,調整次序：,初始狀態(tài)：,測試用例：,樣本：,8.5.1 Hopfield神經網絡在聯想記憶中的應用,80,調整次序： 2→1→3,k = 0,,8.5.1 Hopfield神經網絡在聯想記憶中的應用

38、,81,k = 1,,調整次序： 2→1→3,8.5.1 Hopfield神經網絡在聯想記憶中的應用,82,k = 2,,調整次序： 2→1→3,8.5.1 Hopfield神經網絡在聯想記憶中的應用,83,k = 2,k = 3,k = 0,k = 1,樣本：,調整次序：,2 1 3,,,2 1 3,2 1 3,2 1 3,8.5.1 Hopfiel

39、d神經網絡在聯想記憶中的應用,84,,例8.2,輸入：[1，1 ，1]T,輸出：[1，0 ，1]T,8.5.1 Hopfield神經網絡在聯想記憶中的應用,85,連續(xù)Hopfiled神經網絡求解約束優(yōu)化問題的基本思路：,8.5.2 Hopfield神經網絡優(yōu)化方法,1985年，霍普菲爾德和塔克（D. W. Tank）應用連續(xù)Hopfield 神經網絡求解旅行商問題（traveling salesman problem，TSP）獲得成

40、功。,86,8.5.2 Hopfield神經網絡優(yōu)化方法,用神經網絡方法求解優(yōu)化問題的一般步驟：（1）將優(yōu)化問題的每一個可行解用換位矩陣表示。（2）將換位矩陣與由 n 個神經元構成的神經網絡相對應：每一個可行解的換位矩陣的各元素與相應的神經元穩(wěn)態(tài)輸出相對應。（3）構造能量函數，使其最小值對應于優(yōu)化問題的最優(yōu)解，并滿足約束條件。（4）用罰函數法構造目標函數，與Hopfield神經網絡的計算能量函數表達式相等，確定各連接權和偏置參

41、數。（5）給定網絡初始狀態(tài)和網絡參數等，使網絡按動態(tài)方程運行，直到穩(wěn)定狀態(tài)，并將它解釋為優(yōu)化問題的解。,,,87,應用舉例： Hopfield神經網絡優(yōu)化方法求解TSP。,1985年，霍普菲爾德和塔克（D. W. Tank）應用連續(xù)Hopfield 神經網絡求解旅行商問題獲得成功。,旅行商問題（traveling salesman problem，TSP） ：有 n 個城市，城市間的距離或旅行成本已知，求合理的路線使每個城市都訪問一次

42、，且總路徑（或者總成本）為最短。,8.5.2 Hopfield神經網絡優(yōu)化方法,88,5個城市的TSP：,神經元數目：25,8.5.2 Hopfield神經網絡優(yōu)化方法,89,,TSP的描述：,,用罰函數法，寫出優(yōu)化問題的目標函數：,8.5.2 Hopfield神經網絡優(yōu)化方法,90,Hopfield神經網絡能量函數：,8.5.2 Hopfield神經網絡優(yōu)化方法,令E1 與目標函數J相等，確定神經網絡的連接權值和偏置電流：,9

43、1,,,,,神經網絡的動態(tài)方程：,,8.5.2 Hopfield神經網絡優(yōu)化方法,92,,,,,選擇合適的A、B、C、D和網絡的初始狀態(tài)，按網絡動態(tài)方程演化直到收斂。,8.5.2 Hopfield神經網絡優(yōu)化方法,93,神經網絡優(yōu)化計算目前存在的問題：（1）解的不穩(wěn)定性。（2）參數難以確定。（3）能量函數存在大量局部極小值，難以保證最優(yōu) 解。,8.5.2 Hopfield神經網絡優(yōu)化方法,94,THE E