神經(jīng)網(wǎng)絡(luò)系統(tǒng)理論

序言
前言
第一章緒論
1.1神經(jīng)網(wǎng)絡(luò)的研究歷史(1)
1.2生物神經(jīng)元模型(4)
1.2.1神經(jīng)元的結(jié)構(gòu)(5)
1.2.2神經(jīng)元的功能(5)
1.3神經(jīng)網(wǎng)絡(luò)的基本特征和通有性質(zhì)(6)
1.3.1神經(jīng)網(wǎng)絡(luò)的形式化描述(6)
1.3.2神經(jīng)網(wǎng)絡(luò)模型(7)
1.3.3神經(jīng)網(wǎng)絡(luò)的信息處理能力(8)
1.3.4神經(jīng)網(wǎng)絡(luò)的互連結(jié)構(gòu)形態(tài)(10)
1.3.5神經(jīng)網(wǎng)絡(luò)的分類與工作方式(10)
1.3.6神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則與分類(13)
1.4神經(jīng)網(wǎng)絡(luò)的研究方法與主要內(nèi)容(14)
1.4.1神經(jīng)網(wǎng)絡(luò)的宏觀研究方法(14)
1.4.2神經(jīng)網(wǎng)絡(luò)未來發(fā)展方向與研究課題(15)
第二章神經(jīng)網(wǎng)絡(luò)理論與基礎(chǔ)
2.1MP模型和Hebb學(xué)習(xí)規(guī)則17)
2.1.1MP模型(17)
2.1.2Hebb學(xué)習(xí)規(guī)則(17)
2.1.3延時MP模型(18)
2.1.4改進(jìn)的MP模型(18)
2.2動力系統(tǒng)的穩(wěn)定性(19)
2.2.1穩(wěn)定性分析的數(shù)學(xué)基礎(chǔ)(19)
2.2.2V函數(shù)的性質(zhì)的判別(20)
2.2.3定號函數(shù)的幾何解釋(20)
2.2.4穩(wěn)定性的基本定義(20)
2.3穩(wěn)定性的Lyapunov第二方法(22)
第三章神經(jīng)網(wǎng)絡(luò)模型Ⅰ:前向網(wǎng)絡(luò)
3.1線性閾值單元(26)
3.1.1基本性質(zhì)(26)
3.1.2用線性閾值單元實(shí)現(xiàn)布爾函數(shù)(26)
3.1.3線性可分性與學(xué)習(xí)(26)
3.2感知器(27)
3.2.1感知器學(xué)習(xí)算法(28)
3.2.2多層感知器(29)
3.2.3梯度算法(30)
3.2.4多層感知器學(xué)習(xí)的定量分析(32)
3.3BP算法(反向傳播算法)(34)
3.4前向網(wǎng)絡(luò)的映射作用與容量分析(36)
3.4.1映射作用(36)
3.4.2前向網(wǎng)絡(luò)的容量分析(39)
3.5自適應(yīng)線性元件(Adaline)(41)
3.5.1線性可分性(42)
3.5.2非線性可分性——非線性輸入函數(shù)(42)
3.5.3MADALINES網(wǎng)絡(luò)(43)
3.5.4Widrow-Hoffδ規(guī)則(44)
3.6交替投影神經(jīng)網(wǎng)絡(luò)(APNN)(45)
3.6.1凸集投影理論(46)
3.6.2交替投影神經(jīng)網(wǎng)絡(luò)(46)
3.6.3穩(wěn)態(tài)收斂性(49)
3.6.4學(xué)習(xí)和訓(xùn)練(50)
3.6.5多層APNN(50)
第四章神經(jīng)網(wǎng)絡(luò)模型Ⅱ:反饋網(wǎng)絡(luò)
4.1離散的Hopfield神經(jīng)網(wǎng)絡(luò)(52)
4.2聯(lián)想記憶與神經(jīng)計(jì)算(57)
4.2.1聯(lián)想記憶(AssociativeMemory)(57)
4.2.2神經(jīng)計(jì)算(58)
4.3連續(xù)時間Hopfield神經(jīng)網(wǎng)絡(luò)模型(59)
4.3.1非線性連續(xù)時間Hopfield神經(jīng)網(wǎng)絡(luò)(59)
4.3.2Hopfield神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)與穩(wěn)定性(64)
4.4高階關(guān)聯(lián)神經(jīng)網(wǎng)絡(luò)模型(67)
4.5聯(lián)想存貯器分析(70)
4.6雙向聯(lián)想記憶(BAM)(73)
4.6.1離散BAM(BidrectionAssociativeMemory)(73)
4.6.2連續(xù)和自適應(yīng)BAM網(wǎng)絡(luò)(76)
4.6.3高階自適應(yīng)BAM網(wǎng)絡(luò)(77)
4.6.4四種無導(dǎo)師聯(lián)想學(xué)習(xí)規(guī)則(78)
4.6.5竟?fàn)幾赃m應(yīng)BAM網(wǎng)絡(luò)(78)
4.6.6隨機(jī)自適應(yīng)BAM網(wǎng)絡(luò)(79)
4.7高階自相關(guān)器和異相關(guān)器(79)
4.7.1一階自相關(guān)器(79)
4.7.2高階自相關(guān)器(81)
4.7.3一階異相關(guān)器(81)
4.7.4高階異相關(guān)器(82)
4.7.5一階IBAM(85)
4.7.6高階IBAM(88)
第五章自組織神經(jīng)網(wǎng)絡(luò)
5.1自適應(yīng)共振理論(ART)(89)
5.1.1ART的基本原理(89)
5.1.2ART學(xué)習(xí)算法(90)
5.2自組織特征映射(92)
5.3CPN模型(94)
5.3.1CPN的訓(xùn)練(97)
5.3.2CPN的計(jì)算(97)
5.4神經(jīng)認(rèn)知機(jī)(98)
第六章隨機(jī)神經(jīng)網(wǎng)絡(luò)
6.1模擬退火算法(101)
6.1.1模擬退火算法(101)
6.1.2改進(jìn)的模擬退火法(103)
6.1.3SA算法的收斂性(105)
6.2Boltzmann機(jī)(106)
6.2.1Boltzmann機(jī)模型(106)
6.2.2能量函數(shù)(106)
6.2.3學(xué)習(xí)算法(108)
6.2.4Boltzmann機(jī)學(xué)習(xí)算法推導(dǎo)(110)
6.3NN的概率統(tǒng)計(jì)法(111)
6.4并行分布Cauchy機(jī)(114)
6.5神經(jīng)網(wǎng)絡(luò)的熵理論(116)
6.５.１NN計(jì)算能量與熵(116)
6.５.２同步并行計(jì)算(117)
6.５.３異步串行計(jì)算(118)
6.6動力系統(tǒng)的分維學(xué)(121)
6.６.１Hausdorff維數(shù)(121)
6.６.２分維的量度(122)
6.7分維神經(jīng)網(wǎng)絡(luò)(124)
6.７.１分維NN結(jié)構(gòu)(124)
6.７.２信息的存貯(124)
第七章神經(jīng)網(wǎng)絡(luò)的統(tǒng)一描述與Systolic陣列實(shí)現(xiàn)
7.1Systolic陣列(127)
7.1.1Systolic陣列基本概念(127)
7.1.2Systolic陣列結(jié)構(gòu)(128)
7.1.3Systolic實(shí)用算法(131)
7.1.4Systolic陣列的應(yīng)用(132)
7.2波前陣列處理器(134)
7.3神經(jīng)網(wǎng)絡(luò)的通有迭代模型(135)
7.3.1回憶階段的通有公式(135)
7.3.2學(xué)習(xí)階段的通有公式(137)
7.4回歸BP和HMM的統(tǒng)一描述(142)
7.4.1回歸BP神經(jīng)網(wǎng)絡(luò)(142)
7.4.2隱元Markov模型(HMM)(144)
7.5算法到Systolic陣列/波前陣列結(jié)構(gòu)的映射(145)
7.6通有迭代ANN模型的Systolic設(shè)計(jì)(148)
7.6.１回憶階段系統(tǒng)的環(huán)形Systolic設(shè)計(jì)(148)
7.6.2學(xué)習(xí)階段的環(huán)形Systolic設(shè)計(jì)(151)
第八章連續(xù)時間非線性神經(jīng)網(wǎng)絡(luò)模型及其時空特征
8.1通有連續(xù)時間神經(jīng)網(wǎng)絡(luò)模型(159)
8.1.1通有ＮＮ模型(160)
8.1.2通有NN的穩(wěn)定性(160)
8.1.3通有NN的計(jì)算能量函數(shù)(163)
8.1.4包含有不穩(wěn)定子系統(tǒng)的大規(guī)模神經(jīng)網(wǎng)絡(luò)穩(wěn)定性分析(164)
8.2通有神經(jīng)網(wǎng)絡(luò)模型的關(guān)聯(lián)穩(wěn)定性(167)
8.2.1有向圖(167)
8.2.2大規(guī)模動力系統(tǒng)的結(jié)構(gòu)與結(jié)構(gòu)擾動(168)
8.2.3神經(jīng)網(wǎng)絡(luò)的關(guān)聯(lián)穩(wěn)定性(170)
8.3通有神經(jīng)網(wǎng)絡(luò)的時空結(jié)構(gòu)與延時動力學(xué)(182)
8.3.1通有神經(jīng)網(wǎng)絡(luò)模型的漸近行為和延時穩(wěn)定性(182)
8.3.2通有神經(jīng)網(wǎng)絡(luò)模型的延時關(guān)聯(lián)穩(wěn)定性(188)
第九章神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)與綜合
9.1聯(lián)想記憶設(shè)計(jì)要求(192)
9.2神經(jīng)網(wǎng)絡(luò)綜合的基本方法(193)
9.2.1外積法(OuterProductMethod-OPM)(193)
9.2.2投影學(xué)習(xí)規(guī)則(194)
9.2.3特征結(jié)構(gòu)法(EigenstructureMethod)(196)
9.2.4非對稱連接矩陣網(wǎng)絡(luò)綜合(198)
9.2.5小結(jié)(199)
9.3Hopfield型同步離散神經(jīng)網(wǎng)絡(luò)用于AM的綜合(200)
9.3.1神經(jīng)網(wǎng)絡(luò)模型(200)
9.3.2離散Hopfield型神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性分析(201)
9.3.3神經(jīng)網(wǎng)絡(luò)綜合(205)
9.4Hopfield連續(xù)時間聯(lián)想記憶的綜合(208)
9.4.1Hopfield模型(208)
9.4.2AM設(shè)計(jì)(208)
9.4.3漸近穩(wěn)定性(209)
9.4.4設(shè)計(jì)約束(210)
9.4.5綜合程序(211)
9.5超閉正立體上線性神經(jīng)網(wǎng)絡(luò)的綜合(212)
9.5.1綜合問題(212)
9.5.2綜合策略(213)
9.5.3綜合過程(213)
9.6不連續(xù)神經(jīng)網(wǎng)絡(luò)系統(tǒng)的綜合(216)
9.6.1基本綜合問題(217)
9.6.2綜合策略(217)
9.6.3綜合過程(218)
9.6.4舉例(222)
第十章神經(jīng)優(yōu)化計(jì)算〖ＪY〗
10.1Hopfield模型理論分析(227)
10.1.1Hopfield模型的特征向量表示(227)
10.1.2CAM性質(zhì)(228)
10.2TSP問題(230)
10.2.1TSP問題描述(230)
10.2.2連接矩陣特征值與網(wǎng)絡(luò)的動力學(xué)分析(231)
10.3神經(jīng)優(yōu)化計(jì)算的一種新方法(237)
10.3.1神經(jīng)網(wǎng)絡(luò)廣義收斂定理(237)
10.3.2神經(jīng)優(yōu)化計(jì)算的新算法(240)
第十一章神經(jīng)網(wǎng)絡(luò)專家系統(tǒng)
11.1專家系統(tǒng)的發(fā)展與現(xiàn)狀(242)
11.2神經(jīng)網(wǎng)絡(luò)專家系統(tǒng)基本原理與結(jié)構(gòu)(243)
11.2.1神經(jīng)網(wǎng)絡(luò)專家系統(tǒng)的基本原理(243)
11.2.2神經(jīng)網(wǎng)絡(luò)專家系統(tǒng)的基本結(jié)構(gòu)(244)
11.3基于神經(jīng)網(wǎng)絡(luò)系統(tǒng)的知識表示.獲取與推理(245)
11.3.1神經(jīng)網(wǎng)絡(luò)及其矩陣表示(245)
11.3.2知識表示的神經(jīng)網(wǎng)絡(luò)方法(245)
11.3.3基于神經(jīng)網(wǎng)絡(luò)系統(tǒng)的知識獲取(246)
11.3.4基于神經(jīng)網(wǎng)絡(luò)系統(tǒng)的并行推理(248)
11.4組合神經(jīng)網(wǎng)絡(luò)專家系統(tǒng)的實(shí)現(xiàn)(249)
11.5小結(jié)(251)
第十二章神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)及其VLSI實(shí)現(xiàn)
12.1神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)(252)
12.1.1神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)的分類(252)
12.1.2直接基于硬件的神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)實(shí)現(xiàn)(253)
12.1.3基于現(xiàn)代數(shù)字計(jì)算機(jī)的神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)實(shí)現(xiàn)(254)
12.2神經(jīng)網(wǎng)絡(luò)的數(shù)字VLSI實(shí)現(xiàn)(256)
12.3神經(jīng)網(wǎng)絡(luò)的電壓模式模擬VLSI實(shí)現(xiàn)(259)
12.3.1模擬神經(jīng)網(wǎng)絡(luò)電路基本原理(259)
12.3.2MOSFET-C神經(jīng)網(wǎng)絡(luò)(260)
12.3.3開關(guān)電容神經(jīng)網(wǎng)絡(luò)(261)
12.4神經(jīng)網(wǎng)絡(luò)的電流模式模擬VLSI設(shè)計(jì)與實(shí)現(xiàn)(263)
12.4.1電流模式VSLI設(shè)計(jì)(263)
12.4.2電流模式VLSI神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)(264)
12.4.3高階OTA-C神經(jīng)元模型(265)
12.4.4電流模式VLSI神經(jīng)網(wǎng)絡(luò)的自動調(diào)諧(267)
12.5全集成模擬神經(jīng)網(wǎng)絡(luò)優(yōu)化處理器(267)
12.5.1全集成優(yōu)化處理器的提出(267)
12.5.2非線性規(guī)劃神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)(268)
12.5.3全集成線性規(guī)劃神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)(269)
12.5.4二次規(guī)劃神經(jīng)網(wǎng)絡(luò)模擬電路(269)
12.5.5大規(guī)模非線性規(guī)劃的全集成神經(jīng)網(wǎng)絡(luò)模擬(270)
展望
參考文獻(xiàn)