優(yōu)化理論與實(shí)用算法

譯者序
前言
致謝
第1章引言1
1.1優(yōu)化算法的歷史1
1.2優(yōu)化過(guò)程3
1.3基本優(yōu)化問題3
1.4約束4
1.5極值點(diǎn)5
1.6局部極小值的條件6
1.6.1一元問題6
1.6.2多元問題7
1.7等高線圖8
1.8概述8
1.9小結(jié)11
1.10練習(xí)11
第2章導(dǎo)數(shù)和梯度12
2.1導(dǎo)數(shù)12
2.2多維導(dǎo)數(shù)13
2.3數(shù)值微分14
2.3.1有限差分法15
2.3.2復(fù)數(shù)步長(zhǎng)法16
2.4自動(dòng)微分17
2.4.1前向累積18
2.4.2反向累積20
2.5小結(jié)20
2.6練習(xí)20
第3章包圍22
3.1單模態(tài)22
3.2確定初始包圍22
3.3斐波那契搜索23
3.4黃金分割搜索25
3.5二次擬合搜索26
3.6ShubertPiyavskii方法28
3.7二分法30
3.8小結(jié)32
3.9練習(xí)32
第4章局部下降33
4.1下降方向迭代33
4.2線搜索33
4.3近似線搜索34
4.4信賴域方法39
4.5終止條件42
4.6小結(jié)42
4.7練習(xí)42
第5章一階方法43
5.1梯度下降43
5.2共軛梯度44
5.3動(dòng)量46
5.4Nesterov動(dòng)量47
5.5Adagrad方法48
5.6RMSProp49
5.7Adadelta50
5.8Adam50
5.9超梯度下降51
5.10小結(jié)53
5.11練習(xí)53
第6章二階方法54
6.1牛頓法54
6.2割線法57
6.3擬牛頓法57
6.4小結(jié)60
6.5練習(xí)60
第7章直接方法63
7.1循環(huán)坐標(biāo)搜索63
7.2鮑威爾搜索法64
7.3胡可-吉夫斯搜索法65
7.4廣義模式搜索法66
7.5尼爾德-米德單純形法68
7.6分割矩形法71
7.6.1單變量DIRECT72
7.6.2多變量DIRECT74
7.6.3實(shí)施74
7.7小結(jié)78
7.8練習(xí)79
第8章隨機(jī)方法80
8.1噪聲下降80
8.2網(wǎng)格自適應(yīng)直接搜索81
8.3模擬退火83
8.4交叉熵法87
8.5自然進(jìn)化策略89
8.6自適應(yīng)協(xié)方差矩陣90
8.7小結(jié)93
8.8練習(xí)94
第9章種群方法96
9.1初始化96
9.2遺傳算法97
9.2.1染色體98
9.2.2初始化98
9.2.3選擇98
9.2.4交叉100
9.2.5變異101
9.3微分進(jìn)化102
9.4粒子群優(yōu)化104
9.5螢火蟲算法105
9.6布谷鳥搜索106
9.7混合方法108
9.8小結(jié)109
9.9練習(xí)109
第10章約束110
10.1約束優(yōu)化110
10.2約束類型111
10.3消除約束的轉(zhuǎn)換111
10.4拉格朗日乘數(shù)法113
10.5不等式約束115
10.6對(duì)偶性117
10.7懲罰方法119
10.8增廣拉格朗日法121
10.9內(nèi)點(diǎn)法122
10.10小結(jié)123
10.11練習(xí)123
第11章線性約束優(yōu)化125
11.1問題表述125
11.1.1一般形式126
11.1.2標(biāo)準(zhǔn)形式126
11.1.3等式形式127
11.2單純形算法129
11.2.1頂點(diǎn)129
11.2.2一階必要條件132
11.2.3優(yōu)化階段133
11.2.4初始化階段136
11.3對(duì)偶驗(yàn)證138
11.4小結(jié)139
11.5練習(xí)139
第12章多目標(biāo)優(yōu)化140
12.1帕累托最優(yōu)140
12.1.1優(yōu)勢(shì)位置140
12.1.2帕累托邊界141
12.1.3帕累托邊界生成142
12.2約束方法143
12.2.1目標(biāo)約束法143
12.2.2詞典約束法143
12.3權(quán)重法143
12.3.1加權(quán)和法144
12.3.2目標(biāo)編程144
12.3.3加權(quán)指數(shù)和145
12.3.4加權(quán)最小-最大值法145
12.3.5指數(shù)加權(quán)準(zhǔn)則146
12.4多目標(biāo)種群方法146
12.4.1子種群146
12.4.2非支配排名147
12.4.3帕累托過(guò)濾器148
12.4.4生態(tài)位技術(shù)149
12.5偏好誘導(dǎo)150
12.5.1模型識(shí)別150
12.5.2配對(duì)查詢選擇151
12.5.3設(shè)計(jì)選擇151
12.6小結(jié)152
12.7練習(xí)152
第13章抽樣計(jì)劃154
13.1全因子154
13.2隨機(jī)抽樣155
13.3均勻投影計(jì)劃155
13.4分層抽樣156
13.5空間填充指標(biāo)156
13.5.1差異157
13.5.2成對(duì)距離157
13.5.3MorrisMitchell標(biāo)準(zhǔn)158
13.6空間填充子集159
13.7準(zhǔn)隨機(jī)序列161
13.7.1加性遞歸162
13.7.2哈爾頓序列163
13.7.3Sobol序列164
13.8小結(jié)165
13.9習(xí)題165
第14章代理模型166
14.1擬合代理模型166
14.2線性模型166
14.3基函數(shù)168
14.3.1多項(xiàng)式基函數(shù)169
14.3.2正弦基函數(shù)170
14.3.3徑向基函數(shù)171
14.4擬合噪聲目標(biāo)函數(shù)172
14.5模型選擇173
14.5.1保留法175
14.5.2交叉驗(yàn)證176
14.5.3自舉法178
14.6小結(jié)180
14.7練習(xí)180
第15章概率代理模型181
15.1高斯分布181
15.2高斯過(guò)程182
15.3預(yù)測(cè)185
15.4梯度測(cè)量186
15.5噪聲測(cè)量188
15.6擬合高斯過(guò)程189
15.7小結(jié)189
15.8練習(xí)190
第16章代理優(yōu)化191
16.1基于預(yù)測(cè)的探索191
16.2基于誤差的探索191
16.3置信下界的探索192
16.4改進(jìn)探索的概率192
16.5預(yù)期改進(jìn)探索194
16.6安全優(yōu)化194
16.7小結(jié)199
16.8練習(xí)199
第17章不確定性下的優(yōu)化200
17.1不確定性200
17.2基于集合的不確定性201
17.2.1極小極大方法201
17.2.2信息差距決策理論203
17.3概率不確定性204
17.3.1期望值204
17.3.2方差204
17.3.3統(tǒng)計(jì)可行性205
17.3.4風(fēng)險(xiǎn)價(jià)值206
17.3.5條件風(fēng)險(xiǎn)價(jià)值206
17.4小結(jié)207
17.5練習(xí)207
第18章不確定性傳播209
18.1抽樣方法209
18.2泰勒逼近209
18.3多項(xiàng)式混沌211
18.3.1一元情況211
18.3.2系數(shù)216
18.3.3多元情況217
18.4貝葉斯蒙特卡羅217
18.5小結(jié)220
18.6練習(xí)220
第19章離散優(yōu)化221
19.1整數(shù)規(guī)劃221
19.2四舍五入222
19.3切割平面224
19.4分支限界法227
19.5動(dòng)態(tài)規(guī)劃229
19.6蟻群優(yōu)化231
19.7小結(jié)234
19.8練習(xí)234
第20章表達(dá)式優(yōu)化236
20.1語(yǔ)法236
20.2遺傳編程238
20.3語(yǔ)法進(jìn)化241
20.4概率語(yǔ)法245
20.5概率原型樹246
20.6小結(jié)250
20.7練習(xí)251
第21章 多學(xué)科設(shè)計(jì)優(yōu)化253
21.1 學(xué)科分析253
21.2 跨學(xué)科兼容性254
21.3 架構(gòu)257
21.4 多學(xué)科設(shè)計(jì)可行性258
21.5 順序優(yōu)化259
21.6 單學(xué)科可行性260
21.7 協(xié)同優(yōu)化262
21.8 同步分析和設(shè)計(jì)264
21.9 小結(jié)266
21.10 練習(xí)266
附錄A Julia267
附錄B 測(cè)試函數(shù)277
附錄C 數(shù)學(xué)概念282
附錄D 練習(xí)參考答案292
參考文獻(xiàn)315
索引 324