數(shù)學(xué)優(yōu)化

目錄
總序
前言
第1章 引言 1
參考文獻 6
第2章 線性規(guī)劃 7
2.1 線性規(guī)劃問題背景 7
2.2 線性規(guī)劃數(shù)學(xué)模型 9
2.3 線性規(guī)劃求解方法 10
2.3.1 單純形法 10
2.3.2 內(nèi)點算法 11
2.4 線性規(guī)劃的發(fā)展方向 12
2.5 線性錐優(yōu)化 16
2.6 線性錐優(yōu)化對偶理論 17
2.7 線性錐優(yōu)化的求解方法 18
2.7.1 內(nèi)點算法 18
2.7.2 其他方法 19
2.8 線性錐優(yōu)化發(fā)展方向 19
參考文獻 22
第3章 非線性優(yōu)化 25
3.1 概述 25
3.2 無約束優(yōu)化 25
3.2.1 共軛梯度法 26
3.2.2 擬牛頓法 26
3.2.3 信賴域方法 27
3.3 約束優(yōu)化 29
3.3.1 KKT 定理和對偶理論 29
3.3.2 乘子法 29
3.3.3 逐步二次規(guī)劃方法 30
3.3.4 內(nèi)點算法 31
3.4 總結(jié)與展望 32
參考文獻 33
第4章 整數(shù)規(guī)劃 37
4.1 線性整數(shù)規(guī)劃 37
4.2 非線性整數(shù)規(guī)劃 40
4.3 非線性整數(shù)規(guī)劃算法 42
4.4 整數(shù)規(guī)劃展望 46
參考文獻 46
第5章 組合優(yōu)化、復(fù)雜性與近似算法 48
5.1 概述 48
5.2 關(guān)鍵科學(xué)問題與研究發(fā)展趨勢 50
5.2.1 裝箱問題 50
5.2.2 旅行商問題 51
5.2.3 斯坦納樹問題 53
5.2.4 設(shè)施選址問題 54
5.2.5 k-平均問題 55
5.2.6 次模*大化問題 57
5.2.7 圖劃分問題 59
5.2.8 計算復(fù)雜性 60
5.3 重要理論、方法的應(yīng)用及展望 61
參考文獻 68
第6章 全局優(yōu)化 73
6.1 概述 73
6.2 歷史與現(xiàn)狀 73
6.3 前景展望 75
6.3.1 全局*優(yōu)性基礎(chǔ)理論研究 76
6.3.2 全局優(yōu)化算法研究 76
6.3.3 應(yīng)用問題驅(qū)動的全局優(yōu)化算法研究 80
參考文獻 81
第7章 無導(dǎo)數(shù)優(yōu)化 84
7.1 概述 84
7.2 無導(dǎo)數(shù)優(yōu)化的源流與發(fā)展 84
7.2.1 直接搜索方法 85
7.2.2 基于模型的方法 86
7.3 無導(dǎo)數(shù)優(yōu)化的發(fā)展方向與挑戰(zhàn) 87
7.3.1 針對噪聲問題的算法和理論 87
7.3.2 針對大規(guī)模問題的算法 87
7.3.3 無導(dǎo)數(shù)優(yōu)化在數(shù)據(jù)科學(xué)和機器學(xué)習(xí)領(lǐng)域的應(yīng)用 89
7.3.4 實用軟件開發(fā)與實際問題求解 89
參考文獻 89
第8章 非光滑優(yōu)化和擾動分析 93
8.1 非光滑優(yōu)化 93
8.1.1 非光滑分析的綜述 93
8.1.2 非光滑優(yōu)化算法的綜述 96
8.1.3 目前的研究熱點和思考 98
8.2 擾動分析 99
8.2.1 概述 99
8.2.2 目前的研究熱點和思考 101
參考文獻 102
第9章 變分不等式與互補問題 105
9.1 概述 105
9.2 發(fā)展與現(xiàn)狀 106
9.3 展望與挑戰(zhàn) 111
參考文獻 113
第10章 魯棒優(yōu)化 115
10.1 概述 115
10.2 研究歷史 115
10.3 研究現(xiàn)狀及發(fā)展趨勢 116
10.3.1 魯棒優(yōu)化的基礎(chǔ)模型 117
10.3.2 概率約束條件及目標(biāo) 117
10.3.3 概率分布本身的不確定性 118
10.3.4 直接從數(shù)據(jù)出發(fā)的魯棒決策模型 118
10.3.5 魯棒優(yōu)化在其他領(lǐng)域的應(yīng)用 119
10.4 求解器的開發(fā)及應(yīng)用 119
參考文獻 120
第11章 向量優(yōu)化 123
11.1 簡介 123
11.2 概述 124
11.3 研究現(xiàn)狀與未來研究方向 125
11.3.1 向量優(yōu)化問題的解定義及其性質(zhì)研究 125
11.3.2 向量優(yōu)化問題的標(biāo)量化方法 127
11.3.3 向量變分不等式及向量均衡問題研究 128
11.3.4 向量優(yōu)化問題的算法研究 129
11.3.5 隨機與不確定多目標(biāo)優(yōu)化問題研究 130
11.3.6 非線性標(biāo)量化函數(shù)與機器學(xué)習(xí)研究 131
參考文獻 132
第12章 多項式優(yōu)化 134
12.1 概述 134
12.2 多項式優(yōu)化理論 135
12.3 多項式優(yōu)化算法 137
12.4 發(fā)展趨勢和展望 140
12.4.1 多項式優(yōu)化中的凸性 140
12.4.2 Lasserre 層級 SOS 松弛方法的分析 140
12.4.3 多項式優(yōu)化近似算法設(shè)計與分析 140
12.4.4 大規(guī)模多項式優(yōu)化數(shù)值算法 141
12.4.5 分式多項式優(yōu)化 141
12.4.6 基于二階錐松弛的松弛層級 141
參考文獻 141
第13章 張量優(yōu)化 144
13.1 概述 144
13.2 發(fā)展與現(xiàn)狀 145
13.3 展望與挑戰(zhàn) 149
參考文獻 151
第14章 矩陣優(yōu)化 154
14.1 矩陣優(yōu)化概述 155
14.1.1 國內(nèi)外研究發(fā)展現(xiàn)狀 155
14.1.2 發(fā)展趨勢和展望 159
14.2 低秩稀疏矩陣優(yōu)化問題 160
14.2.1 國內(nèi)外研究發(fā)展現(xiàn)狀 161
14.2.2 關(guān)鍵問題和挑戰(zhàn) 167
14.2.3 未來發(fā)展建議 169
參考文獻 171
第15章 流形約束優(yōu)化 176
15.1 流形約束優(yōu)化簡介 176
15.2 流形約束優(yōu)化應(yīng)用 177
15.2.1 球約束模型 177
15.2.2 線性特征值計算 178
15.2.3 非線性特征值計算 179
15.2.4 低秩矩陣優(yōu)化 180
15.2.5 在整數(shù)規(guī)劃中的應(yīng)用 181
15.2.6 冷凍電鏡 181
15.2.7 在深度學(xué)習(xí)中的應(yīng)用 181
15.3 流形約束優(yōu)化算法 182
15.4 流形約束優(yōu)化分析 184
15.4.1 測地凸優(yōu)化 184
15.4.2 自洽場迭代的收斂性 185
15.4.3 正交約束優(yōu)化的全局*優(yōu)解 185
15.4.4 *大割問題 185
15.4.5 正交約束的小 Grothendieck 問題 186
15.5 關(guān)鍵問題和挑戰(zhàn) 186
15.5.1 基礎(chǔ)理論性質(zhì) 186
15.5.2 流形約束的有效表達 186
15.5.3 非標(biāo)準(zhǔn)流形約束問題的處理 187
15.5.4 計算驅(qū)動的模型和算法 187
15.5.5 優(yōu)化算法的微分方程形式 187
15.6 未來發(fā)展建議 188
15.6.1 特殊結(jié)構(gòu)的模型和算法 188
15.6.2 重點問題/重點應(yīng)用的研究 188
15.6.3 隨機算法和隨機分析 188
15.6.4 流形學(xué)習(xí) 189
15.6.5 軟件包的發(fā)展 189
參考文獻 190
第16章 雙層優(yōu)化 195
16.1 概述 195
16.2 應(yīng)用背景 196
16.2.1 電力市場里的應(yīng)用 196
16.2.2 城市道路交通中的應(yīng)用 197
16.2.3 經(jīng)濟管理方面的應(yīng)用 199
16.3 研究現(xiàn)狀 200
16.3.1 理論方面 200
16.3.2 算法方面 201
16.4 前景展望 203
16.4.1 樂觀雙層優(yōu)化 204
16.4.2 悲觀與部分合作雙層優(yōu)化 204
16.4.3 多目標(biāo)雙層優(yōu)化 204
16.4.4 混合整數(shù)雙層優(yōu)化 204
16.4.5 不確定信息下的雙層優(yōu)化 204
16.4.6 雙層納什均衡問題 205
16.4.7 雙層集值優(yōu)化問題 205
16.4.8 MPEC 及其相關(guān)課題 205
參考文獻 205
第17章 經(jīng)典隨機優(yōu)化方法 208
17.1 歷史進展 208
17.2 典型隨機優(yōu)化方法 211
17.2.1 經(jīng)典模型 211
17.2.2 兩類方法 212
17.3 目前的研究熱點及其思考 214
參考文獻 215
第18章 梯度法 217
18.1 光滑梯度法 217
18.1.1 單調(diào)梯度法 217
18.1.2 非單調(diào)梯度法 219
18.2 確定型梯度法 221
18.2.1 由問題的顯式結(jié)構(gòu)驅(qū)動的梯度型方法設(shè)計 221
18.2.2 由問題的隱式結(jié)構(gòu)驅(qū)動的梯度型方法分析 223
18.3 隨機梯度法 224
18.3.1 自適應(yīng)學(xué)習(xí)率的隨機梯度型方法 225
18.3.2 梯度方差縮減的隨機梯度型方法 225
18.3.3 高階隨機梯度型方法 226
18.4 問題與挑戰(zhàn) 227
參考文獻 227
第19章 算子分裂法與交替方向法 231
19.1 概述 231
19.2 Forward-Backward 分裂算法 232
19.3 Douglas-Rachford 分裂算法 233
19.4 研究熱點 235
參考文獻 238
第20章 分布式優(yōu)化 241
20.1 研究背景 241
20.2 主要研究內(nèi)容 243
20.2.1 代數(shù)層面的并行化 244
20.2.2 模型層面的并行化 245
20.3 前沿方向 247
20.3.1 ADMM 方法的改進 247
20.3.2 PBCD 方法的改進 247
20.3.3 PSC 方法的改進 248
20.3.4 異步計算 248
20.3.5 困難問題的分布式/并行求解 248
20.4 發(fā)展趨勢 249
20.4.1 結(jié)合具體的熱點問題 249
20.4.2 結(jié)合不同的并行硬件 249
20.4.3 分布式優(yōu)化平臺開發(fā) 249
20.4.4 與新興科技的結(jié)合 250
20.5 本章小結(jié) 250
參考文獻 251
第21章 人工智能優(yōu)化 254
21.1 概述 254
21.2 人工智能中的優(yōu)化方法的歷史與現(xiàn)狀 256
21.2.1 數(shù)據(jù)再表達中的優(yōu)化方法 256
21.2.2 判別學(xué)習(xí)中的優(yōu)化方法 258
21.2.3 強化學(xué)習(xí)的*優(yōu)化理論與算法 259
21.2.4 機器學(xué)習(xí)中的一般優(yōu)化模型與算法 260
21.3 前景展望 264
21.3.1 樣本數(shù)據(jù)的生成和選擇理論 264
21.3.2 數(shù)據(jù)再表達中的優(yōu)化模型、求解及理論研究 265
21.3.3 機器學(xué)習(xí)中的一