數(shù)學(xué)優(yōu)化

目錄
總序
前言
第1章 引言 1
參考文獻(xiàn) 6
第2章 線性規(guī)劃 7
2.1 線性規(guī)劃問(wèn)題背景 7
2.2 線性規(guī)劃數(shù)學(xué)模型 9
2.3 線性規(guī)劃求解方法 10
2.3.1 單純形法 10
2.3.2 內(nèi)點(diǎn)算法 11
2.4 線性規(guī)劃的發(fā)展方向 12
2.5 線性錐優(yōu)化 16
2.6 線性錐優(yōu)化對(duì)偶理論 17
2.7 線性錐優(yōu)化的求解方法 18
2.7.1 內(nèi)點(diǎn)算法 18
2.7.2 其他方法 19
2.8 線性錐優(yōu)化發(fā)展方向 19
參考文獻(xiàn) 22
第3章 非線性優(yōu)化 25
3.1 概述 25
3.2 無(wú)約束優(yōu)化 25
3.2.1 共軛梯度法 26
3.2.2 擬牛頓法 26
3.2.3 信賴域方法 27
3.3 約束優(yōu)化 29
3.3.1 KKT 定理和對(duì)偶理論 29
3.3.2 乘子法 29
3.3.3 逐步二次規(guī)劃方法 30
3.3.4 內(nèi)點(diǎn)算法 31
3.4 總結(jié)與展望 32
參考文獻(xiàn) 33
第4章 整數(shù)規(guī)劃 37
4.1 線性整數(shù)規(guī)劃 37
4.2 非線性整數(shù)規(guī)劃 40
4.3 非線性整數(shù)規(guī)劃算法 42
4.4 整數(shù)規(guī)劃展望 46
參考文獻(xiàn) 46
第5章 組合優(yōu)化、復(fù)雜性與近似算法 48
5.1 概述 48
5.2 關(guān)鍵科學(xué)問(wèn)題與研究發(fā)展趨勢(shì) 50
5.2.1 裝箱問(wèn)題 50
5.2.2 旅行商問(wèn)題 51
5.2.3 斯坦納樹問(wèn)題 53
5.2.4 設(shè)施選址問(wèn)題 54
5.2.5 k-平均問(wèn)題 55
5.2.6 次模*大化問(wèn)題 57
5.2.7 圖劃分問(wèn)題 59
5.2.8 計(jì)算復(fù)雜性 60
5.3 重要理論、方法的應(yīng)用及展望 61
參考文獻(xiàn) 68
第6章 全局優(yōu)化 73
6.1 概述 73
6.2 歷史與現(xiàn)狀 73
6.3 前景展望 75
6.3.1 全局*優(yōu)性基礎(chǔ)理論研究 76
6.3.2 全局優(yōu)化算法研究 76
6.3.3 應(yīng)用問(wèn)題驅(qū)動(dòng)的全局優(yōu)化算法研究 80
參考文獻(xiàn) 81
第7章 無(wú)導(dǎo)數(shù)優(yōu)化 84
7.1 概述 84
7.2 無(wú)導(dǎo)數(shù)優(yōu)化的源流與發(fā)展 84
7.2.1 直接搜索方法 85
7.2.2 基于模型的方法 86
7.3 無(wú)導(dǎo)數(shù)優(yōu)化的發(fā)展方向與挑戰(zhàn) 87
7.3.1 針對(duì)噪聲問(wèn)題的算法和理論 87
7.3.2 針對(duì)大規(guī)模問(wèn)題的算法 87
7.3.3 無(wú)導(dǎo)數(shù)優(yōu)化在數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)領(lǐng)域的應(yīng)用 89
7.3.4 實(shí)用軟件開發(fā)與實(shí)際問(wèn)題求解 89
參考文獻(xiàn) 89
第8章 非光滑優(yōu)化和擾動(dòng)分析 93
8.1 非光滑優(yōu)化 93
8.1.1 非光滑分析的綜述 93
8.1.2 非光滑優(yōu)化算法的綜述 96
8.1.3 目前的研究熱點(diǎn)和思考 98
8.2 擾動(dòng)分析 99
8.2.1 概述 99
8.2.2 目前的研究熱點(diǎn)和思考 101
參考文獻(xiàn) 102
第9章 變分不等式與互補(bǔ)問(wèn)題 105
9.1 概述 105
9.2 發(fā)展與現(xiàn)狀 106
9.3 展望與挑戰(zhàn) 111
參考文獻(xiàn) 113
第10章 魯棒優(yōu)化 115
10.1 概述 115
10.2 研究歷史 115
10.3 研究現(xiàn)狀及發(fā)展趨勢(shì) 116
10.3.1 魯棒優(yōu)化的基礎(chǔ)模型 117
10.3.2 概率約束條件及目標(biāo) 117
10.3.3 概率分布本身的不確定性 118
10.3.4 直接從數(shù)據(jù)出發(fā)的魯棒決策模型 118
10.3.5 魯棒優(yōu)化在其他領(lǐng)域的應(yīng)用 119
10.4 求解器的開發(fā)及應(yīng)用 119
參考文獻(xiàn) 120
第11章 向量?jī)?yōu)化 123
11.1 簡(jiǎn)介 123
11.2 概述 124
11.3 研究現(xiàn)狀與未來(lái)研究方向 125
11.3.1 向量?jī)?yōu)化問(wèn)題的解定義及其性質(zhì)研究 125
11.3.2 向量?jī)?yōu)化問(wèn)題的標(biāo)量化方法 127
11.3.3 向量變分不等式及向量均衡問(wèn)題研究 128
11.3.4 向量?jī)?yōu)化問(wèn)題的算法研究 129
11.3.5 隨機(jī)與不確定多目標(biāo)優(yōu)化問(wèn)題研究 130
11.3.6 非線性標(biāo)量化函數(shù)與機(jī)器學(xué)習(xí)研究 131
參考文獻(xiàn) 132
第12章 多項(xiàng)式優(yōu)化 134
12.1 概述 134
12.2 多項(xiàng)式優(yōu)化理論 135
12.3 多項(xiàng)式優(yōu)化算法 137
12.4 發(fā)展趨勢(shì)和展望 140
12.4.1 多項(xiàng)式優(yōu)化中的凸性 140
12.4.2 Lasserre 層級(jí) SOS 松弛方法的分析 140
12.4.3 多項(xiàng)式優(yōu)化近似算法設(shè)計(jì)與分析 140
12.4.4 大規(guī)模多項(xiàng)式優(yōu)化數(shù)值算法 141
12.4.5 分式多項(xiàng)式優(yōu)化 141
12.4.6 基于二階錐松弛的松弛層級(jí) 141
參考文獻(xiàn) 141
第13章 張量?jī)?yōu)化 144
13.1 概述 144
13.2 發(fā)展與現(xiàn)狀 145
13.3 展望與挑戰(zhàn) 149
參考文獻(xiàn) 151
第14章 矩陣優(yōu)化 154
14.1 矩陣優(yōu)化概述 155
14.1.1 國(guó)內(nèi)外研究發(fā)展現(xiàn)狀 155
14.1.2 發(fā)展趨勢(shì)和展望 159
14.2 低秩稀疏矩陣優(yōu)化問(wèn)題 160
14.2.1 國(guó)內(nèi)外研究發(fā)展現(xiàn)狀 161
14.2.2 關(guān)鍵問(wèn)題和挑戰(zhàn) 167
14.2.3 未來(lái)發(fā)展建議 169
參考文獻(xiàn) 171
第15章 流形約束優(yōu)化 176
15.1 流形約束優(yōu)化簡(jiǎn)介 176
15.2 流形約束優(yōu)化應(yīng)用 177
15.2.1 球約束模型 177
15.2.2 線性特征值計(jì)算 178
15.2.3 非線性特征值計(jì)算 179
15.2.4 低秩矩陣優(yōu)化 180
15.2.5 在整數(shù)規(guī)劃中的應(yīng)用 181
15.2.6 冷凍電鏡 181
15.2.7 在深度學(xué)習(xí)中的應(yīng)用 181
15.3 流形約束優(yōu)化算法 182
15.4 流形約束優(yōu)化分析 184
15.4.1 測(cè)地凸優(yōu)化 184
15.4.2 自洽場(chǎng)迭代的收斂性 185
15.4.3 正交約束優(yōu)化的全局*優(yōu)解 185
15.4.4 *大割問(wèn)題 185
15.4.5 正交約束的小 Grothendieck 問(wèn)題 186
15.5 關(guān)鍵問(wèn)題和挑戰(zhàn) 186
15.5.1 基礎(chǔ)理論性質(zhì) 186
15.5.2 流形約束的有效表達(dá) 186
15.5.3 非標(biāo)準(zhǔn)流形約束問(wèn)題的處理 187
15.5.4 計(jì)算驅(qū)動(dòng)的模型和算法 187
15.5.5 優(yōu)化算法的微分方程形式 187
15.6 未來(lái)發(fā)展建議 188
15.6.1 特殊結(jié)構(gòu)的模型和算法 188
15.6.2 重點(diǎn)問(wèn)題/重點(diǎn)應(yīng)用的研究 188
15.6.3 隨機(jī)算法和隨機(jī)分析 188
15.6.4 流形學(xué)習(xí) 189
15.6.5 軟件包的發(fā)展 189
參考文獻(xiàn) 190
第16章 雙層優(yōu)化 195
16.1 概述 195
16.2 應(yīng)用背景 196
16.2.1 電力市場(chǎng)里的應(yīng)用 196
16.2.2 城市道路交通中的應(yīng)用 197
16.2.3 經(jīng)濟(jì)管理方面的應(yīng)用 199
16.3 研究現(xiàn)狀 200
16.3.1 理論方面 200
16.3.2 算法方面 201
16.4 前景展望 203
16.4.1 樂(lè)觀雙層優(yōu)化 204
16.4.2 悲觀與部分合作雙層優(yōu)化 204
16.4.3 多目標(biāo)雙層優(yōu)化 204
16.4.4 混合整數(shù)雙層優(yōu)化 204
16.4.5 不確定信息下的雙層優(yōu)化 204
16.4.6 雙層納什均衡問(wèn)題 205
16.4.7 雙層集值優(yōu)化問(wèn)題 205
16.4.8 MPEC 及其相關(guān)課題 205
參考文獻(xiàn) 205
第17章 經(jīng)典隨機(jī)優(yōu)化方法 208
17.1 歷史進(jìn)展 208
17.2 典型隨機(jī)優(yōu)化方法 211
17.2.1 經(jīng)典模型 211
17.2.2 兩類方法 212
17.3 目前的研究熱點(diǎn)及其思考 214
參考文獻(xiàn) 215
第18章 梯度法 217
18.1 光滑梯度法 217
18.1.1 單調(diào)梯度法 217
18.1.2 非單調(diào)梯度法 219
18.2 確定型梯度法 221
18.2.1 由問(wèn)題的顯式結(jié)構(gòu)驅(qū)動(dòng)的梯度型方法設(shè)計(jì) 221
18.2.2 由問(wèn)題的隱式結(jié)構(gòu)驅(qū)動(dòng)的梯度型方法分析 223
18.3 隨機(jī)梯度法 224
18.3.1 自適應(yīng)學(xué)習(xí)率的隨機(jī)梯度型方法 225
18.3.2 梯度方差縮減的隨機(jī)梯度型方法 225
18.3.3 高階隨機(jī)梯度型方法 226
18.4 問(wèn)題與挑戰(zhàn) 227
參考文獻(xiàn) 227
第19章 算子分裂法與交替方向法 231
19.1 概述 231
19.2 Forward-Backward 分裂算法 232
19.3 Douglas-Rachford 分裂算法 233
19.4 研究熱點(diǎn) 235
參考文獻(xiàn) 238
第20章 分布式優(yōu)化 241
20.1 研究背景 241
20.2 主要研究?jī)?nèi)容 243
20.2.1 代數(shù)層面的并行化 244
20.2.2 模型層面的并行化 245
20.3 前沿方向 247
20.3.1 ADMM 方法的改進(jìn) 247
20.3.2 PBCD 方法的改進(jìn) 247
20.3.3 PSC 方法的改進(jìn) 248
20.3.4 異步計(jì)算 248
20.3.5 困難問(wèn)題的分布式/并行求解 248
20.4 發(fā)展趨勢(shì) 249
20.4.1 結(jié)合具體的熱點(diǎn)問(wèn)題 249
20.4.2 結(jié)合不同的并行硬件 249
20.4.3 分布式優(yōu)化平臺(tái)開發(fā) 249
20.4.4 與新興科技的結(jié)合 250
20.5 本章小結(jié) 250
參考文獻(xiàn) 251
第21章 人工智能優(yōu)化 254
21.1 概述 254
21.2 人工智能中的優(yōu)化方法的歷史與現(xiàn)狀 256
21.2.1 數(shù)據(jù)再表達(dá)中的優(yōu)化方法 256
21.2.2 判別學(xué)習(xí)中的優(yōu)化方法 258
21.2.3 強(qiáng)化學(xué)習(xí)的*優(yōu)化理論與算法 259
21.2.4 機(jī)器學(xué)習(xí)中的一般優(yōu)化模型與算法 260
21.3 前景展望 264
21.3.1 樣本數(shù)據(jù)的生成和選擇理論 264
21.3.2 數(shù)據(jù)再表達(dá)中的優(yōu)化模型、求解及理論研究 265
21.3.3 機(jī)器學(xué)習(xí)中的一