機器學(xué)習(xí)中的加速一階優(yōu)化算法

定　價：￥109.00

作　者：	林宙辰，李歡，方聰著
出版社：	機械工業(yè)出版社
叢編項：	智源人工智能叢書
標　簽：	暫缺

購買這本書可以去

ISBN：	9787111685005	出版時間：	2021-07-01	包裝：	平裝
開本：	16開	頁數(shù)：	264	字數(shù)：

內(nèi)容簡介

　　機器學(xué)習(xí)是關(guān)于從數(shù)據(jù)中建立預(yù)測或描述模型，以提升機器解決問題能力的學(xué)科。在建立模型后，需要采用適當?shù)膬?yōu)化算法來求解模型的參數(shù)，因此優(yōu)化算法是機器學(xué)習(xí)的重要組成部分。但是傳統(tǒng)的優(yōu)化算法并不完全適用于機器學(xué)習(xí)，因為通常來說機器學(xué)習(xí)模型的參數(shù)維度很高或涉及的樣本數(shù)巨大，這使得一階優(yōu)化算法在機器學(xué)習(xí)中占據(jù)主流地位。本書概述了機器學(xué)習(xí)中加速一階優(yōu)化算法的新進展。書中全面介紹了各種情形下的加速一階優(yōu)化算法，包括確定性和隨機性的算法、同步和異步的算法，以求解帶約束的問題和無約束的問題、凸問題和非凸問題，對算法思想進行了深入的解讀，并對其收斂速度提供了詳細的證明。本書面向機器學(xué)習(xí)和優(yōu)化領(lǐng)域的研究人員，包括人工智能、信號處理及應(yīng)用數(shù)學(xué)特別是計算數(shù)學(xué)專業(yè)高年級本科生、研究生，以及從事人工智能、信號處理領(lǐng)域產(chǎn)品研發(fā)的工程師。

作者簡介

　　林宙辰機器學(xué)習(xí)和計算機視覺領(lǐng)域的國際知名專家，目前是北京大學(xué)信息科學(xué)技術(shù)學(xué)院機器感知與智能教育部重點實驗室教授。他曾多次擔任多個業(yè)內(nèi)頂級會議的領(lǐng)域主席，包括CVPR、ICCV、ICML、NIPS/NeurIPS、AAAI、 IJCAI和ICLR。他曾任IEEE Transactions on Pattern Analysis and Machine Intelligence編委，現(xiàn)任International Journal of Computer Vision和Optimization Methods and Software的編委。他是IAPR和IEEE的會士。李歡于2019 年在北京大學(xué)獲得博士學(xué)位，專業(yè)為機器學(xué)習(xí)。目前是南開大學(xué)人工智能學(xué)院助理研究員，研究興趣包括優(yōu)化和機器學(xué)習(xí)。方聰于2019 年在北京大學(xué)獲得博士學(xué)位，專業(yè)為機器學(xué)習(xí)。目前是北京大學(xué)助理教授，研究興趣包括機器學(xué)習(xí)和優(yōu)化。

圖書目錄

推薦序一
推薦序二
推薦序三
中文版前言
英文版前言
致謝
作者介紹
符號表
第 1 章緒論 1
11 機器學(xué)習(xí)中的優(yōu)化問題舉例 1
111 正則化的經(jīng)驗損失模型 1
112 矩陣填充及低秩學(xué)習(xí)模型 3
12 一階優(yōu)化算法 3
13 加速算法中的代表性工作綜述 4
14 關(guān)于本書 7
參考文獻 7
第 2 章無約束凸優(yōu)化中的加速算法 14
21 梯度下降法 14
22 重球法 15
23 加速梯度法 16
24 求解復(fù)合凸優(yōu)化問題的加速梯度法 23
241 第一種 Nesterov 加速鄰近梯度法 23
242 第二種 Nesterov 加速鄰近梯度法 27
243 第三種 Nesterov 加速鄰近梯度法 31
25 非精確加速鄰近梯度法 33
251 非精確加速梯度法 42
252 非精確加速鄰近點法 42
26 重啟策略 43
27 平滑策略 45
28 高階加速方法 50
29 從變分的角度解釋加速現(xiàn)象 55
參考文獻 60
第 3 章帶約束凸優(yōu)化中的加速算法 63
31 線性等式約束問題的一些有用結(jié)論 63
32 加速罰函數(shù)法 66
321 一般凸目標函數(shù) 71
322 強凸目標函數(shù) 71
33 加速拉格朗日乘子法 72
331 原始問題的解 74
332 加速增廣拉格朗日乘子法 76
34 交替方向乘子法及非遍歷意義下的加速算法 77
341 情形 1：一般凸和非光滑目標函數(shù) 82
342 情形 2：強凸非光滑目標函數(shù) 83
343 情形 3：一般凸和光滑目標函數(shù) 85
344 情形 4：強凸和光滑目標函數(shù) 87
345 非遍歷意義收斂速度 88
35 原始–對偶算法 98
351 情形 1：兩個函數(shù)均非強凸 100
352 情形 2：只有一個函數(shù)強凸 101
353 情形 3：兩個函數(shù)均強凸 103
36 Frank-Wolfe 算法 104
參考文獻 108
第 4 章非凸優(yōu)化中的加速梯度算法 112
41 帶沖量的鄰近梯度法 112
411 收斂性理論 113
412 單調(diào)加速鄰近梯度法 120
42 快速收斂到臨界點 120
421 能夠檢測強凸性質(zhì)的 AGD 121
422 負曲率下降算法 123
423 非凸加速算法 125
43 快速逃離鞍點 128
431 幾乎凸的情形 128
432 完全非凸情形 130
433 非凸加速梯度下降法 131
參考文獻 136
第 5 章加速隨機算法 138
51 各自凸情況 139
511 加速隨機坐標下降算法 140
512 方差縮減技巧基礎(chǔ)算法 147
513 加速隨機方差縮減方法 152
514 黑盒加速算法 158
52 各自非凸情況 160
53 非凸情況 166
531 隨機路徑積分差分估計子 167
532 沖量加速 173
54 帶約束問題 174
55 無窮情況 197
參考文獻 200
第 6 章加速并行算法