機(jī)器學(xué)習(xí)中的加速一階優(yōu)化算法

定　價(jià)：￥109.00

作　者：	林宙辰，李歡，方聰著
出版社：	機(jī)械工業(yè)出版社
叢編項(xiàng)：	智源人工智能叢書
標(biāo)　簽：	暫缺

購(gòu)買這本書可以去

ISBN：	9787111685005	出版時(shí)間：	2021-07-01	包裝：	平裝
開本：	16開	頁(yè)數(shù)：	264	字?jǐn)?shù)：

內(nèi)容簡(jiǎn)介

　　機(jī)器學(xué)習(xí)是關(guān)于從數(shù)據(jù)中建立預(yù)測(cè)或描述模型，以提升機(jī)器解決問(wèn)題能力的學(xué)科。在建立模型后，需要采用適當(dāng)?shù)膬?yōu)化算法來(lái)求解模型的參數(shù)，因此優(yōu)化算法是機(jī)器學(xué)習(xí)的重要組成部分。但是傳統(tǒng)的優(yōu)化算法并不完全適用于機(jī)器學(xué)習(xí)，因?yàn)橥ǔ?lái)說(shuō)機(jī)器學(xué)習(xí)模型的參數(shù)維度很高或涉及的樣本數(shù)巨大，這使得一階優(yōu)化算法在機(jī)器學(xué)習(xí)中占據(jù)主流地位。本書概述了機(jī)器學(xué)習(xí)中加速一階優(yōu)化算法的新進(jìn)展。書中全面介紹了各種情形下的加速一階優(yōu)化算法，包括確定性和隨機(jī)性的算法、同步和異步的算法，以求解帶約束的問(wèn)題和無(wú)約束的問(wèn)題、凸問(wèn)題和非凸問(wèn)題，對(duì)算法思想進(jìn)行了深入的解讀，并對(duì)其收斂速度提供了詳細(xì)的證明。本書面向機(jī)器學(xué)習(xí)和優(yōu)化領(lǐng)域的研究人員，包括人工智能、信號(hào)處理及應(yīng)用數(shù)學(xué)特別是計(jì)算數(shù)學(xué)專業(yè)高年級(jí)本科生、研究生，以及從事人工智能、信號(hào)處理領(lǐng)域產(chǎn)品研發(fā)的工程師。

作者簡(jiǎn)介

　　林宙辰機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺(jué)領(lǐng)域的國(guó)際知名專家，目前是北京大學(xué)信息科學(xué)技術(shù)學(xué)院機(jī)器感知與智能教育部重點(diǎn)實(shí)驗(yàn)室教授。他曾多次擔(dān)任多個(gè)業(yè)內(nèi)頂級(jí)會(huì)議的領(lǐng)域主席，包括CVPR、ICCV、ICML、NIPS/NeurIPS、AAAI、 IJCAI和ICLR。他曾任IEEE Transactions on Pattern Analysis and Machine Intelligence編委，現(xiàn)任International Journal of Computer Vision和Optimization Methods and Software的編委。他是IAPR和IEEE的會(huì)士。李歡于2019 年在北京大學(xué)獲得博士學(xué)位，專業(yè)為機(jī)器學(xué)習(xí)。目前是南開大學(xué)人工智能學(xué)院助理研究員，研究興趣包括優(yōu)化和機(jī)器學(xué)習(xí)。方聰于2019 年在北京大學(xué)獲得博士學(xué)位，專業(yè)為機(jī)器學(xué)習(xí)。目前是北京大學(xué)助理教授，研究興趣包括機(jī)器學(xué)習(xí)和優(yōu)化。

圖書目錄

推薦序一
推薦序二
推薦序三
中文版前言
英文版前言
致謝
作者介紹
符號(hào)表
第 1 章緒論 1
11 機(jī)器學(xué)習(xí)中的優(yōu)化問(wèn)題舉例 1
111 正則化的經(jīng)驗(yàn)損失模型 1
112 矩陣填充及低秩學(xué)習(xí)模型 3
12 一階優(yōu)化算法 3
13 加速算法中的代表性工作綜述 4
14 關(guān)于本書 7
參考文獻(xiàn) 7
第 2 章無(wú)約束凸優(yōu)化中的加速算法 14
21 梯度下降法 14
22 重球法 15
23 加速梯度法 16
24 求解復(fù)合凸優(yōu)化問(wèn)題的加速梯度法 23
241 第一種 Nesterov 加速鄰近梯度法 23
242 第二種 Nesterov 加速鄰近梯度法 27
243 第三種 Nesterov 加速鄰近梯度法 31
25 非精確加速鄰近梯度法 33
251 非精確加速梯度法 42
252 非精確加速鄰近點(diǎn)法 42
26 重啟策略 43
27 平滑策略 45
28 高階加速方法 50
29 從變分的角度解釋加速現(xiàn)象 55
參考文獻(xiàn) 60
第 3 章帶約束凸優(yōu)化中的加速算法 63
31 線性等式約束問(wèn)題的一些有用結(jié)論 63
32 加速罰函數(shù)法 66
321 一般凸目標(biāo)函數(shù) 71
322 強(qiáng)凸目標(biāo)函數(shù) 71
33 加速拉格朗日乘子法 72
331 原始問(wèn)題的解 74
332 加速增廣拉格朗日乘子法 76
34 交替方向乘子法及非遍歷意義下的加速算法 77
341 情形 1：一般凸和非光滑目標(biāo)函數(shù) 82
342 情形 2：強(qiáng)凸非光滑目標(biāo)函數(shù) 83
343 情形 3：一般凸和光滑目標(biāo)函數(shù) 85
344 情形 4：強(qiáng)凸和光滑目標(biāo)函數(shù) 87
345 非遍歷意義收斂速度 88
35 原始–對(duì)偶算法 98
351 情形 1：兩個(gè)函數(shù)均非強(qiáng)凸 100
352 情形 2：只有一個(gè)函數(shù)強(qiáng)凸 101
353 情形 3：兩個(gè)函數(shù)均強(qiáng)凸 103
36 Frank-Wolfe 算法 104
參考文獻(xiàn) 108
第 4 章非凸優(yōu)化中的加速梯度算法 112
41 帶沖量的鄰近梯度法 112
411 收斂性理論 113
412 單調(diào)加速鄰近梯度法 120
42 快速收斂到臨界點(diǎn) 120
421 能夠檢測(cè)強(qiáng)凸性質(zhì)的 AGD 121
422 負(fù)曲率下降算法 123
423 非凸加速算法 125
43 快速逃離鞍點(diǎn) 128
431 幾乎凸的情形 128
432 完全非凸情形 130
433 非凸加速梯度下降法 131
參考文獻(xiàn) 136
第 5 章加速隨機(jī)算法 138
51 各自凸情況 139
511 加速隨機(jī)坐標(biāo)下降算法 140
512 方差縮減技巧基礎(chǔ)算法 147
513 加速隨機(jī)方差縮減方法 152
514 黑盒加速算法 158
52 各自非凸情況 160
53 非凸情況 166
531 隨機(jī)路徑積分差分估計(jì)子 167
532 沖量加速 173
54 帶約束問(wèn)題 174
55 無(wú)窮情況 197
參考文獻(xiàn) 200
第 6 章加速并行算法