深度學(xué)習(xí)原理與PyTorch實(shí)戰(zhàn)（第2版）

推薦序
前言
作者簡(jiǎn)介
第 1章 深度學(xué)習(xí)簡(jiǎn)介 1
1．1 深度學(xué)習(xí)與人工智能 1
1．2 深度學(xué)習(xí)的歷史淵源 2
1．2．1 從感知機(jī)到人工神經(jīng)網(wǎng)絡(luò) 3
1．2．2 深度學(xué)習(xí)時(shí)代 4
1．2．3 巨頭之間的角逐 5
1．3 深度學(xué)習(xí)的影響因素 6
1．3．1 大數(shù)據(jù) 6
1．3．2 深度網(wǎng)絡(luò)架構(gòu) 7
1．3．3 GPU 11
1．4 深度學(xué)習(xí)為什么如此成功 11
1．4．1 特征學(xué)習(xí) 11
1．4．2 遷移學(xué)習(xí) 12
1．5 小結(jié) 13
1．6 參考文獻(xiàn) 14
第 2章 PyTorch簡(jiǎn)介 15
2．1 PyTorch安裝 15
2．2 初識(shí)PyTorch 15
2．2．1 與Python完美融合 16
2．2．2 張量計(jì)算 16
2．2．3 動(dòng)態(tài)計(jì)算圖 20
2．3 PyTorch實(shí)例：預(yù)測(cè)房?jī)r(jià) 27
2．3．1 準(zhǔn)備數(shù)據(jù) 27
2．3．2 設(shè)計(jì)模型 28
2．3．3 訓(xùn)練 29
2．3．4 預(yù)測(cè) 31
2．3．5 術(shù)語(yǔ)匯總 32
2．4 小結(jié) 33
第3章 單車(chē)預(yù)測(cè)器——你的第 一個(gè)神經(jīng)網(wǎng)絡(luò) 35
3．1 共享單車(chē)的煩惱 35
3．2 單車(chē)預(yù)測(cè)器1．0 37
3．2．1 人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介 37
3．2．2 人工神經(jīng)元 38
3．2．3 兩個(gè)隱含神經(jīng)元 40
3．2．4 訓(xùn)練與運(yùn)行 42
3．2．5 失敗的神經(jīng)預(yù)測(cè)器 42
3．2．6 過(guò)擬合 48
3．3 單車(chē)預(yù)測(cè)器2．0 49
3．3．1 數(shù)據(jù)的預(yù)處理過(guò)程 49
3．3．2 構(gòu)建神經(jīng)網(wǎng)絡(luò) 52
3．3．3 測(cè)試神經(jīng)網(wǎng)絡(luò) 55
3．4 剖析神經(jīng)網(wǎng)絡(luò)Neu 57
3．5 小結(jié) 61
3．6 Q&A 61
第4章 機(jī)器也懂感情——中文情緒分類(lèi)器 63
4．1 神經(jīng)網(wǎng)絡(luò)分類(lèi)器 64
4．1．1 如何用神經(jīng)網(wǎng)絡(luò)做分類(lèi) 64
4．1．2 分類(lèi)問(wèn)題的損失函數(shù) 66
4．2 詞袋模型分類(lèi)器 67
4．2．1 詞袋模型簡(jiǎn)介 68
4．2．2 搭建簡(jiǎn)單文本分類(lèi)器 69
4．3 程序?qū)崿F(xiàn) 70
4．3．1 數(shù)據(jù)處理 71
4．3．2 文本數(shù)據(jù)向量化 73
4．3．3 劃分?jǐn)?shù)據(jù)集 74
4．3．4 建立神經(jīng)網(wǎng)絡(luò) 75
4．4 運(yùn)行結(jié)果 78
4．5 剖析神經(jīng)網(wǎng)絡(luò) 79
4．6 小結(jié) 83
4．7 Q&A 83
第5章 手寫(xiě)數(shù)字識(shí)別器——認(rèn)識(shí)卷積神經(jīng)網(wǎng)絡(luò) 84
5．1 什么是卷積神經(jīng)網(wǎng)絡(luò) 85
5．1．1 手寫(xiě)數(shù)字識(shí)別任務(wù)的卷積神經(jīng)網(wǎng)絡(luò)及運(yùn)算過(guò)程 86
5．1．2 卷積運(yùn)算 87
5．1．3 池化運(yùn)算 93
5．1．4 立體卷積核 94
5．1．5 超參數(shù)與參數(shù) 95
5．1．6 其他說(shuō)明 96
5．2 手寫(xiě)數(shù)字識(shí)別器 97
5．2．1 數(shù)據(jù)準(zhǔn)備 97
5．2．2 構(gòu)建網(wǎng)絡(luò) 100
5．2．3 運(yùn)行模型 102
5．2．4 測(cè)試模型 104
5．3 剖析卷積神經(jīng)網(wǎng)絡(luò) 105
5．3．1 第 一層卷積核與特征圖 105
5．3．2 第二層卷積核與特征圖 106
5．3．3 卷積神經(jīng)網(wǎng)絡(luò)的健壯性實(shí)驗(yàn) 107
5．4 小結(jié) 109
5．5 Q&A 109
5．6 擴(kuò)展閱讀 109
第6章 手寫(xiě)數(shù)字加法機(jī)——遷移學(xué)習(xí) 110
6．1 什么是遷移學(xué)習(xí) 111
6．1．1 遷移學(xué)習(xí)的由來(lái) 111
6．1．2 遷移學(xué)習(xí)的分類(lèi) 112
6．1．3 遷移學(xué)習(xí)的意義 112
6．1．4 如何用神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)遷移學(xué)習(xí) 113
6．2 應(yīng)用案例：遷移學(xué)習(xí)如何抗擊貧困 115
6．2．1 背景介紹 115
6．2．2 方法探尋 116
6．2．3 遷移學(xué)習(xí)方法 116
6．3 螞蟻還是蜜蜂：遷移大型卷積神經(jīng)網(wǎng)絡(luò) 117
6．3．1 任務(wù)描述與初步嘗試 118
6．3．2 ResNet與模型遷移 119
6．3．3 代碼實(shí)現(xiàn) 120
6．3．4 結(jié)果分析 123
6．3．5 更多的模型與數(shù)據(jù) 125
6．4 手寫(xiě)數(shù)字加法機(jī) 125
6．4．1 網(wǎng)絡(luò)架構(gòu) 125
6．4．2 代碼實(shí)現(xiàn) 126
6．4．3 訓(xùn)練與測(cè)試 133
6．4．4 結(jié)果 135
6．4．5 大規(guī)模實(shí)驗(yàn) 135
6．5 小結(jié) 140
6．6 實(shí)踐項(xiàng)目：遷移與效率 140
第7章 你自己的Prisma——圖像風(fēng)格遷移 142
7．1 什么是風(fēng)格遷移 142
7．1．1 什么是風(fēng)格 142
7．1．2 風(fēng)格遷移的含義 143
7．2 風(fēng)格遷移技術(shù)發(fā)展簡(jiǎn)史 144
7．3 神經(jīng)網(wǎng)絡(luò)風(fēng)格遷移 146
7．3．1 神經(jīng)網(wǎng)絡(luò)風(fēng)格遷移的優(yōu)勢(shì) 146
7．3．2 神經(jīng)網(wǎng)絡(luò)風(fēng)格遷移的基本思想 147
7．3．3 卷積神經(jīng)網(wǎng)絡(luò)的選取 148
7．3．4 內(nèi)容損失 149
7．3．5 風(fēng)格損失 149
7．3．6 風(fēng)格損失原理分析 150
7．3．7 損失函數(shù)與優(yōu)化 153
7．4 神經(jīng)網(wǎng)絡(luò)風(fēng)格遷移實(shí)戰(zhàn) 153
7．4．1 準(zhǔn)備工作 153
7．4．2 建立風(fēng)格遷移網(wǎng)絡(luò) 155
7．4．3 風(fēng)格遷移訓(xùn)練 158
7．5 小結(jié) 161
7．6 擴(kuò)展閱讀 161
第8章 人工智能造假術(shù)——圖像生成與對(duì)抗學(xué)習(xí) 162
8．1 反卷積與圖像生成 165
8．1．1 卷積神經(jīng)網(wǎng)絡(luò)回顧 165
8．1．2 反卷積運(yùn)算 167
8．1．3 反池化過(guò)程 169
8．1．4 反卷積與分?jǐn)?shù)步伐 170
8．1．5 輸出圖像尺寸公式 171
8．1．6 批正則化技術(shù) 172
8．2 圖像生成實(shí)驗(yàn)1——最小均方誤差模型 173
8．2．1 模型思路 173
8．2．2 代碼實(shí)現(xiàn) 174
8．2．3 運(yùn)行結(jié)果 178
8．3 圖像生成實(shí)驗(yàn)2——生成器—識(shí)別器模型 180
8．3．1 生成器—識(shí)別器模型的實(shí)現(xiàn) 180
8．3．2 對(duì)抗樣本 183
8．4 圖像生成實(shí)驗(yàn)3——GAN 186
8．4．1 GAN的總體架構(gòu) 187
8．4．2 程序?qū)崿F(xiàn) 188
8．4．3 結(jié)果展示 191
8．5 小結(jié) 193
8．6 Q&A 193
8．7 擴(kuò)展閱讀 194
第9章 詞匯的星空——神經(jīng)語(yǔ)言模型與Word2Vec 195
9．1 詞向量技術(shù)介紹 195
9．1．1 初識(shí)詞向量 195
9．1．2 傳統(tǒng)編碼方式 196
9．2 NPLM：神經(jīng)概率語(yǔ)言模型 197
9．2．1 NPLM的基本思想 198
9．2．2 NPLM的運(yùn)作過(guò)程詳解 198
9．2．3 讀取NPLM中的詞向量 201
9．2．4 NPLM的編碼實(shí)現(xiàn) 202
9．2．5 運(yùn)行結(jié)果 205
9．2．6 NPLM的總結(jié)與局限 207
9．3 Word2Vec 207
9．3．1 CBOW模型和Skip-gram模型的結(jié)構(gòu) 207
9．3．2 層次歸一化指數(shù)函數(shù) 208
9．3．3 負(fù)采樣 209
9．3．4 總結(jié)及分析 210
9．4 Word2Vec的應(yīng)用 210
9．4．1 在自己的語(yǔ)料庫(kù)上訓(xùn)練Word2Vec詞向量 210
9．4．2 調(diào)用現(xiàn)成的詞向量 212
9．4．3 女人 男人＝皇后 國(guó)王 214
9．4．4 使用向量的空間位置進(jìn)行詞對(duì)詞翻譯 216
9．4．5 Word2Vec小結(jié) 217
9．5 小結(jié) 217
9．6 Q&A 218
第 10章 深度網(wǎng)絡(luò) LSTM作曲機(jī)——序列生成模型 220
10．1 序列生成問(wèn)題 220
10．2 RNN與LSTM 221
10．2．1 RNN 221
10．2．2 LSTM 227
10．3 簡(jiǎn)單01序列的學(xué)習(xí)問(wèn)題 231
10．3．1 RNN的序列學(xué)習(xí) 232
10．3．2 LSTM的序列學(xué)習(xí) 241
10．4 LSTM作曲機(jī) 244
10．4．1 MIDI文件 244
10．4．2 數(shù)據(jù)準(zhǔn)備 245
10．4．3 模型結(jié)構(gòu) 245
10．4．4 代碼實(shí)現(xiàn) 246
10．5 小結(jié) 254
10．6 Q&A 255
10．7 擴(kuò)展閱讀 255
第 11章 神經(jīng)機(jī)器翻譯機(jī)——端到端機(jī)器翻譯 256
11．1 機(jī)器翻譯簡(jiǎn)介 257
11．1．1 基于規(guī)則的機(jī)器翻譯技術(shù) 257
11．1．2 統(tǒng)計(jì)機(jī)器翻譯 258
11．1．3 神經(jīng)機(jī)器翻譯 258
11．1．4 關(guān)于Zero-shot翻譯 259
11．2 編碼—解碼模型 259
11．2．1 編碼—解碼模型總體架構(gòu) 260
11．2．2 編碼器 260
11．2．3 解碼器 263
11．2．4 損失函數(shù) 267
11．2．5 編碼—解碼模型歸納 269
11．2．6 編碼—解碼模型的效果 269
11．3 注意力機(jī)制 270
11．3．1 神經(jīng)機(jī)器翻譯中的注意力 271
11．3．2 注意力網(wǎng)絡(luò) 271
11．4 更多改進(jìn) 275
11．4．1 GRU的結(jié)構(gòu) 275
11．4．2 雙向GRU的應(yīng)用 275
11．5 神經(jīng)機(jī)器翻譯機(jī)的編碼實(shí)現(xiàn) 276
11．5．1 神經(jīng)網(wǎng)絡(luò)的構(gòu)建 280
11．5．2 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練 283
11．5．3 測(cè)試神經(jīng)機(jī)器翻譯機(jī) 286
11．5．4 結(jié)果展示 287
11．6 更多改進(jìn) 291
11．6．1 集束搜索算法 291
11．6．2 BLEU：對(duì)翻譯結(jié)果的評(píng)估方法 293
11．6．3 對(duì)編碼—解碼模型的改進(jìn) 294
11．7 廣義的翻譯 295
11．7．1 廣義翻譯機(jī) 295
11．7．2 廣義翻譯的應(yīng)用場(chǎng)景 295
11．8 Q&A 297
第 12章 更強(qiáng)的機(jī)器翻譯模型——Transformer 299
12．1 Transformer概述 299
12．1．1 編碼—解碼模型回顧 300
12．1．2 Transformer全景概覽 300
12．1．3 神奇的自注意力 301
12．2 Atoken旅行記 304
12．2．1 奇怪的序號(hào)牌 304
12．2．2 分身之門(mén) 305
12．2．3 新朋友 306
12．3 Transformer部件詳解 306
12．3．1 詞嵌入與位置嵌入 306
12．3．2 自注意力模塊計(jì)算詳解 307
12．3．3 自注意力層的矩陣計(jì)算 309
12．3．4 殘差連接與層歸一化 310
12．3．5 逐點(diǎn)計(jì)算的前向網(wǎng)絡(luò)層 311
12．3．6 解碼器中的自注意力 311
12．3．7 解碼器的輸出層 312
12．4 動(dòng)手訓(xùn)練一個(gè)Transformer翻譯模型 313
12．4．1 翻譯模型中輸入單位的粒度 313
12．4．2 模型定義 313
12．4．3 模型訓(xùn)練 318
12．4．4 Transformer相關(guān)開(kāi)源庫(kù) 319
12．5 小結(jié) 319
第 13章 學(xué)習(xí)跨任務(wù)的語(yǔ)言知識(shí)——預(yù)訓(xùn)練語(yǔ)言模型 320
13．1 語(yǔ)言模型簡(jiǎn)要回顧 320
13．2 預(yù)訓(xùn)練Transformer詳解 322
13．2．1 深入了解GPT 323
13．2．2 深入了解BERT 324
13．2．3 模型微調(diào) 326
13．2．4 模型表現(xiàn) 327
13．3 單句分類(lèi)：BERT句子分類(lèi)實(shí)戰(zhàn) 328
13．4 后BERT時(shí)代 334
13．5 小結(jié) 334
第 14章 人體姿態(tài)識(shí)別——圖網(wǎng)絡(luò)模型 335
14．1 圖網(wǎng)絡(luò)及圖論基礎(chǔ) 335
14．1．1 圖的基本概念 335
14．1．2 什么是圖網(wǎng)絡(luò) 337
14．1．3 圖網(wǎng)絡(luò)的基本任務(wù)和應(yīng)用場(chǎng)景 338
14．2 圖卷積網(wǎng)絡(luò) 338
14．2．1 GCN的工作原理 338
14．2．2 打開(kāi)GCN的黑箱 340
14．2．3 從社團(tuán)劃分任務(wù)來(lái)理解GCN 341
14．3 實(shí)戰(zhàn)：使用GCN識(shí)別人體姿態(tài) 344
14．3．1 數(shù)據(jù)來(lái)源與預(yù)處理 345
14．3．2 代碼實(shí)現(xiàn) 346
14．4 小結(jié) 350
第 15章 AI游戲高手——深度強(qiáng)化學(xué)習(xí) 351
15．1 強(qiáng)化學(xué)習(xí)簡(jiǎn)介 352
15．1．1 強(qiáng)化學(xué)習(xí)的要素 352
15．1．2 強(qiáng)化學(xué)習(xí)的應(yīng)用場(chǎng)景 353
15．1．3 強(qiáng)化學(xué)習(xí)的分類(lèi) 354
15．2 深度Q學(xué)習(xí)算法 355
15．2．1 Q學(xué)習(xí)算法 356
15．2．2 DQN算法 357
15．2．3 DQN在雅達(dá)利游戲上的表現(xiàn) 359
15．3 DQN玩Flappy Bird的PyTorch實(shí)現(xiàn) 361
15．3．1 Flappy Bird的PyGame實(shí)現(xiàn) 361
15．3．2 DQN的PyTorch實(shí)現(xiàn) 368
15．4 小結(jié) 377
15．5 通用人工智能還有多遠(yuǎn) 378
15．6 Q&A 379
15．7 擴(kuò)展閱讀 380