深度學(xué)習(xí)：從入門(mén)到實(shí)戰(zhàn)

第1篇深度學(xué)習(xí)入門(mén)篇
第0章引言：從人工智能到深度學(xué)習(xí) 2
01 人工智能與機(jī)器學(xué)習(xí) 2
011 人工智能 3
【知識(shí)擴(kuò)容】大數(shù)據(jù)帶來(lái)的挑戰(zhàn) 4
012 機(jī)器學(xué)習(xí) 4
【認(rèn)知提升】細(xì)說(shuō)圖靈測(cè)試 5
【新觀點(diǎn)】機(jī)器學(xué)習(xí)適合做什么 6
02 機(jī)器學(xué)習(xí)的模式 7
【知識(shí)擴(kuò)容】人工智能學(xué)派之爭(zhēng) 8
03 深度學(xué)習(xí) 9
【案例0-1】天氣預(yù)報(bào)深度神經(jīng)網(wǎng)絡(luò) 9
【認(rèn)知提升】說(shuō)文解字“深度學(xué)習(xí)” 11
【應(yīng)知應(yīng)會(huì)】深度與學(xué)習(xí) 12
【最佳實(shí)踐】減小損失函數(shù)的方法 12
04 溫故知新 13
05 停下來(lái)，思考一下 14
第1章深度學(xué)習(xí)入門(mén)基礎(chǔ) 16
11 數(shù)學(xué)基礎(chǔ) 16
111 矩陣論基礎(chǔ) 17
【案例1-1】像指揮官一樣對(duì)矩陣進(jìn)行“排兵布陣” 18
112 概率論基礎(chǔ)與重要結(jié)論 19
【應(yīng)知應(yīng)會(huì)】MATLAB中概率論基本命令 21
12 機(jī)器學(xué)習(xí)基礎(chǔ) 21
121 監(jiān)督學(xué)習(xí) 22
【應(yīng)知應(yīng)會(huì)】數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí) 22
122 無(wú)監(jiān)督學(xué)習(xí) 23
【案例1-2】“無(wú)監(jiān)督學(xué)習(xí)”中的k-means聚類(lèi) 24
13 神經(jīng)網(wǎng)絡(luò)基礎(chǔ) 26
131 生物神經(jīng)網(wǎng)絡(luò) 26
【認(rèn)知提升】探索初級(jí)視覺(jué)皮層的啟示 26
132 人工神經(jīng)網(wǎng)絡(luò)與神經(jīng)元模型 27
【知識(shí)擴(kuò)容】Walter Pitts其人 27
14 最優(yōu)化理論基礎(chǔ) 28
14 1 最優(yōu)化問(wèn)題 29
142 多目標(biāo)優(yōu)化問(wèn)題 30
143 群智能優(yōu)化方法 31
【案例1-3】指揮“群智能團(tuán)隊(duì)”逐漸逼近問(wèn)題最優(yōu)解 32
15 溫故知新 35
16 停下來(lái)，思考一下 36
第2章神經(jīng)網(wǎng)絡(luò)原理與實(shí)現(xiàn) 38
21 線(xiàn)性問(wèn)題與感知機(jī) 38
22 多層前饋神經(jīng)網(wǎng)絡(luò)與BP算法 41
221 多層前饋神經(jīng)網(wǎng)絡(luò) 41
【案例2-1】具有異或邏輯的感知機(jī) 42
222 多層前饋神經(jīng)網(wǎng)絡(luò)的訓(xùn)練 43
【案例2-2】訓(xùn)練前饋神經(jīng)網(wǎng)絡(luò) 47
【應(yīng)知應(yīng)會(huì)】梯度下降算法 47
23 其他神經(jīng)網(wǎng)絡(luò) 48
231 徑向基函數(shù)網(wǎng)絡(luò) 48
232 自組織映射網(wǎng)絡(luò) 49
【案例2-3】用SOM網(wǎng)絡(luò)聚類(lèi)Iris數(shù)據(jù) 49
233 深度神經(jīng)網(wǎng)絡(luò) 50
24 溫故知新 53
25 停下來(lái)，思考一下 53
第2篇深度學(xué)習(xí)方法論解析篇
第3章卷積神經(jīng)網(wǎng)絡(luò)（CNN） 58
31 卷積神經(jīng)網(wǎng)絡(luò)入門(mén) 58
311 生物機(jī)理 59
312 拓?fù)浣Y(jié)構(gòu) 61
【知識(shí)擴(kuò)容】圖像處理中的全連接網(wǎng)絡(luò)與卷積網(wǎng)絡(luò) 63
313 卷積神經(jīng)網(wǎng)絡(luò)的特點(diǎn) 63
32 卷積神經(jīng)網(wǎng)絡(luò)的關(guān)鍵技術(shù) 64
321 卷積 65
【案例3-1】利用圖像的卷積操作對(duì)6×6的單通道圖像進(jìn)行瘦身 66
【知識(shí)擴(kuò)容】多通道卷積 67
【案例3-2】構(gòu)建基本CNN 68
【認(rèn)知提升】不同角度看“卷積” 68
322 池化 69
【最佳實(shí)踐】小技巧總結(jié) 71
【案例3-3】在Keras框架中實(shí)現(xiàn)MaxPooling 71
【知識(shí)擴(kuò)容】VGG卷積神經(jīng)網(wǎng)絡(luò) 72
【案例3-4】揭開(kāi)VGG和GoogLeNet的“廬山真面目” 73
【認(rèn)知提升】GoogleNet的Inception結(jié)構(gòu) 75
323 扁平化 75
【案例3-5】實(shí)現(xiàn)圖像特征矩陣的扁平化操作 76
324 關(guān)鍵技術(shù)小結(jié) 76
【新觀點(diǎn)】卷積神經(jīng)網(wǎng)絡(luò)發(fā)展方向 77
33 綜合案例：三步教你構(gòu)建手寫(xiě)字識(shí)別神經(jīng)網(wǎng)絡(luò) 78
【應(yīng)知應(yīng)會(huì)】Adam優(yōu)化算法 79
【知識(shí)擴(kuò)容】CNN在自然語(yǔ)言處理中的應(yīng)用 81
34 溫故知新 82
35 停下來(lái)，思考一下 82
第4章生成式對(duì)抗網(wǎng)絡(luò)（GAN） 84
41 生成式對(duì)抗網(wǎng)絡(luò)基本原理 84
411 GAN的核心思想 84
【認(rèn)知提升】GAN與博弈理論 85
412 GAN數(shù)學(xué)描述 86
【認(rèn)知提升】“囚徒困境”博弈模型 86
413 GAN的網(wǎng)絡(luò)結(jié)構(gòu)與核心技術(shù) 87
414 GAN的改進(jìn)模型 90
【案例4-1】ACGAN基于TensorFlow框架的實(shí)現(xiàn)（圖像為64×64單通道數(shù)據(jù)） 91
【認(rèn)知提升】博弈理論與多目標(biāo)優(yōu)化 98
42 GAN應(yīng)用 99
421 數(shù)據(jù)缺失 100
422 多標(biāo)簽預(yù)測(cè) 101
423 根據(jù)環(huán)境生成相應(yīng)數(shù)據(jù) 102
424 數(shù)據(jù)特征表示 103
425 圖像檢索 104
426 文本到圖像翻譯 104
427 醫(yī)學(xué)方面 105
43 綜合案例：動(dòng)手構(gòu)建生成式對(duì)抗網(wǎng)絡(luò) 106
431 基于MATLAB的GAN 106
432 基于TensorFlow的GAN 108
44 溫故知新 115
45 停下來(lái)，思考一下 115
第5章循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN） 117
51 循環(huán)神經(jīng)網(wǎng)絡(luò)基本原理 117
511 問(wèn)題背景 118
【案例5-1】詞性標(biāo)注（我學(xué)習(xí)循環(huán)神經(jīng)網(wǎng)絡(luò)） 118
【應(yīng)知應(yīng)會(huì)】one-hot編碼 119
【認(rèn)知提升】神經(jīng)網(wǎng)絡(luò)的記憶問(wèn)題 120
512 循環(huán)神經(jīng)網(wǎng)絡(luò)基本思想 120
【最佳實(shí)踐】RNN的梯度爆炸和消失問(wèn)題 123
52 LSTM網(wǎng)絡(luò)基本原理 124
521 LSTM的關(guān)鍵技術(shù) 124
【知識(shí)擴(kuò)容】遞歸神經(jīng)網(wǎng)絡(luò)（Recursive Neural Network，RNN） 128
522 LSTM的應(yīng)用 128
【應(yīng)知應(yīng)會(huì)】自然語(yǔ)言處理 129
53 綜合案例：基于LSTM的語(yǔ)音預(yù)測(cè) 130
531 加載數(shù)據(jù) 130
532 定義網(wǎng)絡(luò)結(jié)構(gòu) 130
533 網(wǎng)絡(luò)訓(xùn)練及評(píng)估 131
【應(yīng)知應(yīng)會(huì)】深度學(xué)習(xí)代碼一般結(jié)構(gòu) 132
54 綜合案例：基于循環(huán)神經(jīng)網(wǎng)絡(luò)的手寫(xiě)數(shù)字識(shí)別 132
541 數(shù)據(jù)準(zhǔn)備及參數(shù)設(shè)置 132
542 網(wǎng)絡(luò)構(gòu)建 133
543 網(wǎng)絡(luò)訓(xùn)練 134
55 綜合案例：基于LSTM的自然語(yǔ)言處理 135
551 數(shù)據(jù)收集及編碼 135
552 構(gòu)建LSTM模型 136
553 模型訓(xùn)練 137
55 溫故知新 137
56 停下來(lái)，思考一下 138
第3篇深度學(xué)習(xí)實(shí)戰(zhàn)篇
第6章深度學(xué)習(xí)主流工具及框架 142
61 MATLAB基本語(yǔ)法與深度學(xué)習(xí)工具箱 142
611 MATLAB簡(jiǎn)介 142
612 MATLAB安裝 143
613 MATLAB常用語(yǔ)法 146
614 基于MATLAB的深度學(xué)習(xí)工具箱 149
【案例6-1】基于MATLAB的AlexNet模型初探 151
【案例6-2】用安裝好的深度學(xué)習(xí)工具箱中的卷積神經(jīng)網(wǎng)絡(luò)做mnist
手寫(xiě)數(shù)字識(shí)別，來(lái)驗(yàn)證工具箱的有效性 152
62 Python基本語(yǔ)法、庫(kù)與開(kāi)發(fā)工具 153
621 Python簡(jiǎn)介 153
622 Python安裝 153
623 Python常用語(yǔ)法 155
【應(yīng)知應(yīng)會(huì)】Python常見(jiàn)錯(cuò)誤提示及原因 156
624 常用Python庫(kù) 157
625 常用Python開(kāi)發(fā)工具 161
【知識(shí)擴(kuò)容】PyCharm常用快捷鍵 162
【案例6-3】Python送你圣誕帽 163
63 Caffe框架及環(huán)境搭建 165
631 Caffe簡(jiǎn)介 165
632 Caffe環(huán)境搭建 166
【案例6-4】手寫(xiě)體數(shù)字識(shí)別 167
64 TensorFlow框架及環(huán)境搭建 167
641 TensorFlow簡(jiǎn)介 167
642 TensorFlow與Keras框架的關(guān)系 168
643 Windows 10上TensorFlow的環(huán)境搭建 169
65 其他常用框架 177
651 微軟CNTK 177
652 MXNet 178
653 Torch 178
654 Theano 179
66 溫故知新 180
67 停下來(lái)，思考一下 180
第7章 AlexNet關(guān)鍵技術(shù)與實(shí)戰(zhàn) 182
71 剖析AlexNet網(wǎng)絡(luò)結(jié)構(gòu) 182
【知識(shí)擴(kuò)容】ImageNet與李飛飛 186
72 AlexNet關(guān)鍵技術(shù) 187
721 ReLU激活函數(shù) 187
722 標(biāo)準(zhǔn)化 187
【應(yīng)知應(yīng)會(huì)】激活函數(shù)的“飽和”與“不飽和” 188
【認(rèn)知提升】馬太效應(yīng)、二八定律、長(zhǎng)尾理論 188
723 Dropout 189
724 多GPU 190
【應(yīng)知應(yīng)會(huì)】CUDA 190
73 AlexNet與LeNet對(duì)比 191
74 CNN通用架構(gòu) 191
75 綜合案例：基于AlexNet的深度學(xué)習(xí)實(shí)戰(zhàn) 192
751 靜態(tài)圖像分類(lèi) 192
752 用AlexNet做特征提?。╢eature extraction） 194
753 用AlexNet做遷移學(xué)習(xí) 197
754 卷積神經(jīng)網(wǎng)絡(luò)的特征可視化 200
76 溫故知新 209
77 停下來(lái)，思考一下 210
第8章將手寫(xiě)體識(shí)別進(jìn)行到底 211
81 手寫(xiě)體識(shí)別“江湖地位” 211
82 手寫(xiě)數(shù)字識(shí)別 212
821 手寫(xiě)數(shù)字的無(wú)監(jiān)督學(xué)習(xí) 213
【應(yīng)知應(yīng)會(huì)】稀疏表示 213
【應(yīng)知應(yīng)會(huì)】無(wú)監(jiān)督學(xué)習(xí)中的自動(dòng)編碼器 219
822 手寫(xiě)數(shù)字的全連接神經(jīng)網(wǎng)絡(luò)識(shí)別 219
【應(yīng)知應(yīng)會(huì)】softmax函數(shù)介紹 220
【認(rèn)知提升】熵 220
823 手寫(xiě)數(shù)字的卷積神經(jīng)網(wǎng)絡(luò)識(shí)別 221
83 手寫(xiě)漢字識(shí)別 229
831 數(shù)據(jù)讀取及預(yù)處理 229
【最佳實(shí)踐】數(shù)據(jù)讀取 231
832 卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建 231
833 網(wǎng)絡(luò)模型訓(xùn)練及結(jié)果可視化 233
84 綜合案例：手寫(xiě)數(shù)字旋轉(zhuǎn)角度識(shí)別 234
841 數(shù)據(jù)載入 235
842 網(wǎng)絡(luò)構(gòu)建 235
843 網(wǎng)絡(luò)訓(xùn)練 236
844 測(cè)試預(yù)測(cè)精度 236
845 殘差展示 237
846 偏轉(zhuǎn)角度矯正及可視化 237
85 溫故知新 238
86 停下來(lái)，思考一下 239
第9章基于深度學(xué)習(xí)的視頻檢測(cè) 240
91 人物監(jiān)控視頻問(wèn)題研究意義及現(xiàn)狀 240
911 研究意義 240
912 國(guó)內(nèi)外研究現(xiàn)狀 242
92 研究情況介紹 244
921 研究?jī)?nèi)容 244
922 研究目標(biāo)及關(guān)鍵科學(xué)問(wèn)題 244
【案例9-1】基于Python庫(kù)的人臉識(shí)別 245
93 綜合案例：基于深度學(xué)習(xí)的人臉視頻檢測(cè) 247
931 環(huán)境準(zhǔn)備 247
932 數(shù)據(jù)處理 248
933 模型訓(xùn)練 250
934 監(jiān)控代碼 255
94 綜合案例：基于深度學(xué)習(xí)的物體視頻檢測(cè) 256
941 AlexNet回顧 256
942 入門(mén)版 257
943 初級(jí)版 258
944 加強(qiáng)版 259
945 升級(jí)版 260
946 豪華版 261
【案例9-2】讓手機(jī)當(dāng)網(wǎng)絡(luò)攝像頭 262
95 溫故知新 262
96 停下來(lái)，思考一下 263
第10章基于深度學(xué)習(xí)的信息隱藏 264
101 數(shù)字圖像隱寫(xiě)分析研究現(xiàn)狀及意義 264
1011 研究意義 267
1012 研究現(xiàn)狀 268
1013 潛在的應(yīng)用 268
102 數(shù)字圖像隱寫(xiě)分析概述 270
【案例10-1】基于四叉樹(shù)編碼的空間域高保真可逆信息隱藏 271
103 基于ACGAN的無(wú)載體信息隱藏 272
1031 生成式對(duì)抗網(wǎng)絡(luò)回顧 272
【應(yīng)知應(yīng)會(huì)】零和博弈 272
1032 基于ACGAN的信息隱藏關(guān)鍵技術(shù) 274
104 綜合案例：ACGAN信息隱藏實(shí)戰(zhàn) 276
1041 方案概述 276
【認(rèn)知提升】可逆信息隱藏 277
1042 隱藏算法與提取算法的實(shí)現(xiàn) 278
1043 性能分析 286
1043 可靠性 287
1044 安全性 287
105 溫故知新 288
106 停下來(lái)，思考一下 288
第11章基于深度學(xué)習(xí)的服裝識(shí)別 289
111 服裝識(shí)別問(wèn)題描述 289
112 解決方案 291
1121 方案目標(biāo) 291
1122 方案概述 291
【知識(shí)擴(kuò)容】OCR技術(shù) 293
1123 成本分析和可行性分析 294
1124 實(shí)施方案 294
113 綜合案例：基于卷積神經(jīng)網(wǎng)絡(luò)的服裝識(shí)別實(shí)戰(zhàn) 294
1131 數(shù)據(jù)準(zhǔn)備 294
1132 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì) 297
【案例11-1】Canny邊緣檢測(cè)算子 301
1133 網(wǎng)絡(luò)模型訓(xùn)練 302
1134 訓(xùn)練結(jié)果及測(cè)試 303
114 溫故知新 306
115 停下來(lái)，思考一下 306
致謝 308