深度學(xué)習(xí)之模型設(shè)計(jì)：核心算法與案例實(shí)踐

第1章 神經(jīng)網(wǎng)絡(luò)和計(jì)算機(jī)視覺基礎(chǔ)
第1章 神經(jīng)網(wǎng)絡(luò)和計(jì)算機(jī)視覺基礎(chǔ) 1
1.1 計(jì)算機(jī)視覺 1
1.1.1 研究視覺的重要性 1
1.1.2 生物學(xué)視覺原理與視覺分層理論 2
1.2 數(shù)字圖像基礎(chǔ) 3
1.2.1 數(shù)字圖像基礎(chǔ)概述 3
1.2.4 數(shù)字圖像處理基礎(chǔ) 7
1.3 神經(jīng)網(wǎng)絡(luò)基礎(chǔ) 11
1.3.1 生物神經(jīng)元與人工神經(jīng)網(wǎng)絡(luò) 12
1.3.2 感知機(jī)是神經(jīng)網(wǎng)絡(luò)嗎 12
1.3.3 BP算法 16
第2章 深度學(xué)習(xí)的基礎(chǔ) 20
2.1 全連接神經(jīng)網(wǎng)絡(luò)的局限性 20
2.1.1 學(xué)習(xí)原理的缺陷 20
2.1.2 全連接神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)缺陷 21
2.1.3 高性能的傳統(tǒng)機(jī)器學(xué)習(xí)算法 22
2.2 深度學(xué)習(xí)第三次復(fù)興簡(jiǎn)史 22
2.2.1 互聯(lián)網(wǎng)與大數(shù)據(jù)來(lái)了 23
2.2.2 GPU的普及 23
2.2.3 深層神經(jīng)網(wǎng)絡(luò)華麗歸來(lái) 24
2.2.4 語(yǔ)音識(shí)別的重大突破 25
2.2.4 圖像識(shí)別的重大突破 26
2.2.5 自然語(yǔ)言處理的重大突破 28
2.3 卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ) 29
2.3.1 卷積操作 29
2.3.2 反卷積操作 30
2.3.3 卷積神經(jīng)網(wǎng)絡(luò)基本概念 31
2.3.4 卷積神經(jīng)網(wǎng)絡(luò)的核心思想 33
2.3.5 卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)配置 33
2.4 深度學(xué)習(xí)優(yōu)化基礎(chǔ) 37
2.4.1 激活模型與常用激活函數(shù) 38
2.4.2 參數(shù)初始化方法 43
2.4.3 歸一化方法 45
2.4.4 池化 49
2.4.5 最優(yōu)化方法 50
2.4.6 學(xué)習(xí)率策略 54
2.4.7 正則化方法 57
2.5 深度學(xué)習(xí)主流開源框架 60
2.5.1 Caffe 60
2.5.2 TensorFlow 61
2.5.3 Pytorch 61
2.5.4 Theano 62
2.5.5 Keras 62
2.5.6 MXNet 63
2.5.7 Chainer 63
參考文獻(xiàn) 64
第3章 數(shù)據(jù)集、評(píng)測(cè)指標(biāo)與優(yōu)化目標(biāo) 66
3.1 數(shù)據(jù)集 66
3.1.1 分類數(shù)據(jù)集MNIST 66
3.1.2 ImageNet 66
3.1.3 分類數(shù)據(jù)集GHIM-10k 67
3.1.4 分類數(shù)據(jù)集Place20 67
3.1.5 肖像分割數(shù)據(jù)集 68
3.1.6 視頻分類數(shù)據(jù)集UCF101 68
3.1.7 目標(biāo)跟蹤數(shù)據(jù)集ImageNet VIDEO 68
3.2 評(píng)測(cè)指標(biāo) 69
3.2.1 分類評(píng)測(cè)指標(biāo) 69
3.2.2 檢索與回歸評(píng)測(cè)指標(biāo) 73
3.2.3 圖像生成評(píng)測(cè)指標(biāo) 75
3.3 優(yōu)化目標(biāo) 76
3.3.1 分類任務(wù)損失 76
3.3.2 回歸任務(wù)損失 78
參考文獻(xiàn) 80
第4章 加深網(wǎng)絡(luò)，提升模型性能 81
4.1 經(jīng)典的淺層卷積神經(jīng)網(wǎng)絡(luò) 81
4.1.1 Neocognitron網(wǎng)絡(luò) 81
4.1.2 TDNN 83
4.1.3 Cresceptron網(wǎng)絡(luò) 83
4.1.4 LeNet系列 84
4.2 經(jīng)典網(wǎng)絡(luò)的深度設(shè)計(jì) 87
4.2.1 AlexNet 87
4.2.2 從AlexNet到VGGNet的升級(jí) 90
4.2.3 為什么需要更深的網(wǎng)絡(luò) 93
4.3 實(shí)驗(yàn)：網(wǎng)絡(luò)深度對(duì)分類模型性能的影響 94
4.3.1 基準(zhǔn)模型 94
4.3.2 不同學(xué)習(xí)率策略與優(yōu)化方法 96
4.3.3 標(biāo)準(zhǔn)卷積模型網(wǎng)絡(luò)深度影響實(shí)驗(yàn) 104
4.3.4 MobileNet網(wǎng)絡(luò)深度影響實(shí)驗(yàn) 111
4.3.5 總結(jié) 113
參考文獻(xiàn) 114
第5章 1×1卷積，通道維度升降的利器 115
5.1 特征通道與信息融合 115
5.1.1 通道內(nèi)特征能做什么 115
5.1.2 通道間特征能做什么 116
5.2 1×1卷積及其應(yīng)用 117
5.2.1 什么是1×1卷積 117
5.2.2 1×1卷積與瓶頸結(jié)構(gòu) 117
5.2.3 1×1卷積與SqueezeNet 118
5.3 1×1卷積在瓶頸結(jié)構(gòu)中的作用 120
5.3.1 基準(zhǔn)模型 120
5.3.2 瓶頸結(jié)構(gòu)探索 126
5.3.3 訓(xùn)練結(jié)果 143
5.4 1×1卷積在增強(qiáng)網(wǎng)絡(luò)表達(dá)能力中的作用 145
5.4.1 基準(zhǔn)模型 145
5.4.2 網(wǎng)絡(luò)配置 146
5.4.3 實(shí)驗(yàn)結(jié)果 146
參考文獻(xiàn) 148

第6章 加寬網(wǎng)絡(luò)，提升模型性能 149
6.1 為什么需要更寬的網(wǎng)絡(luò)結(jié)構(gòu) 149
6.2 經(jīng)典模型的網(wǎng)絡(luò)寬度設(shè)計(jì)思想 149
6.2.1 調(diào)整通道數(shù)量 150
6.2.2 多分支網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì) 152
6.2.3 通道補(bǔ)償技術(shù) 154
6.3 實(shí)驗(yàn)：網(wǎng)絡(luò)寬度對(duì)模型性能的影響 155
6.3.1 實(shí)驗(yàn)背景 155
6.3.2 訓(xùn)練結(jié)果 161
6.3.3 總結(jié) 166
參考文獻(xiàn) 166
第7章 殘差連接，深層網(wǎng)絡(luò)收斂的關(guān)鍵 167
7.1 殘差連接 167
7.1.1 什么是殘差連接 167
7.1.2 為什么殘差連接有效 169
7.2 殘差網(wǎng)絡(luò)結(jié)構(gòu)發(fā)展和應(yīng)用 171
7.2.1 密集連接的殘差網(wǎng)絡(luò)結(jié)構(gòu) 171
7.2.2 多分支殘差結(jié)構(gòu) 173
7.2.3 殘差連接與多尺度信息融合 174
7.3 跳層連接在圖像分割中的應(yīng)用 175
7.3.1 數(shù)據(jù)集與基準(zhǔn)模型 175
7.3.2 Allconv5_SEG實(shí)驗(yàn) 184
7.3.3 增加跳層連接 186
參考文獻(xiàn) 199
第8章 分組卷積與卷積拆分，移動(dòng)端高效率經(jīng)典模型 201
8.1 卷積拆分與分組卷積 201
8.1.1 卷積拆分 201
8.1.2 分組卷積 201
8.2 分組卷積結(jié)構(gòu) 202
8.2.1 簡(jiǎn)單的通道分組網(wǎng)絡(luò) 203
8.2.2 級(jí)連通道分組網(wǎng)絡(luò) 204
8.2.3 多分辨率卷積核通道分組網(wǎng)絡(luò) 205
8.2.4 多尺度通道分組網(wǎng)絡(luò) 206
8.2.5 多精度通道分組網(wǎng)絡(luò) 207
8.3 訓(xùn)練一個(gè)用于圖像分割的實(shí)時(shí)分組網(wǎng)絡(luò) 208
8.3.1 項(xiàng)目背景 208
8.3.2 嘴唇分割模型訓(xùn)練 208
8.3.3 嘴唇分割模型優(yōu)化 212
參考文獻(xiàn) 219
第9章 多尺度網(wǎng)絡(luò)與非正常卷積，更豐富的感受野與不變性 221
9.1 目標(biāo)常見變換與不變性 221
9.1.1 常見變換 221
9.1.2 從模型本身獲取不變性 221
9.1.3 從數(shù)據(jù)中學(xué)習(xí)不變性 223
9.2 多尺度網(wǎng)絡(luò)結(jié)構(gòu) 224
9.2.1 圖像金字塔 224
9.2.2 多尺度網(wǎng)絡(luò) 225
9.3 非正常卷積網(wǎng)絡(luò)結(jié)構(gòu) 228
9.3.1 帶孔卷積 228
9.3.2 可變形卷積 229
9.3.3 非局部卷積 230
9.4 STN在可變形手寫數(shù)字中的應(yīng)用 232
9.4.1 項(xiàng)目背景 232
9.4.2 STN實(shí)驗(yàn) 233
參考文獻(xiàn) 237
第10章 多輸入網(wǎng)絡(luò)，圖像檢索和排序的基準(zhǔn)模型 238
10.1 什么時(shí)候需要多個(gè)輸入 238
10.1.1 圖像檢索 238
10.1.2 目標(biāo)跟蹤 239
10.1.3 相對(duì)排序 239
10.2 常見多輸入網(wǎng)絡(luò) 240
10.2.1 Siamese網(wǎng)絡(luò) 240
10.2.2 Triplet網(wǎng)絡(luò) 241
10.3 目標(biāo)跟蹤Siamese網(wǎng)絡(luò)實(shí)戰(zhàn) 242
10.3.1 網(wǎng)絡(luò)結(jié)構(gòu) 242
10.3.2 數(shù)據(jù)讀取 244
10.3.3 損失函數(shù)和評(píng)估指標(biāo) 247
10.3.4 模型訓(xùn)練 248
10.3.5 模型測(cè)試 249
參考文獻(xiàn) 254
第11章 時(shí)序神經(jīng)網(wǎng)絡(luò)，有記憶的網(wǎng)絡(luò)更聰明 255
11.1 單向RNN和雙向RNN 255
11.1.1 RNN 255
11.1.2 雙向RNN 257
11.2 LSTM 258
11.3 LSTM視頻分類實(shí)踐 260
11.3.1 數(shù)據(jù)準(zhǔn)備 260
11.3.2 數(shù)據(jù)讀取 260
11.3.3 網(wǎng)絡(luò)定義 264
11.3.4 模型訓(xùn)練結(jié)果 269
11.3.5 總結(jié) 270
第12章 卷積從二維變成三維，實(shí)現(xiàn)升維打擊 271
12.1 三維卷積 271
12.2 三維卷積的應(yīng)用 272
12.2.1 分類任務(wù) 272
12.2.2 圖像分割 274
12.3 一個(gè)用于視頻分類的三維卷積網(wǎng)絡(luò) 274
12.3.1 基準(zhǔn)模型與數(shù)據(jù)集 275
12.3.2 數(shù)據(jù)讀取 278
12.3.3 訓(xùn)練結(jié)果 280
12.3.4 參數(shù)調(diào)試 281
12.3.5 總結(jié) 283
參考文獻(xiàn) 283
第13章 動(dòng)態(tài)推理與注意力機(jī)制，網(wǎng)絡(luò)因樣本而異 284
13.1 拓?fù)浣Y(jié)構(gòu)動(dòng)態(tài)變化的網(wǎng)絡(luò) 284
13.1.1 訓(xùn)練時(shí)拓?fù)浣Y(jié)構(gòu)變化的網(wǎng)絡(luò) 284
13.1.2 測(cè)試時(shí)拓?fù)浣Y(jié)構(gòu)變化的網(wǎng)絡(luò) 285
13.2 注意力機(jī)制 288
13.2.1 空間注意力模型 289
13.2.2 通道注意力模型[9] 289
13.2.3 混合注意力模型 290
13.3 基于提前退出機(jī)制的BranchyNet分類實(shí)戰(zhàn) 291
13.3.1 背景 291
13.3.2 模型定義 292
13.3.3 實(shí)驗(yàn)結(jié)果 302
參考文獻(xiàn) 305
第14章 生成對(duì)抗網(wǎng)絡(luò) 306
14.1 生成對(duì)抗網(wǎng)絡(luò)的基本原理 306
14.1.1 生成式模型與判別式模型 306
14.1.2 GAN簡(jiǎn)介 307
14.2 生成對(duì)抗網(wǎng)絡(luò)損失的發(fā)展 308
14.2.1 GAN的損失函數(shù)問(wèn)題 308
14.2.2 GAN的損失函數(shù)改進(jìn) 309
14.3 生成對(duì)抗網(wǎng)絡(luò)結(jié)構(gòu)的發(fā)展 310
14.3.1 條件GAN 310
14.3.2 多尺度級(jí)連GAN 311
14.3.3 多判別器單生成器GAN 312
14.3.4 多生成器單判別器GAN 313
14.3.5 多生成器多判別器GAN 313
14.4 DCGAN圖像生成實(shí)戰(zhàn) 314
14.4.1 項(xiàng)目背景 314
14.4.2 項(xiàng)目解讀 315
14.4.3 實(shí)驗(yàn)結(jié)果 319
參考文獻(xiàn) 321