深度學(xué)習(xí)原理與實(shí)踐（Python）

第 1章　初探深度學(xué)習(xí)　　1
1．1　什么是深度學(xué)習(xí)　2
1．1．1　機(jī)器學(xué)習(xí)的一般方法　4
1．1．2　選擇深度學(xué)習(xí)的原因　5
1．1．3　深度學(xué)習(xí)前的思考　6
1．2　深度學(xué)習(xí)的應(yīng)用　7
1．3　深度學(xué)習(xí)的硬件加速器　10
1．3．1　GPU比CPU更適合深度學(xué)習(xí)　10
1．3．2　GPU硬件選擇　13
1．4　深度學(xué)習(xí)的軟件框架　15
1．5　本章小結(jié)　19
引用/參考　19
第　2章 人工神經(jīng)網(wǎng)絡(luò)　21
2．1　人工神經(jīng)網(wǎng)絡(luò)概述　22
2．1．1　歷史背景　22
2．1．2　基本單位—神經(jīng)元　24
2．1．3　線性模型與激活函數(shù)　25
2．1．4　多層神經(jīng)網(wǎng)絡(luò)　26
2．2　訓(xùn)練與預(yù)測(cè)　28
2．2．1　訓(xùn)練　28
2．2．2　預(yù)測(cè)　29
2．3　核心算法　29
2．3．1　梯度下降算法　29
2．3．2　向前傳播算法　31
2．3．3　反向傳播算法　33
2．4　示例：醫(yī)療數(shù)據(jù)診斷　42
2．4．1　從醫(yī)療數(shù)據(jù)到數(shù)學(xué)模型　43
2．4．2　準(zhǔn)備數(shù)據(jù)　44
2．4．3　線性分類　45
2．4．4　建立人工神經(jīng)網(wǎng)絡(luò)模型　46
2．4．5　隱層節(jié)點(diǎn)數(shù)對(duì)人工神經(jīng)網(wǎng)絡(luò)模型的影響　53
2．5　本章小結(jié)　55
引用/參考　56
第3章　深度學(xué)習(xí)基礎(chǔ)及技巧　58
3．1　激活函數(shù)　59
3．1．1　線性函數(shù)　60
3．1．2　Sigmoid函數(shù)　61
3．1．3　雙曲正切函數(shù)　62
3．1．4　ReLU函數(shù)　63
3．1．5　Softmax函數(shù)　64
3．1．6　激活函數(shù)的選擇　65
3．2　損失函數(shù)　65
3．2．1　損失函數(shù)的定義　66
3．2．2　回歸損失函數(shù)　67
3．2．3　分類損失函數(shù)　69
3．2．4　神經(jīng)網(wǎng)絡(luò)中常用的損失函數(shù)　70
3．3　超參數(shù)　71
3．3．1　學(xué)習(xí)率　71
3．3．2　動(dòng)量　72
3．4　深度學(xué)習(xí)的技巧　73
3．4．1　數(shù)據(jù)集準(zhǔn)備　73
3．4．2　數(shù)據(jù)集擴(kuò)展　74
3．4．3　數(shù)據(jù)預(yù)處理　76
3．4．4　網(wǎng)絡(luò)的初始化　81
3．4．5　網(wǎng)絡(luò)過度擬合　84
3．4．6　正則化方法　85
3．4．7　GPU的使用　88
3．4．8　訓(xùn)練過程的技巧　89
3．5　本章小結(jié)　91
引用/參考　92
第4章　卷積神經(jīng)網(wǎng)絡(luò)　93
4．1　卷積神經(jīng)網(wǎng)絡(luò)概述　94
4．1．1　卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用　95
4．1．2　卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)　99
4．1．3　卷積神經(jīng)網(wǎng)絡(luò)與人工神經(jīng)網(wǎng)絡(luò)的聯(lián)系　101
4．2　卷積操作　103
4．2．1　滑動(dòng)窗口卷積操作　104
4．2．2　網(wǎng)絡(luò)卷積層操作　105
4．2．3　矩陣快速卷積　107
4．3　卷積神經(jīng)網(wǎng)絡(luò)三大核心思想　110
4．3．1　傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的缺點(diǎn)　110
4．3．2　局部感知　111
4．3．3　權(quán)值共享　112
4．3．4　下采樣　113
4．4　設(shè)計(jì)卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)　115
4．4．1　網(wǎng)絡(luò)層間排列規(guī)律　116
4．4．2　網(wǎng)絡(luò)參數(shù)設(shè)計(jì)規(guī)律　116
4．5　示例1：可視化手寫字體網(wǎng)絡(luò)特征　117
4．5．1　MNIST手寫字體數(shù)據(jù)庫(kù)　118
4．5．2　LeNet5網(wǎng)絡(luò)模型　119
4．5．3　LeNet5網(wǎng)絡(luò)訓(xùn)練　122
4．5．4　可視化特征向量　124
4．6　示例2：少樣本卷積神經(jīng)網(wǎng)絡(luò)分類　127
4．6．1　Kaggle貓狗數(shù)據(jù)庫(kù)　128
4．6．2　AlexNet模型　130
4．6．3　AlexNet訓(xùn)練　134
4．6．4　AlexNet預(yù)測(cè)　136
4．6．5　微調(diào)網(wǎng)絡(luò)　137
4．7　本章小結(jié)　140
引用/參考　141
第5章　卷積神經(jīng)網(wǎng)絡(luò)視覺盛宴　143
5．1　圖像目標(biāo)檢測(cè)　144
5．1．1　傳統(tǒng)目標(biāo)檢測(cè)方法　146
5．1．2　基于區(qū)域的網(wǎng)絡(luò)　147
5．1．3　基于回歸的網(wǎng)絡(luò)　157
5．1．4　目標(biāo)檢測(cè)小結(jié)　163
5．2　圖像語義分割　165
5．2．1　傳統(tǒng)圖像分割方法　165
5．2．2　全卷積神經(jīng)網(wǎng)絡(luò)　167
5．2．3　SegNet網(wǎng)絡(luò)　171
5．2．4　DeepLab網(wǎng)絡(luò)　173
5．3　示例1：NMS確定候選框　176
5．4　示例2：SS算法提取候選框　179
5．4．1　圖像復(fù)雜度　179
5．4．2　算法核心思想　180
5．4．3　區(qū)域相似度計(jì)算　184
5．5　本章小結(jié)　189
引用/參考　190
第6章　卷積神經(jīng)網(wǎng)絡(luò)進(jìn)階示例　192
6．1　示例1：全卷積網(wǎng)絡(luò)圖像語義分割　193
6．1．1　VGG連續(xù)小核卷積層　193
6．1．2　VGG網(wǎng)絡(luò)模型　195
6．1．3　全卷積網(wǎng)絡(luò)模型　199
6．1．4　全卷積網(wǎng)絡(luò)語義分割　204
6．2　示例2：深度可視化網(wǎng)絡(luò)　209
6．2．1　梯度上升法　210
6．2．2　可視化所有卷積層　213
6．2．3　可視化輸出層　218
6．2．4　卷積神經(jīng)網(wǎng)絡(luò)真能理解視覺嗎　219
6．3　示例3：卷積神經(jīng)網(wǎng)絡(luò)藝術(shù)繪畫　220
6．3．1　算法思想　221
6．3．2　圖像風(fēng)格定義　222
6．3．3　圖像內(nèi)容定義　224
6．3．4　算法實(shí)現(xiàn)　225
引用/參考　229
第7章　循環(huán)神經(jīng)網(wǎng)絡(luò)　231
7．1　初識(shí)循環(huán)神經(jīng)網(wǎng)絡(luò)　232
7．1．1　前饋式神經(jīng)網(wǎng)絡(luò)的缺點(diǎn)　233
7．1．2　什么是序列數(shù)據(jù)　234
7．2　循環(huán)神經(jīng)網(wǎng)絡(luò)的應(yīng)用　235
7．3　循環(huán)神經(jīng)網(wǎng)絡(luò)的模型結(jié)構(gòu)　237
7．3．1　序列數(shù)據(jù)建?！?37
7．3．2　基本結(jié)構(gòu)　238
7．3．3　其他結(jié)構(gòu)　239
7．4　循環(huán)神經(jīng)網(wǎng)絡(luò)的核心算法　241
7．4．1　模型詳解　241
7．4．2　向前傳播　243
7．4．3　損失函數(shù)　245
7．4．4　時(shí)間反向傳播算法　246
7．4．5　梯度消失與梯度爆炸　251
7．5　示例：使用循環(huán)神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)文本數(shù)據(jù)　254
7．5．1　定義網(wǎng)絡(luò)模型　254
7．5．2　序列數(shù)據(jù)預(yù)處理　255
7．5．3　準(zhǔn)備輸入輸出數(shù)據(jù)　258
7．5．4　實(shí)現(xiàn)簡(jiǎn)單的循環(huán)神經(jīng)網(wǎng)絡(luò)模型　260
7．6　本章小結(jié)　263
引用/參考　264
第8章　循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)階序列長(zhǎng)期記憶　265
8．1　長(zhǎng)期依賴問題　266
8．2　長(zhǎng)短期記憶網(wǎng)絡(luò)　269
8．2．1　LSTM網(wǎng)絡(luò)結(jié)構(gòu)　269
8．2．2　LSTM記憶單元　270
8．2．3　LSTM記憶方式　274
8．3　門控循環(huán)單元　274
8．3．1　GRU記憶單元　275
8．3．2　GRU實(shí)現(xiàn)　276
8．3．3　GRU與LSTM比較　277
8．4　示例1：神奇的機(jī)器翻譯　278
8．4．1　基于統(tǒng)計(jì)的機(jī)器翻譯　279
8．4．2　基于神經(jīng)網(wǎng)絡(luò)的機(jī)器翻譯　282
8．4．3　編碼-解碼模型　283
8．4．4　平衡語料數(shù)據(jù)集　287
8．4．5　機(jī)器翻譯的未來　292
8．5　示例2：智能對(duì)話機(jī)器人　293
8．5．1　Seq2Seq模型　294
8．5．2　Seq2Seq模型的缺點(diǎn)　295
8．5．3　超越Seq2Seq框架　296
8．6　示例3：智能語音識(shí)別音箱　299
8．6．1　語音識(shí)別框架　300
8．6．2　準(zhǔn)備語音數(shù)據(jù)　302
8．6．3　語音特征提取　306
8．6．4　聲學(xué)模型　311
8．6．5　語言模型　323
8．6．6　語音識(shí)別的展望　323
8．7　本章小結(jié)　324
引用/參考　325