Python深度學(xué)習(xí)

第1章深度學(xué)習(xí)介紹1

1.1歷史背景1

1.2相關(guān)領(lǐng)域的進(jìn)展3

1.3先決條件3

1.4后續(xù)章節(jié)概述4

1.5安裝所需函數(shù)庫4

第2章機(jī)器學(xué)習(xí)基礎(chǔ)5

2.1直覺5

2.2二元分類5

2.3回歸6

2.4泛化7

2.5正規(guī)化12

2.6總結(jié)14

第3章前饋神經(jīng)網(wǎng)絡(luò)15

3.1單元15

3.1.1神經(jīng)網(wǎng)絡(luò)的整體結(jié)構(gòu)16

3.1.2用向量形式表示神經(jīng)網(wǎng)絡(luò)17

3.1.3評估神經(jīng)網(wǎng)絡(luò)的輸出18

3.1.4神經(jīng)網(wǎng)絡(luò)訓(xùn)練19

3.2使用極大似然估計成本函數(shù)20

3.2.1二元交叉熵20

3.2.2交叉熵21

3.2.3平方差21

3.2.4損失函數(shù)總結(jié)22

3.3單元/激活函數(shù)/層的類型22

3.3.1線性單元23

3.3.2Sigmoid單元23

3.3.3Softmax層23

3.3.4線性整流函數(shù)24

3.3.5雙曲正切25

3.4用AutoGrad手寫神經(jīng)網(wǎng)絡(luò)25

3.5總結(jié)27

第4章Theano介紹28

4.1什么是Theano28

4.2上手Theano28

4.3總結(jié)50

第5章卷積神經(jīng)網(wǎng)絡(luò)52

5.1卷積操作52

5.2池化操作56

5.3卷積-探測-池化57

5.4其他卷積59

5.5CNN背后的直覺61

5.6總結(jié)61

第6章遞歸神經(jīng)網(wǎng)絡(luò)62

6.1RNN基礎(chǔ)62

6.2訓(xùn)練RNN65

6.3雙向RNN69

6.4梯度爆炸和梯度消失72

6.5梯度削減72

6.6長短期記憶73

6.7總結(jié)75

第7章Keras介紹76

7.1單層神經(jīng)網(wǎng)絡(luò)76

7.2兩層神經(jīng)網(wǎng)絡(luò)77

7.2.1用于多元分類的兩層神經(jīng)網(wǎng)絡(luò)79

7.2.2兩層神經(jīng)網(wǎng)絡(luò)的回歸80

7.3Keras快速迭代82

7.3.1使用Keras構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)（CNN）85

7.3.2使用Keras構(gòu)建LSTM88

7.4總結(jié)90

第8章隨機(jī)梯度下降91

8.1優(yōu)化問題91

8.2最速下降的方法92

8.3批量，隨機(jī)（單例和迷你批）下降93

8.3.1批量93

8.3.2隨機(jī)單例93

8.3.3隨機(jī)迷你批93

8.3.4批量VS隨機(jī)93

8.4SGD的挑戰(zhàn)94

8.4.1局部最小值94

8.4.2鞍點94

8.4.3選擇學(xué)習(xí)速率95

8.4.4窄谷中進(jìn)展緩慢96

8.5SGD的算法變體97

8.5.1動量97

8.5.2Nesterov加速梯度（NAS）97

8.5.3退火和學(xué)習(xí)速率計劃?98

8.5.4Adagrad98

8.5.5RMSProp99

8.5.6Adadelta99

8.5.7Adam99

8.5.8彈性反向傳播100

8.5.9平衡SGD100

8.6使用SGD的技巧和提示100

8.6.1輸入數(shù)據(jù)預(yù)處理101

8.6.2激活函數(shù)的選擇101

8.6.3預(yù)處理目標(biāo)值101

8.6.4參數(shù)初始化102

8.6.5打散數(shù)據(jù)102

8.6.6批標(biāo)準(zhǔn)化102

8.6.7提前停止102

8.6.8梯度噪聲102

8.7并行和分布式SGD103

8.7.1Hogwild103

8.7.2Downpour103

8.8用Downhill動手實踐SGD104

8.9總結(jié)109

第9章自動求導(dǎo)110

9.1數(shù)值求導(dǎo)110

9.2符號求導(dǎo)111

9.3自動求導(dǎo)基礎(chǔ)112

9.3.1正向/正切線性模型113

9.3.2反向/余切/伴隨線性模式115

9.3.3自動求導(dǎo)實現(xiàn)117

9.4源代碼轉(zhuǎn)換117

9.5運算符重載117

9.6用Autograd實現(xiàn)自動求導(dǎo)118

9.7總結(jié)122

第10章GPU介紹123

10.1基于GPU計算的關(guān)鍵要素123

10.2OpenCL系統(tǒng)物理視圖124

10.3OpenCL系統(tǒng)的邏輯視圖125

10.4OpenCL設(shè)備上的邏輯內(nèi)存空間126

10.5OpenCL設(shè)備的編程模型127

10.6索引的符號128

10.7總結(jié)132