基于Theano的深度學(xué)習(xí)：構(gòu)建未來(lái)與當(dāng)前的人工大腦

譯者序

原書(shū)前言

本書(shū)作者

原書(shū)致謝

第1 章　Theano 基礎(chǔ) //1

1.1　張量所需 //1

1.2　安裝和加載Theano //2

1.2.1　Conda 軟件包和環(huán)境管理器 // 2

1.2.2　在CPU 上安裝和運(yùn)行Theano // 2

1.2.3　GPU 驅(qū)動(dòng)和相關(guān)庫(kù) // 3

1.2.4　在GPU 上安裝和運(yùn)行Theano // 4

1.3　張量 //5

1.4　計(jì)算圖和符號(hào)計(jì)算 //8

1.5　張量操作 //11

1.5.1　維度操作算子 // 13

1.5.2　元素操作算子 // 14

1.5.3　約簡(jiǎn)操作算子 // 16

1.5.4　線性代數(shù)算子 // 16

1.6　內(nèi)存和變量 //18

1.7　函數(shù)和自動(dòng)微分 //20

1.8　符號(hào)計(jì)算中的循環(huán)運(yùn)算 //22

1.9　配置、分析和調(diào)試 //26

1.10　小結(jié) //29

第2 章　 基于前饋神經(jīng)網(wǎng)絡(luò)的手寫(xiě)體數(shù)

字分類 //30

2.1　MNIST 數(shù)據(jù)集 // 30

2.2　訓(xùn)練程序架構(gòu) // 32

2.3　分類損失函數(shù) // 33

2.4　單層線性模型 // 34

2.5　成本函數(shù)和誤差 // 35

2.6　反向傳播算法和隨機(jī)梯度下降 // 36

2.7　多層模型 // 37

2.8　卷積層和最大池化層 // 43

2.9　訓(xùn)練 // 47

2.10　退出 // 52

2.11　推理 // 52

2.12　優(yōu)化和其他更新規(guī)則 // 52

2.13　延伸閱讀 // 56

2.14　小結(jié) // 57

第3 章　單詞的向量編碼 //58

3.1　編碼和嵌入 // 58

3.2　數(shù)據(jù)集 // 60

3.3　連續(xù)詞袋模型 // 62

3.4　模型訓(xùn)練 // 66

3.5　可視化學(xué)習(xí)嵌入 // 68

3.6　嵌入評(píng)價(jià)—類比推理 // 70

3.7　嵌入評(píng)價(jià)—量化分析 // 72

3.8　單詞嵌入應(yīng)用 // 72

3.9　權(quán)重綁定 // 73

基于Theano 的深度學(xué)習(xí)：

構(gòu)建未來(lái)與當(dāng)前的人工大腦

XIV

3.10　延伸閱讀 // 73

3.11　小結(jié) // 74

第4 章　 基于遞歸神經(jīng)網(wǎng)絡(luò)的文本

生成 //75

4.1　RNN 所需 // 75

4.2　自然語(yǔ)言數(shù)據(jù)集 // 76

4.3　簡(jiǎn)單遞歸網(wǎng)絡(luò) // 79

4.3.1　LSTM 網(wǎng)絡(luò) // 81

4.3.2　門(mén)控遞歸網(wǎng)絡(luò) // 83

4.4　自然語(yǔ)言性能評(píng)測(cè) // 84

4.5　訓(xùn)練損失比較 // 84

4.6　預(yù)測(cè)示例 // 86

4.7　RNN 的應(yīng)用 // 87

4.8　延伸閱讀 // 88

4.9　小結(jié) // 89

第5 章　 基于雙向LSTM 的情感

分析 // 90

5.1　Keras 的安裝和配置 // 90

5.1.1　Keras 編程 // 91

5.1.2　SemEval 2013 數(shù)據(jù)集 // 93

5.2　文本數(shù)據(jù)預(yù)處理 // 94

5.3　模型架構(gòu)設(shè)計(jì) // 96

5.3.1　單詞的向量表征 // 96

5.3.2　基于雙向LSTM 的語(yǔ)句表征 // 97

5.3.3　softmax 分類器的輸出概率 // 98

5.4　模型編譯與訓(xùn)練 // 99

5.5　模型評(píng)估 // 99

5.6　模型保存與加載 // 100

5.7　示例運(yùn)行 // 100

5.8　延伸閱讀 // 100

5.9　小結(jié) // 101

第6 章　 基于空間變換網(wǎng)絡(luò)的

定位 // 102

6.1　 基于Lasagne 的MNIST CNN 模型

// 102

6.2　定位網(wǎng)絡(luò) // 104

6.2.1　RNN 在圖像中的應(yīng)用 // 108

6.3　基于共定位的非監(jiān)督式學(xué)習(xí) // 112

6.4　基于區(qū)域的定位網(wǎng)絡(luò) // 112

6.5　延伸閱讀 // 113

6.6　小結(jié) // 114

第7 章　 基于殘差網(wǎng)絡(luò)的圖像

分類 // 115

7.1　自然圖像數(shù)據(jù)集 // 115

7.1.1　批處理標(biāo)準(zhǔn)化 // 116

7.1.2　全局平均池化 // 117

7.2　殘差連接 // 118

7.3　隨機(jī)深度 // 123

7.4　密集連接 // 124

7.5　多GPU // 125

7.6　數(shù)據(jù)增強(qiáng) // 126

7.7　延伸閱讀 // 127

7.8　小結(jié) // 127

第8 章　 基于編碼—解碼網(wǎng)絡(luò)的翻譯

與解釋 // 128

8.1　 序列—序列網(wǎng)絡(luò)在自然語(yǔ)言處理

中的應(yīng)用 // 128

8.2　 序列—序列網(wǎng)絡(luò)在語(yǔ)言翻譯中的

應(yīng)用 // 133

8.3　 序列—序列網(wǎng)絡(luò)在聊天機(jī)器人中的

應(yīng)用 // 134

8.4　序列—序列網(wǎng)絡(luò)的效率提高 // 134

8.5　圖像反卷積 // 136

目　錄

XV

8.6　多模態(tài)深度學(xué)習(xí) // 140

8.7　延伸閱讀 // 140

8.8　小結(jié) // 142

第9 章　 基于注意力機(jī)制的相關(guān)輸入

或記憶選擇 // 143

9.1　注意力可微機(jī)制 // 143

9.1.1　 基于注意力機(jī)制的最佳

翻譯 // 144

9.1.2　 基于注意力機(jī)制的最佳圖像

注釋 // 145

9.2　 神經(jīng)圖靈機(jī)中的信息存儲(chǔ)和

檢索 // 146

9.3　記憶網(wǎng)絡(luò) // 148

9.3.1　 基于動(dòng)態(tài)記憶網(wǎng)絡(luò)的情景

記憶 // 149

9.4　延伸閱讀 // 150

9.5　小結(jié) // 151

第10 章　 基于先進(jìn)遞歸神經(jīng)網(wǎng)絡(luò)的時(shí)

間序列預(yù)測(cè) // 152

10.1　RNN 的退出 // 152

10.2　RNN 的深度學(xué)習(xí)方法 // 153

10.3　層疊遞歸網(wǎng)絡(luò) // 154

10.4　深度轉(zhuǎn)移遞歸網(wǎng)絡(luò) // 157

10.5　高速網(wǎng)絡(luò)設(shè)計(jì)原理 // 157

10.6　遞歸高速網(wǎng)絡(luò) // 158

10.7　延伸閱讀 // 159

10.8　小結(jié) // 159

第11 章　強(qiáng)化環(huán)境學(xué)習(xí) // 160

11.1　強(qiáng)化學(xué)習(xí)任務(wù) // 160

11.2　仿真環(huán)境 // 161

11.3　Q 學(xué)習(xí) // 164

11.4　深度Q 學(xué)習(xí)網(wǎng)絡(luò) // 166

11.5　訓(xùn)練穩(wěn)定性 // 167

11.6　 基于REINFORCE 算法的策略

梯度 // 169

11.7　延伸閱讀 // 171

11.8　小結(jié) // 172

第12 章　 基于非監(jiān)督式網(wǎng)絡(luò)的特征

學(xué)習(xí) // 173

12.1　生成模型 // 173

12.1.1　受限玻耳茲曼機(jī) // 173

12.1.2　深度信念網(wǎng)絡(luò) // 177

12.1.3　生成性對(duì)抗網(wǎng)絡(luò) // 178

12.1.4　改進(jìn)GAN // 182

12.2　半監(jiān)督式學(xué)習(xí) // 182

12.3　延伸閱讀 // 183

12.4　小結(jié) // 184

第13 章　 基于Theano 的深度學(xué)習(xí)

擴(kuò)展 // 185

13.1　 CPU 中Python 實(shí)現(xiàn)的Theano

操作 // 185

13.2　 GPU 中Python 實(shí)現(xiàn)的Theano

操作 // 188

13.3　 CPU 中C 實(shí)現(xiàn)的Theano 操作 //

190

13.4　 GPU 中C 實(shí)現(xiàn)的Theano 操作 //

193

13.5　 通過(guò)共享內(nèi)存的合并轉(zhuǎn)置，NVIDIA

并行 // 196

13.5.1　模型轉(zhuǎn)換 // 197

13.6　人工智能的未來(lái)發(fā)展 // 199

13.7　延伸閱讀 // 201

13.8　小結(jié) // 202