深度學習架構與實踐

目錄
前言
緒論1
第1章 深度學習的架構8
11如何區(qū)分人工智能、機器學習、深度學習8
111人工智能：從概念提出到走向繁榮8
112機器學習：一種實現人工智能的方法9
113深度學習：一種實現機器學習的技術9
114人工智能、機器學習和深度學習的關系9
12深度學習的發(fā)展歷史及研究現狀10
121深度學習的發(fā)展歷史10
122深度學習的研究現狀11
13深度學習的基本內容及理論基礎13
131深度學習的基本內容13
132深度學習的理論基礎15
14深度學習的發(fā)展趨勢與未來15
141深度學習的發(fā)展趨勢15
142深度學習的未來16
第2章 深度學習相關數學基礎17
21線性代數17
211標量、向量、矩陣和張量17
212矩陣和向量相乘18
213單位矩陣和逆矩陣19
214線性相關和生成子空間19
215范數21
216特殊類型的矩陣和向量22
217特征分解23
218奇異值分解24
219Moore-Penrose偽逆25
2110跡運算25
2111行列式26
2112主成分分析26
22概率論與信息論29
221隨機試驗、頻率與概率、隨機變量29
222隨機變量的分布情況30
223二維隨機變量31
224期望、方差、協(xié)方差、相關系數33
225常用的概率分布34
226常用函數的有用性質37
227連續(xù)型變量的技術細節(jié)39
228信息論40
229結構化概率模型41
23擬合、梯度下降與傳播43
231過擬合和欠擬合43
232隨機梯度下降44
233正向傳播與反向傳播47
第3章 神經網絡的架構48
31神經網絡與神經元48
32深度神經網絡的概念與結構49
321深度神經網絡的概念49
322深度神經網絡的結構49
33深度神經網絡的分類50
331前饋深度網絡50
332反饋深度網絡51
333雙向深度網絡51
34自動編碼器與玻爾茲曼機51
341自動編碼器51
342玻爾茲曼機52
第4章 卷積神經網絡53
41卷積神經網絡的概念53
42卷積神經網絡的基本結構54
421卷積層55
422池化層56
423全連接層56
43非線性層與激活函數57
431Sigmoid激活函數57
432Tanh函數59
433Relu函數60
44感受野與權值共享61
441局部感受野61
442權值共享61
45卷積神經網絡與反卷積神經網絡62
451卷積神經網絡及其特點62
452反卷積神經網絡及其特點63
46卷積神經網絡的訓練63
第5章 循環(huán)神經網絡64
51RNN的概念64
52RNN的結構64
53RNN的訓練65
531反向傳播算法的原理65
532反向傳播算法的步驟65
54RNN的實現71
541梯度爆炸與梯度消失71
542基于RNN的語言模型例子71
543語言模型訓練過程73
55RNN的發(fā)展74
551雙向循環(huán)神經網絡74
552長短時記憶結構75
第6章 生成對抗網絡7761GAN的概念77
611對抗思想與GAN77
612最大似然估計及最優(yōu)化問題79
613GAN的訓練過程81
62GAN的原理82
621生成器82
622判別器83
63GAN的應用84
64GAN的發(fā)展85
641GAN的優(yōu)缺點85
642GAN的未來發(fā)展方向86
第7章 Python相關基礎8771Python程序結構87
711循環(huán)結構87
712分支結構89
72NumPy操作90
721NumPy的主要特點91
722ndarray91
723NumPy-數據類型94
724NumPy-數組屬性94
725NumPy-數組創(chuàng)建例程96
726NumPy-切片和索引98
727NumPy-字符串函數99
728NumPy-算數函數100
729NumPy-算數運算100
7210NumPy-統(tǒng)計函數101
7211NumPy-排序、搜索和計數函數102
7212NumPy-字節(jié)交換103
7213NumPy-副本和視圖103
7214NumPy-矩陣庫104
7215NumPy-線性代數105
73函數105
731Python中函數的應用105
732Python函數的定義107
733Python函數的調用108
734為函數提供說明文檔109
74第三方資源110
第8章 TensorFlow、Theano、Caffe的框架與安裝113
81TensorFlow的框架與安裝113
811TensorFlow的簡介113
812TensorFlow的架構113
813TensorFlow的特點114
814TensorFlow的安裝114
82Theano的框架與安裝118
821Theano的簡介118
822Theano的安裝119
83Caffe的架構與安裝121
831Caffe的簡介121
832Caffe的安裝122
第9章 TensorFlow、Theano、Caffe的原理及應用124
91TensorFlow的原理及應用124
911TensorFlow的工作原理124
912TensorFlow的簡單應用126
913TensorFlow的復雜應用129
92Theano的基本語法及應用145
921Theano的基本語法145
922Theano在Windows下的常用實例149
923用Theano來編寫一個簡單的神經網絡154
93Caffe的結構、寫法及應用157
931Caffe的結構157
932Caffe的寫法157
933Caffe的訓練與測試167
第10章 手寫數字識別實例177
101字符識別的意義177
102字符識別的設計與實現177
1021實驗簡介177
1022實驗環(huán)境搭建178
103單層神經網絡搭建178
1031網絡搭建過程178
1032梯度下降180
104多層神經網絡搭建183
1041Sigmoid激活函數184
1042Relu激活函數184
1043衰減學習率187
1044添加dropout解決過擬合現象188
105卷積神經網絡190
第11章 自動生成圖像描述實例195
111自動生成圖像描述的目標195
112自動生成圖像描述的設計198
113語言生成模型201
114自動生成圖像描述的實現203
115實驗結果及分析221
第12章 唇語識別實例225
121唇語識別技術的目標225
122特征提取225
1221CNN的唇部視覺特征提取225
1222RNN的時序特征提取226
1223特征分類算法SVM、KNN、Softmax228
123唇語識別模型網絡架構230
1231抽取視頻幀算法與視頻唇部區(qū)域定位230
1232圖像特征提取網絡架構233
1233基于注意力機制的時間特征提取架構234
1234唇語識別模型與整體識別流程235
124實驗結果及分析239
1241數據集與預處理239
1242實驗結果239
1243可視化分析242
參考文獻246