TensorFlow深度學(xué)習(xí)算法原理與編程實戰(zhàn)

第一部分探索深度學(xué)習(xí)之方式的開始
第1章開篇
1.1人工智能的發(fā)展
1.1.1萌芽
1.1.2復(fù)蘇
1.1.3現(xiàn)代實踐：大數(shù)據(jù)+深度神經(jīng)網(wǎng)絡(luò)模型
1.2大數(shù)據(jù)
1.3機(jī)器學(xué)習(xí)與深度學(xué)習(xí)
1.3.1機(jī)器學(xué)習(xí)
1.3.2深度學(xué)習(xí)
1.3.3同人工智能的關(guān)系
1.4人工神經(jīng)網(wǎng)絡(luò)與TensorFlow
1.4.1人工神經(jīng)網(wǎng)絡(luò)
1.4.2TensorFlow
1.5其他主流深度學(xué)習(xí)框架介紹
1.5.1Caffe
1.5.2Torch
1.5.3Theano
1.5.4MXNet
1.5.5Keras
1.6機(jī)器學(xué)習(xí)的常見任務(wù)
1.6.1分類
1.6.2回歸
1.6.3去噪
1.6.4轉(zhuǎn)錄
1.6.5機(jī)器翻譯
1.6.6異常檢測
1.6.7結(jié)構(gòu)化輸出
1.7深度學(xué)習(xí)的現(xiàn)代應(yīng)用
1.7.1計算機(jī)視覺
1.7.2自然語言處理
1.7.3語音識別
第2章安裝TensorFlow
2.1安裝前的須知
2.1.1檢查硬件是否達(dá)標(biāo)
2.1.2推薦選用GPU進(jìn)行訓(xùn)練
2.1.3為什么選擇Linux系統(tǒng)
2.1.4為什么選擇Python語言
2.2安裝Anaconda
2.3TensorFlow的兩個主要依賴包
2.3.1Protocol Buffer
2.3.2Bazel
2.4安裝CUDA和cuDNN
2.4.1CUDA
2.4.2cuDNN
2.5正式安裝TensorFlow
2.5.1使用pip安裝
2.5.2從源代碼編譯并安裝
2.6測試你的TensorFlow
2.6.1運(yùn)行向量相加的例子
2.6.2加載過程存在的一些問題
2.7推薦使用IDE
第3章TensorFlow編程策略
3.1初識計算圖與張量
3.2計算圖——TensorFlow的計算模型
3.3張量——TensorFlow的數(shù)據(jù)模型
3.3.1概念
3.3.2使用張量
3.4會話——TensorFlow的運(yùn)行模型
3.4.1TensorFlow系統(tǒng)結(jié)構(gòu)概述
3.4.2簡單使用會話
3.4.3使用with/as環(huán)境上下文管理器
3.4.4Session的參數(shù)配置
3.4.5placeholder機(jī)制
3.5TensorFlow變量
3.5.1創(chuàng)建變量
3.5.2變量與張量
3.6管理變量的變量空間
3.6.1get_variable()函數(shù)
3.6.2variable_scope()與name_scope()
第二部分TensorFlow實現(xiàn)深度網(wǎng)絡(luò)
第4章深度前饋神經(jīng)網(wǎng)絡(luò)
4.1網(wǎng)絡(luò)的前饋方式
4.2全連接
4.2.1神經(jīng)元與全連接結(jié)構(gòu)
4.2.2前向傳播算法
4.3線性模型的局限性
4.4激活函數(shù)
4.4.1常用激活函數(shù)
4.4.2激活函數(shù)實現(xiàn)去線性化
4.5多層網(wǎng)絡(luò)解決異或運(yùn)算
4.6損失函數(shù)
4.6.1經(jīng)典損失函數(shù)
4.6.2自定義損失函數(shù)
第5章優(yōu)化網(wǎng)絡(luò)的方法
5.1基于梯度的優(yōu)化
5.1.1梯度下降算法
5.1.2隨機(jī)梯度下降
5.2反向傳播
5.2.1簡要解釋反向傳播算法
5.2.2自適應(yīng)學(xué)習(xí)率算法
5.2.3TensorFlow提供的優(yōu)化器
5.3學(xué)習(xí)率的獨(dú)立設(shè)置
5.3.1指數(shù)衰減的學(xué)習(xí)率
5.3.2其他優(yōu)化學(xué)習(xí)率的方法
5.4擬合
5.4.1過擬合和欠擬合
5.4.2正則化的方法
5.4.3Bagging方法
5.4.4Dropout方法
第6章全連神經(jīng)網(wǎng)絡(luò)的經(jīng)典實踐
6.1MNIST數(shù)據(jù)集
6.2網(wǎng)絡(luò)的設(shè)計
6.3超參數(shù)和驗證集
6.4與簡單模型的對比
第7章卷積神經(jīng)網(wǎng)絡(luò)
7.1準(zhǔn)備性的認(rèn)識
7.1.1圖像識別與經(jīng)典數(shù)據(jù)集
7.1.2卷積網(wǎng)絡(luò)的神經(jīng)科學(xué)基礎(chǔ)
7.1.3卷積神經(jīng)網(wǎng)絡(luò)的歷史
7.2卷積
7.2.1卷積運(yùn)算
7.2.2卷積運(yùn)算的稀疏連接
7.2.3卷積運(yùn)算的參數(shù)共享
7.2.4卷積運(yùn)算的平移等變
7.2.5多卷積核
7.2.6卷積層的代碼實現(xiàn)
7.3池化
7.3.1池化過程
7.3.2常用池化函數(shù)
7.3.3池化層的代碼實現(xiàn)
7.4實現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)的簡例
7.4.1卷積神經(jīng)網(wǎng)絡(luò)的一般框架
7.4.2用簡單卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)Cifar-10數(shù)據(jù)集分類
7.5圖像數(shù)據(jù)處理
7.5.1圖像編解碼處理
7.5.2翻轉(zhuǎn)圖像
7.5.3圖像色彩調(diào)整
7.5.4圖像標(biāo)準(zhǔn)化處理
7.5.5調(diào)整圖像大小
7.5.6圖像的標(biāo)注框
第8章經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)
8.1LeNet-5卷積網(wǎng)絡(luò)模型
8.1.1模型結(jié)構(gòu)
8.1.2TensorFlow實現(xiàn)
8.2AlexNet卷積網(wǎng)絡(luò)模型
8.2.1模型結(jié)構(gòu)
8.2.2TensorFlow實現(xiàn)
8.3VGGNet卷積網(wǎng)絡(luò)模型
8.3.1模型結(jié)構(gòu)
8.3.2TensorFlow實現(xiàn)
8.4InceptionNet-V3卷積網(wǎng)絡(luò)模型
8.4.1模型結(jié)構(gòu)
8.4.2Inception V3 Module的實現(xiàn)
8.4.3使用Inception V3完成模型遷移
8.5ResNet卷積網(wǎng)絡(luò)模型
8.5.1模型結(jié)構(gòu)
8.5.2TensorFlow實現(xiàn)
第9章循環(huán)神經(jīng)網(wǎng)絡(luò)
9.1循環(huán)神經(jīng)網(wǎng)絡(luò)簡介
9.1.1循環(huán)神經(jīng)網(wǎng)絡(luò)的前向傳播程序設(shè)計
9.1.2計算循環(huán)神經(jīng)網(wǎng)絡(luò)的梯度
9.1.3循環(huán)神經(jīng)網(wǎng)絡(luò)的不同設(shè)計模式
9.2自然語言建模與詞向量
9.2.1統(tǒng)計學(xué)語言模型
9.2.2Word2Vec
9.2.3用TensorFlow實現(xiàn)Word2Vec
9.3LSTM實現(xiàn)自然語言建模
9.3.1長短時記憶網(wǎng)絡(luò)（LSTM）
9.3.2LSTM在自然語言建模中的應(yīng)用
9.3.3循環(huán)神經(jīng)網(wǎng)絡(luò)的Dropout
9.4循環(huán)神經(jīng)網(wǎng)絡(luò)的變種
9.4.1雙向循環(huán)神經(jīng)網(wǎng)絡(luò)
9.4.2深層循環(huán)神經(jīng)網(wǎng)絡(luò)
第10章深度強(qiáng)化學(xué)習(xí)
10.1理解基本概念
10.2深度強(qiáng)化學(xué)習(xí)的思路
10.3典型應(yīng)用場景舉例
10.3.1場景1：機(jī)械臂自控
10.3.2場景2：自動游戲系統(tǒng)
10.3.3場景3：自動駕駛
10.3.4場景4：智能圍棋系統(tǒng)
10.4Q學(xué)習(xí)與深度Q網(wǎng)絡(luò)
10.4.1Q學(xué)習(xí)與深度Q學(xué)習(xí)
10.4.2深度Q網(wǎng)絡(luò)
第三部分TensorFlow的使用進(jìn)階
第11章數(shù)據(jù)讀取
11.1文件格式
11.1.1TFRecord格式
11.1.2CSV格式
11.2隊列
11.2.1數(shù)據(jù)隊列
11.2.2文件隊列
11.3使用多線程處理輸入的數(shù)據(jù)
11.3.1使用Coordinator類管理線程
11.3.2使用QueueRunner創(chuàng)建線程
11.4組織數(shù)據(jù)batch
第12章模型持久化
12.1通過代碼實現(xiàn)
12.2模型持久化的原理
12.2.1model.ckpt.mate文件
12.2.2從.index與.data文件讀取變量的值
12.3持久化的MNIST手寫字識別
12.4PB文件
第13章TensorBoard可視化
13.1TensorBoard簡要介紹
13.2MNIST手寫字識別的可視化
13.2.1實現(xiàn)的過程
13.2.2標(biāo)量數(shù)據(jù)可視化結(jié)果
13.2.3圖像數(shù)據(jù)可視化結(jié)果
13.2.4計算圖可視化結(jié)果
13.3其他監(jiān)控指標(biāo)可視化
第14章加速計算
14.1TensorFlow支持的設(shè)備
14.2TensorFlow單機(jī)實現(xiàn)
14.2.1查看執(zhí)行運(yùn)算的設(shè)備
14.2.2device()函數(shù)的使用
14.3并行訓(xùn)練的原理
14.3.1數(shù)據(jù)并行
14.3.2模型并行
14.4單機(jī)多GPU加速TensorFlow程序
14.4.1實現(xiàn)的過程
14.4.2多GPU并行的可視化
14.5分布式TensorFlow概述