Python深度學(xué)習(xí)原理、算法與案例

第1章  深度學(xué)習(xí)概述 1
1.1  人工智能 1
1.2  機(jī)器學(xué)習(xí) 2
1.2.1  機(jī)器學(xué)習(xí)定義 2
1.2.2  機(jī)器學(xué)習(xí)流派 3
1.2.3  機(jī)器學(xué)習(xí)簡史 6
1.2.4  機(jī)器學(xué)習(xí)流程 7
1.3  深度學(xué)習(xí) 9
1.4  深度學(xué)習(xí)的應(yīng)用場景 10
1.4.1  技術(shù)類型 10
1.4.2  應(yīng)用場景 11
1.5  本章小結(jié) 12
1.6  復(fù)習(xí)題 12
參考文獻(xiàn) 13
第2章  機(jī)器學(xué)習(xí)基礎(chǔ) 14
2.1  基本概念 14
2.2  機(jī)器學(xué)習(xí)的三要素 15
2.2.1  模型 16
2.2.2  學(xué)習(xí)準(zhǔn)則 17
2.2.3  優(yōu)化算法 21
2.3  數(shù)據(jù)分析 23
2.3.1  描述性統(tǒng)計(jì)分析 23
2.3.2  相關(guān)分析 23
2.3.3  回歸分析 25
2.3.4  分類分析 26
2.3.5  聚類分析 26
2.4  估計(jì)、偏差和方差 27
2.4.1  點(diǎn)估計(jì) 27
2.4.2  偏差 28
2.4.3  方差和標(biāo)準(zhǔn)差 30
2.5  似然估計(jì) 31
2.5.1  條件對數(shù)似然和均方誤差 32
2.5.2  似然的性質(zhì) 33
2.6  特征工程 34
2.6.1  數(shù)據(jù)預(yù)處理 34
2.6.2  特征選擇 39
2.6.3  降維 44
2.7  本章小結(jié) 46
2.8  復(fù)習(xí)題 47
參考文獻(xiàn) 47
第3章  神經(jīng)網(wǎng)絡(luò)基礎(chǔ) 48
3.1  神經(jīng)網(wǎng)絡(luò)概述 48
3.1.1  神經(jīng)網(wǎng)絡(luò)簡史 48
3.1.2  神經(jīng)網(wǎng)絡(luò)基礎(chǔ)理論 49
3.2  線性神經(jīng)網(wǎng)絡(luò) 56
3.3  感知機(jī) 64
3.3.1  感知機(jī)模型 64
3.3.2  多層感知機(jī) 69
3.4  支持向量機(jī) 75
3.4.1  支持向量機(jī)的原理 75
3.4.2  線性支持向量機(jī)分類 81
3.4.3  非線性支持向量機(jī)分類 86
3.4.4  支持向量機(jī)回歸 93
3.5  本章小結(jié) 96
3.6  復(fù)習(xí)題 96
參考文獻(xiàn) 96
第4章  卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò) 98
4.1  卷積神經(jīng)網(wǎng)絡(luò) 98
4.1.1  卷積 100
4.1.2  卷積神經(jīng)網(wǎng)絡(luò) 102
4.1.3  幾種典型的卷積神經(jīng)網(wǎng)絡(luò) 107
4.2  循環(huán)神經(jīng)網(wǎng)絡(luò) 117
4.2.1  循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu) 118
4.2.2  循環(huán)神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)基礎(chǔ) 119
4.2.3  循環(huán)神經(jīng)網(wǎng)絡(luò)的計(jì)算能力 120
4.2.4  長短期記憶網(wǎng)絡(luò) 121
4.2.5  門控循環(huán)單元 125
4.2.6  雙向循環(huán)神經(jīng)網(wǎng)絡(luò) 130
4.2.7  深度循環(huán)神經(jīng)網(wǎng)絡(luò) 132
4.2.8  循環(huán)神經(jīng)網(wǎng)絡(luò)圖結(jié)構(gòu) 133
4.3  本章小結(jié) 135
4.4  復(fù)習(xí)題 136
參考文獻(xiàn) 136
第5章  正則化與深度學(xué)習(xí)優(yōu)化 137
5.1  正則化 137
5.1.1  訓(xùn)練誤差和泛化誤差 137
5.1.2  數(shù)據(jù)集增強(qiáng) 138
5.1.3  提前終止 138
5.1.4  Dropout 139
5.2  網(wǎng)絡(luò)優(yōu)化 142
5.3  優(yōu)化算法 143
5.3.1  小批量梯度下降 143
5.3.2  批量大小選擇 144
5.3.3  學(xué)習(xí)率調(diào)整 144
5.4  深度學(xué)習(xí)中的正則化 154
5.4.1  L1和L2正則化 155
5.4.2  權(quán)重衰減 156
5.4.3  提前終止 156
5.4.4  Dropout 160
5.4.5  數(shù)據(jù)增強(qiáng) 165
5.4.6  對抗訓(xùn)練 165
5.5  本章小結(jié) 169
5.6  復(fù)習(xí)題 170
參考文獻(xiàn) 170
第6章  深度學(xué)習(xí)用于計(jì)算機(jī)視覺 171
6.1  計(jì)算機(jī)視覺與深度學(xué)習(xí)概述 171
6.1.1  計(jì)算機(jī)視覺的任務(wù) 172
6.1.2  傳統(tǒng)計(jì)算機(jī)視覺面臨的挑戰(zhàn) 175
6.1.3  深度學(xué)習(xí)在計(jì)算機(jī)視覺領(lǐng)域的研究發(fā)展 177
6.1.4  深度學(xué)習(xí)在計(jì)算機(jī)視覺領(lǐng)域的應(yīng)用 178
6.2  計(jì)算機(jī)視覺應(yīng)用基礎(chǔ) 182
6.2.1  圖像數(shù)據(jù)的基本操作 182
6.2.2  常用的卷積神經(jīng)網(wǎng)絡(luò)的搭建 186
6.3  應(yīng)用案例：基于LeNet-5的手寫數(shù)字識別 196
6.3.1  MNIST數(shù)據(jù)集簡介 196
6.3.2  加載和預(yù)處理數(shù)據(jù) 197
6.3.3  創(chuàng)建LeNet-5模型 198
6.3.4  編譯和訓(xùn)練模型 200
6.3.5  使用模型進(jìn)行預(yù)測 202
6.3.6  主流程及完整代碼 206
6.4  本章小結(jié) 206
6.5  復(fù)習(xí)題 206
參考文獻(xiàn) 207
第7章  深度學(xué)習(xí)用于目標(biāo)檢測 208
7.1  目標(biāo)檢測的概念 208
7.2  Faster R-CNN 209
7.3  YOLO 214
7.4  SSD 218
7.5  應(yīng)用案例：基于YOLO的目標(biāo)檢測 220
7.5.1  基于Darknet的YOLO實(shí)現(xiàn)目標(biāo)檢測 220
7.5.2  基于Keras-YOLO實(shí)現(xiàn)目標(biāo)檢測 222
7.6  本章小結(jié) 229
7.7  復(fù)習(xí)題 229
參考文獻(xiàn) 229
第8章  深度學(xué)習(xí)用于文本分析 230
8.1  自然語言處理與文本分析 230
8.1.1  文本分析的常見任務(wù) 230
8.1.2  自然語言處理技術(shù)簡介 232
8.2  應(yīng)用案例：基于Encoder-Decoder模型的機(jī)器翻譯 239
8.2.1  Encoder-Decoder模型介紹 239
8.2.2  訓(xùn)練數(shù)據(jù)準(zhǔn)備 240
8.2.3  數(shù)據(jù)預(yù)處理 241
8.2.4  模型創(chuàng)建 243
8.2.5  模型訓(xùn)練 245
8.2.6  模型預(yù)測 246
8.2.7  主流程代碼 247
8.3  本章小結(jié) 248
8.4  復(fù)習(xí)題 248
參考文獻(xiàn) 249
第9章  深度強(qiáng)化學(xué)習(xí)的應(yīng)用 250
9.1  什么是深度強(qiáng)化學(xué)習(xí) 250
9.2  強(qiáng)化學(xué)習(xí)的應(yīng)用實(shí)例 251
9.3  強(qiáng)化學(xué)習(xí)的基本概念 252
9.4  強(qiáng)化學(xué)習(xí)的算法簡介 254
9.4.1  算法分類 254
9.4.2  問題求解步驟 255
9.4.3  Q-Learning 256
9.4.4  DQN 256
9.5  應(yīng)用案例：使用DQN算法學(xué)習(xí)玩CartPole游戲 257
9.5.1  CartPole游戲介紹 257
9.5.2  OpenAI Gym介紹 258
9.5.3  基于DQN的智能體實(shí)現(xiàn) 258
9.5.4  智能體強(qiáng)化訓(xùn)練 260
9.5.5  訓(xùn)練結(jié)果 262
9.6  本章小結(jié) 263
9.7  復(fù)習(xí)題 263
參考文獻(xiàn) 263
第10章  TensorFlow模型的應(yīng)用 264
10.1  TensorFlow簡介 264
10.2  TensorFlow入門 265
10.2.1  TensorFlow的靜態(tài)圖模式 265
10.2.2  TensorFlow的Graph和Session 274
10.2.3  TensorFlow的動(dòng)態(tài)圖模式 277
10.2.4  TensorFlow的損失函數(shù) 279
10.2.5  TensorFlow的優(yōu)化器 281
10.2.6  TensorFlow訓(xùn)練數(shù)據(jù)輸入 284
10.3  應(yīng)用案例：基于LeNet的手寫數(shù)字識別 287
10.3.1  MNIST 數(shù)據(jù)集簡介 287
10.3.2  LeNet的實(shí)現(xiàn)與講解 288
10.3.3  FashionMNIST數(shù)據(jù)集 296
10.4  應(yīng)用案例：圖像多標(biāo)簽分類實(shí)例 297
10.4.1  使用TFRecord生成訓(xùn)練數(shù)據(jù) 297
10.4.2  構(gòu)建多標(biāo)簽分類網(wǎng)絡(luò) 298
10.4.3  多標(biāo)簽訓(xùn)練模型 300
10.5  本章小結(jié) 301
10.6  復(fù)習(xí)題 301
參考文獻(xiàn) 302
第11章  Transformer模型的應(yīng)用 303
11.1  模型 303
11.2  基于位置的前饋網(wǎng)絡(luò) 304
11.3  殘差連接和層歸一化 305
11.4  編碼器 306
11.5  解碼器 307
11.6  應(yīng)用案例：英語-法語機(jī)器翻譯實(shí)例 310
11.7  本章小結(jié) 313
11.8  復(fù)習(xí)題 313
參考文獻(xiàn) 313
附錄A  線性代數(shù) 314
A.1  標(biāo)量、向量、矩陣和張量 314
A.2  向量空間 316
A.3  范數(shù) 317
A.4  矩陣 318
A.4.1  線性映射 318
A.4.2  矩陣操作 319
A.4.3  矩陣類型 321
A.4.4  矩陣分解 322
附錄B  概率論 323
B.1  概率論 323
B.2  事件和概率 323
B.2.1  隨機(jī)變量 324
B.2.2  離散隨機(jī)變量 324
B.2.3  連續(xù)隨機(jī)變量 325
B.2.4  累積分布函數(shù) 326
B.2.5  隨機(jī)向量 326
B.2.6  連續(xù)隨機(jī)向量 327
B.2.7  邊際分布 327
B.2.8  條件概率分布 328
B.2.9  貝葉斯定理 328
B.2.10  獨(dú)立與條件獨(dú)立 329
B.2.11  期望和方差 329
B.3  隨機(jī)過程 330
B.3.1  馬爾可夫過程 330
B.3.2  馬爾可夫鏈 331
B.3.3  高斯過程 331
附錄C  信息論 333
深度學(xué)習(xí)（Deep Learning）是人工智能領(lǐng)域的一個(gè)概念，和傳統(tǒng)的學(xué)習(xí)相比，深度學(xué)習(xí)強(qiáng)調(diào)學(xué)習(xí)的深度，揭示內(nèi)部規(guī)律。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域中一個(gè)新的研究方向，它被引入機(jī)器學(xué)習(xí)使其更接近初的目標(biāo)—人工智能。深度學(xué)習(xí)是學(xué)習(xí)樣本數(shù)據(jù)的內(nèi)在規(guī)律和表示層次，這些學(xué)習(xí)過程中獲得的信息對諸如文字、圖像和聲音等數(shù)據(jù)的解釋有很大的幫助。它的終目標(biāo)是讓機(jī)器能夠像人一樣具有分析學(xué)習(xí)能力，能夠識別文字、圖像和聲音等數(shù)據(jù)。深度學(xué)習(xí)是一個(gè)復(fù)雜的機(jī)器學(xué)習(xí)算法，在語音和圖像識別方面取得的效果遠(yuǎn)遠(yuǎn)超過先前的相關(guān)技術(shù)。
深度學(xué)習(xí)是一個(gè)多層神經(jīng)網(wǎng)絡(luò)，是一種機(jī)器學(xué)習(xí)方法。在深度學(xué)習(xí)出現(xiàn)之前，由于諸如局部解和梯度消失之類的技術(shù)問題，沒有對具有4層或更多層的深度神經(jīng)網(wǎng)絡(luò)進(jìn)行充分的訓(xùn)練，并且其性能也不佳。但是，近年來，Hinton等人通過研究多層神經(jīng)網(wǎng)絡(luò)，增強(qiáng)學(xué)習(xí)所需的計(jì)算機(jī)功能，以及通過Web的開發(fā)促進(jìn)培訓(xùn)數(shù)據(jù)的采購，使充分學(xué)習(xí)成為可能。結(jié)果，深度學(xué)習(xí)顯示出了高性能，壓倒了其他方法，解決了與語音、圖像和自然語言有關(guān)的問題，并在2010年開始流行。
作為人工智能重要的基礎(chǔ)技術(shù)之一，近年來深度學(xué)習(xí)逐步延伸到更多的應(yīng)用場景，如自動(dòng)駕駛、互聯(lián)網(wǎng)、安防、醫(yī)療等領(lǐng)域。隨著深度學(xué)習(xí)模型越來越大，所需的數(shù)據(jù)量越來越多，所需的AI算力資源和訓(xùn)練時(shí)間越來越長，深度學(xué)習(xí)的訓(xùn)練和推理性能將是重中之重。
傳統(tǒng)機(jī)器學(xué)習(xí)算法依賴人工設(shè)計(jì)特征，并進(jìn)行特征提取，而深度學(xué)習(xí)方法不需要人工，而是依賴算法自動(dòng)提取特征。深度學(xué)習(xí)模仿人類大腦的運(yùn)行方式，從經(jīng)驗(yàn)中學(xué)習(xí)獲取知識。這也是深度學(xué)習(xí)被看作黑盒子，可解釋性差的原因。隨著計(jì)算機(jī)軟硬件的飛速發(fā)展，現(xiàn)階段通過深度學(xué)習(xí)模擬人腦來解釋數(shù)據(jù)，包括圖像、文本和音頻等內(nèi)容。目前深度學(xué)習(xí)的主要應(yīng)用領(lǐng)域有智能手機(jī)、語音識別、機(jī)器翻譯、拍照翻譯、自動(dòng)駕駛等，在其他領(lǐng)域也能見到深度學(xué)習(xí)的身影，比如風(fēng)控、安防、智能零售、醫(yī)療領(lǐng)域和推薦系統(tǒng)等。
讀者需要了解的重要信息
本書作為機(jī)器學(xué)習(xí)與深度學(xué)習(xí)專業(yè)書籍，介紹機(jī)器學(xué)習(xí)的基礎(chǔ)知識、深度學(xué)習(xí)的理論基礎(chǔ)和算法，以及常見應(yīng)用場景及其Python實(shí)現(xiàn)。案例實(shí)踐的講解包含：算法分析、項(xiàng)目應(yīng)用目的與效果、模型構(gòu)建、數(shù)據(jù)準(zhǔn)備與預(yù)處理、模型訓(xùn)練和預(yù)測，以及代碼實(shí)現(xiàn)、問題分析和實(shí)驗(yàn)對比。所有示例均配有源代碼與數(shù)據(jù)。
本書采用理論與實(shí)踐相結(jié)合的方式，利用Python語言的強(qiáng)大功能，以小的編程代價(jià)進(jìn)行深度學(xué)習(xí)應(yīng)用實(shí)踐。本書展示如何將深度學(xué)習(xí)的算法應(yīng)用于場景實(shí)踐，如計(jì)算機(jī)視覺、目標(biāo)檢測、文本分析以及深度強(qiáng)化學(xué)習(xí)應(yīng)用，后還給出了深度學(xué)習(xí)的兩個(gè)框架模型應(yīng)用：TensorFlow和Transformer模型應(yīng)用。為了幫助讀者理解深度學(xué)習(xí)算法涉及的數(shù)學(xué)知識，本書還在附錄中給出了機(jī)器學(xué)習(xí)和深度學(xué)習(xí)中用到的數(shù)學(xué)基礎(chǔ)知識，如線性代數(shù)、概率論和信息論。
本書內(nèi)容
本書基于Python 3全程以真實(shí)案例驅(qū)動(dòng)，科學(xué)系統(tǒng)地介紹機(jī)器學(xué)習(xí)與深度學(xué)習(xí)領(lǐng)域的科學(xué)思維、  知識、專業(yè)工具、完整流程以及經(jīng)驗(yàn)技巧。
本書整體分11章主體內(nèi)容和3章附錄，系統(tǒng)地講解了深度學(xué)習(xí)基礎(chǔ)知識與領(lǐng)域應(yīng)用實(shí)踐。第1章簡要介紹了深度學(xué)習(xí)與機(jī)器學(xué)習(xí)的關(guān)系和深度學(xué)習(xí)應(yīng)用場景，第2章是機(jī)器學(xué)習(xí)基礎(chǔ)，第3章是神經(jīng)網(wǎng)絡(luò)基礎(chǔ)，第4章是卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)，第5章是正則化與深度學(xué)習(xí)優(yōu)化，第6章是計(jì)算機(jī)視覺應(yīng)用，第7章是目標(biāo)檢測應(yīng)用，第8章是文本分析應(yīng)用，第9章是深度強(qiáng)化學(xué)習(xí)應(yīng)用，第10章是TensorFlow框架應(yīng)用，第11章是Transformer框架應(yīng)用，附錄A是線性代數(shù)，附錄B是概率論，附錄C是信息論。本書的例子都是在Python 3集成開發(fā)環(huán)境Anaconda 3中經(jīng)過實(shí)際調(diào)試通過的典型案例，書中的大部分實(shí)驗(yàn)數(shù)據(jù)來源于GitHub，讀者可以參考實(shí)現(xiàn)。
示例源碼、PPT課件資源下載
本書配套70個(gè)示例源碼及PPT課件，需要用微信掃描下面的二維碼獲取。如果發(fā)現(xiàn)問題或者有任何建議，可發(fā)送郵件與作者聯(lián)系，電子郵箱為booksaga@163.com，郵件主題寫“Python深度學(xué)習(xí)原理、算法與案例”。
 
致  謝
本書完成之際，感謝李劍鋒、林慶發(fā)和鄧淇文等作者的努力付出。也要感謝同事，與他們的交流與探討使得本書得以修正錯(cuò)誤和完善知識結(jié)構(gòu)。由于作者水平有限，書中的紕漏之處在所難免，懇請讀者不吝賜教。本書編寫過程中參考的資源都已在參考文獻(xiàn)中列出，所有案例都提供了源代碼。
作  者  
2023年2月  
 
 
C.1  熵 333
C.1.1  自信息和熵 333
C.1.2  熵編碼 334
C.1.3  聯(lián)合熵和條件熵 334
C.2  互信息 334
C.3  交叉熵和散度 335
C.3.1  交叉熵 335
C.3.2  KL散度 335
C.3.3  JS散度 335
C.3.4  Wasserstein距離 336