深度學習：數(shù)學基礎(chǔ)、算法模型與實戰(zhàn)

前言
第1章 深度學習方法概述/
1.1閱讀本書前需要的準備工作/
1.2機器學習方法的定義/
1.3為什么要使用機器學習方法/
1.4深度學習方法的產(chǎn)生與發(fā)展/
1.5深度學習應(yīng)用領(lǐng)域與發(fā)展前景/
1.6如何開始學習/
1.7本書的章節(jié)編排/
1.8總結(jié)/
第2章 深度學習的數(shù)學基礎(chǔ)/
2.1深度學習中的線性代數(shù)/
2.1.1機器學習中的數(shù)據(jù)與矩陣/
2.1.2矩陣的運算/
2.1.3圖像的矩陣格式/
2.1.4文本的矩陣格式/
2.2優(yōu)化算法/
2.2.1求一元函數(shù)的極小值問題/
2.2.2多元函數(shù)求導與梯度下降法/
2.2.3使用PyTorch進行的求導和優(yōu)化/
2.2.4方程求解與欠定問題和正則化/
2.2.5再論雙十一預(yù)測問題與超定問題/
2.3概率與統(tǒng)計/
2.3.1概率、條件概率與貝葉斯理論/
2.3.2極大似然估計與最大后驗估計/
2.4總結(jié)/
第3章 深度學習基礎(chǔ)模型和實現(xiàn)：全連接網(wǎng)絡(luò)/
3.1邏輯回歸算法/
3.1.1數(shù)據(jù)和模型/
3.1.2交叉熵損失函數(shù)/
3.1.3小批量梯度下降法/
3.1.4正則化影響/
3.2訓練集、驗證集、測試集及精度評價標準/
3.2.1分類問題精度評價標準/
3.2.2回歸問題精度評價標準/
3.2.3過擬合和欠擬合問題/
3.3多層神經(jīng)網(wǎng)絡(luò)模型/
3.3.1線性可分與線性不可分/
3.3.2多層神經(jīng)網(wǎng)絡(luò)自動構(gòu)建特征解決分類問題 /
3.3.3神經(jīng)網(wǎng)絡(luò)的深度、廣度及高層API使用/
3.4使用NumPy構(gòu)建神經(jīng)網(wǎng)絡(luò)庫（復現(xiàn)PyTorch）/
3.4.1陣求導/
3.4.2交叉熵損失函數(shù)的導數(shù)/
3.4.3自動微分（求導）庫的構(gòu)建/
3.4.4完善深度學習庫的高層API /
3.5回歸、分類等監(jiān)督學習模型/
3.6深度學習中的優(yōu)化算法/
3.6.1帶動量的梯度下降法/
3.6.2均方誤差傳遞迭代算法/
3.6.3自適應(yīng)矩估計迭代算法/
3.7總結(jié)/
第4章 深度學習基礎(chǔ)模型和實現(xiàn)：卷積神經(jīng)網(wǎng)絡(luò)/
4.1信號、圖像分析基礎(chǔ)/
4.2從卷積到卷積神經(jīng)網(wǎng)絡(luò)/
4.3卷積神經(jīng)網(wǎng)絡(luò)模型的構(gòu)建/
4.3.1從神經(jīng)網(wǎng)絡(luò)角度看待卷積神經(jīng)網(wǎng)絡(luò)/
4.3.2卷積神經(jīng)網(wǎng)絡(luò)其他輔助結(jié)構(gòu)/
4.4卷積神經(jīng)網(wǎng)絡(luò)反向傳播算法/
4.5卷積神經(jīng)網(wǎng)絡(luò)的感受野問題/
4.6總結(jié)/
第5章 深度學習基礎(chǔ)模型和實現(xiàn)：循環(huán)神經(jīng)網(wǎng)絡(luò)和Transformer/
5.1文本向量化/
5.1.1語句、詞分割算法之BPE編碼/
5.1.2語句、詞分割算法之一元模型/
5.2循環(huán)神經(jīng)網(wǎng)絡(luò)和文本建模/
5.2.1文本分類任務(wù)和基礎(chǔ)循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)/
5.2.2長短時記憶單元（LSTM）/
5.2.3門控循環(huán)結(jié)構(gòu)/
5.3PyTorch的數(shù)據(jù)API使用/
5.4循環(huán)神經(jīng)網(wǎng)絡(luò)反向傳播/
5.5文本處理中的前后文問題/
5.5.1雙向循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)/
5.5.2使用卷積神經(jīng)網(wǎng)絡(luò)進行文本分詞/
5.6Transformer模型/
5.6.1向量的加權(quán)相加、自注意力機制和多頭注意力機制/
5.6.2位置編碼/
5.6.3注意力掩碼與單向模型/
5.7總結(jié)/
第6章 深度學習基礎(chǔ)模型和實現(xiàn)：深層設(shè)計和優(yōu)化結(jié)構(gòu)/
6.1構(gòu)建一個更深的網(wǎng)絡(luò)/
6.1.1深度神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計改進/
6.1.2深度神經(jīng)網(wǎng)絡(luò)設(shè)計中的梯度消失問題/
6.1.3殘差網(wǎng)絡(luò)設(shè)計/
6.2標準化層/
6.2.1批標準化/
6.2.2層標準化層/
6.3過擬合問題/
6.3.1數(shù)據(jù)增強/深度學習：數(shù)學基礎(chǔ)、算法模型與實戰(zhàn)目錄
6.3.2正則化方法/
6.3.3DropOut層/
6.4參數(shù)初始化和遷移學習/
6.4.1參數(shù)的隨機初始化問題/
6.4.2遷移學習問題/
6.5總結(jié)/
第7章 信號和圖形學應(yīng)用/
7.1信號和圖像的濾波與“超級夜景”/
7.1.1卷積神經(jīng)網(wǎng)絡(luò)的上采樣方式：轉(zhuǎn)置卷積、插值和像素洗牌 /
7.1.2一維自編碼器模型：波形的濾波與重建/
7.1.3二維數(shù)據(jù)濾波：圖像濾波和超級夜景功能/
7.2物體檢測和時序數(shù)據(jù)異常檢測/
7.2.1物體檢測模型設(shè)計：基于滑動窗的物體檢測模型/
7.2.2物體檢測模型設(shè)計：多物體檢測的單一模型/
7.2.3Faster RCNN：用于物體檢測的二階模型/
7.2.4用于一維時序數(shù)據(jù)、波形異常、信號檢測/
7.3圖像特征提取與分類問題/
7.4對抗生成網(wǎng)絡(luò)模型：圖像生成與高頻約束問題/
7.4.1圖像生成問題：GAN和ACGAN/
7.4.2基于對抗生成模型的超分辨率采樣任務(wù)：SRGAN/
7.4.3對抗生成網(wǎng)絡(luò)圖像轉(zhuǎn)換實踐：Pix2Pix/
7.4.4非成對的圖形轉(zhuǎn)換：CycleGAN/
7.5變分自編碼器/
7.5.1無監(jiān)督機器學習與隱變量分析/
7.5.2變分自編碼器模型/
7.6總結(jié)/
第8章 自然語言和時序數(shù)據(jù)處理類應(yīng)用/
8.1單向模型與文本和時序數(shù)據(jù)預(yù)測問題/
8.1.1中文文本生成/
8.1.2時序數(shù)據(jù)（股票等）預(yù)測問題/
8.1.3單向卷積模型：因果卷積/
8.2基于循環(huán)網(wǎng)絡(luò)的編碼解碼模型/
8.2.1基礎(chǔ)編碼解碼結(jié)構(gòu)/
8.2.2基于循環(huán)神經(jīng)網(wǎng)絡(luò)的編碼解碼結(jié)構(gòu)中的文本補0問題/
8.2.3序列到序列模型中的注意力機制與自然語言翻譯/
8.3基于Transformer模型的自然語言處理模型/
8.3.1基于Transformer的序列到序列模型/
8.3.2BERT模型原理/
8.3.3GPT模型原理 /
8.4總結(jié)/
第9章 圖像、信號、文本等跨模態(tài)轉(zhuǎn)換/
9.1語音識別問題/
9.1.1基于短時傅里葉變換和CTC模型的語音識別/
9.1.2卷積神經(jīng)網(wǎng)絡(luò)直接處理原始波形進行語音識別/
9.1.3使用編碼解碼（Seq2Seq）模型完成語音識別 /
9.2圖像文本混合任務(wù) /
9.2.1光學字符識別任務(wù)/
9.2.2圖像標題生成/
9.2.3文本到圖像自動合成/
9.2.4自然科學應(yīng)用：深度學習層析成像技術(shù)/
9.3強化學習/
9.4圖神經(jīng)網(wǎng)絡(luò)/
9.4.1圖及其相關(guān)概念/
9.4.2空間域圖卷積神經(jīng)網(wǎng)絡(luò) /
9.4.3譜域圖卷積神經(jīng)網(wǎng)絡(luò)/
9.5總結(jié)/
第10章 深度學習模型壓縮與加速/
10.1對模型進行優(yōu)化與壓縮/
10.1.1卷積基礎(chǔ)結(jié)構(gòu)優(yōu)化/
10.1.2卷積層的優(yōu)化/
10.1.3批標準化層融合/
10.1.4知識蒸餾/
10.2深度學習模型壓縮和量化/
10.2.1深度學習模型浮點計算精度/
10.2.2深度學習模型量化/
10.2.3量化模型計算實現(xiàn)/
10.3模型部署/
10.4總結(jié)