神經(jīng)網(wǎng)絡(luò)與PyTorch實戰(zhàn)

前言 

第1章　初識神經(jīng)網(wǎng)絡(luò)1 

1.1　例說神經(jīng)網(wǎng)絡(luò)1 

1.1.1　從圍棋和AlphaGo說起1 

1.1.2　人的神經(jīng)系統(tǒng)3 

1.1.3　人工神經(jīng)元3 

1.1.4　人工神經(jīng)網(wǎng)絡(luò)5 

1.1.5　神經(jīng)網(wǎng)絡(luò)的設(shè)計和權(quán)重的學(xué)習(xí)7 

1.2　神經(jīng)網(wǎng)絡(luò)與人工智能等概念的關(guān)系7 

1.2.1　人工智能和數(shù)據(jù)挖掘7 

1.2.2　機器學(xué)習(xí)和模式識別9 

1.2.3　人工神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)11 

1.2.4　各概念之間的聯(lián)系11 

1.3　本章小結(jié)12 

第2章　初識PyTorch13 

2.1　人工神經(jīng)網(wǎng)絡(luò)庫PyTorch13 

2.1.1　PyTorch是什么13 

2.1.2　編寫PyTorch程序14 

2.2　例說PyTorch14 

2.2.1　迷你AlphaGo介紹15 

2.2.2　迷你AlphaGo的完整實現(xiàn)16 

2.3　PyTorch學(xué)習(xí)路線19 

2.4　本章小結(jié)20 

第3章　使用PyTorch進行科學(xué)計算21 

3.1　初識張量21 

3.1.1　張量的數(shù)學(xué)定義21 

3.1.2　PyTorch里的張量22 

3.2　構(gòu)造torch.Tensor類實例24 

3.2.1　構(gòu)造含有特定數(shù)據(jù)的張量24 

3.2.2　構(gòu)造特定大小的張量25 

3.2.3　構(gòu)造等比數(shù)列和等差數(shù)列張量26 

3.2.4　構(gòu)造隨機張量26 

3.3　組織張量的元素28 

3.3.1　重排張量元素28 

3.3.2　選取部分張量元素29 

3.3.3　張量的擴展和拼接31 

3.4　張量的科學(xué)計算32 

3.4.1　有理運算和廣播語義32 

3.4.2　逐元素運算33 

3.4.3　張量點積和Einstein求和35 

3.4.4　統(tǒng)計函數(shù)38 

3.4.5　比較和邏輯運算39 

3.5　例子：用蒙特卡洛算法計算圓周率40 

3.5.1　隨機計算與蒙特卡洛算法40 

3.5.2　蒙特卡洛算法求解圓周率的實現(xiàn)41 

3.6　本章小結(jié)42 

第4章　求解優(yōu)化問題43 

4.1　梯度及其計算43 

4.1.1　梯度的定義43 

4.1.2　梯度的性質(zhì)和計算45 

4.1.3　使用PyTorch計算梯度數(shù)值45 

4.2　優(yōu)化算法與torch.optim包46 

4.2.1　梯度下降算法46 

4.2.2　梯度下降算法的缺陷和解決方案48 

4.2.3　各種優(yōu)化算法50 

4.3　例子：Himmelblau函數(shù)的優(yōu)化55 

4.3.1　Himmelblau函數(shù)及可視化55 

4.3.2　求解Himmelblau的最小值57 

4.3.3　求解Himmelblau的局部極大值59 

4.4　本章小結(jié)59 

第5章　線性回歸60 

5.1　一元線性回歸60 

5.1.1　最小二乘法60 

5.1.2　正規(guī)方程法62 

5.2　多元線性回歸63 

5.3　其他損失情況下的線性回歸63 

5.3.1　MSE損失、損失和平滑損失64 

5.3.2　torch.nn子包與損失類65 

5.3.3　使用優(yōu)化器求解線性回歸66 

5.3.4　數(shù)據(jù)的歸一化68 

5.4　例子：世界人口的線性回歸70 

5.4.1　從維基百科頁面獲取世界人口數(shù)據(jù)70 

5.4.2　對世界人口做最小二乘法線性回歸71 

5.4.3　用優(yōu)化算法實現(xiàn)最小二乘回歸72 

5.5　本章小結(jié)74 

第6章　線性判決與邏輯回歸75 

6.1　線性判決與互熵損失75 

6.1.1　判定問題與準確率75 

6.1.2　線性判決76 

6.1.3　極大似然和互熵損失77 

6.2　邏輯回歸78 

6.2.1　expit()函數(shù)和logit()函數(shù)78 

6.2.2　用優(yōu)化器實現(xiàn)邏輯回歸80 

6.2.3　Newton-Raphson方法81 

6.3　多項邏輯回歸82 

6.4　例子：數(shù)字圖像的識別84 

6.4.1　使用torchvision讀取MNIST數(shù)據(jù)集84 

6.4.2　利用多項邏輯回歸識別MNIST數(shù)據(jù)86 

6.5　例子：股票成交量預(yù)測88 

6.5.1　股票數(shù)據(jù)的讀取和可視化88 

6.5.2　成交量變化方向預(yù)測89 

6.6　本章小結(jié)91 

第7章　全連接神經(jīng)網(wǎng)絡(luò)92 

7.1　前饋神經(jīng)網(wǎng)絡(luò)92 

7.1.1　前饋神經(jīng)網(wǎng)絡(luò)的定義92 

7.1.2　使用torch.nn.Sequential類搭建前饋神經(jīng)網(wǎng)絡(luò)93 

7.1.3　權(quán)重的確定與反向傳播94 

7.2　全連接層和全連接神經(jīng)網(wǎng)絡(luò)95 

7.3　非線性激活96 

7.3.1　逐元素激活97 

7.3.2　非逐元素激活101 

7.4　網(wǎng)絡(luò)結(jié)構(gòu)的選擇102 

7.4.1　欠擬合和過擬合102 

7.4.2　訓(xùn)練集、驗證集和測試集103 

7.5　例子：基于全連接網(wǎng)絡(luò)的非線性回歸105 

7.5.1　數(shù)據(jù)的生成和數(shù)據(jù)集分割105 

7.5.2　確定網(wǎng)絡(luò)結(jié)構(gòu)并訓(xùn)練網(wǎng)絡(luò)106 

7.5.3　測試性能108 

7.6　本章小結(jié)109 

第8章　卷積神經(jīng)網(wǎng)絡(luò)110 

8.1　卷積層110 

8.1.1　序列的互相關(guān)和卷積110 

8.1.2　一維張量的互相關(guān)114 

8.1.3　一維張量的轉(zhuǎn)置卷積117 

8.1.4　高維張量的互相關(guān)和轉(zhuǎn)置卷積121 

8.1.5　torch.nn包里的卷積層121 

8.2　池化層、視覺層和補全層123 

8.2.1　張量的池化124 

8.2.2　張量的反池化125 

8.2.3　torch.nn包里的池化層126 

8.2.4　張量的上采樣128 

8.2.5　torch.nn包里的視覺層130 

8.2.6　張量的補全運算131 

8.2.7　torch.nn包里的補全層131 

8.3　例子：MNIST圖片分類的改進132 

8.3.1　搭建卷積神經(jīng)網(wǎng)絡(luò)133 

8.3.2　卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和測試135 

8.4　本章小結(jié)137 

第9章　循環(huán)神經(jīng)網(wǎng)絡(luò)138 

9.1　神經(jīng)網(wǎng)絡(luò)的循環(huán)結(jié)構(gòu)138 

9.1.1　單向單層循環(huán)結(jié)構(gòu)138 

9.1.2　多層循環(huán)結(jié)構(gòu)139 

9.1.3　雙向循環(huán)結(jié)構(gòu)140 

9.2　循環(huán)神經(jīng)網(wǎng)絡(luò)中的循環(huán)單元141 

9.2.1　基本循環(huán)神經(jīng)元141 

9.2.2　長短期記憶單元141 

9.2.3　門控循環(huán)單元144 

9.3　循環(huán)神經(jīng)網(wǎng)絡(luò)的實現(xiàn)145 

9.3.1　torch.nn子包中的循環(huán)單元類145 

9.3.2　torch.nn子包中的循環(huán)神經(jīng)網(wǎng)絡(luò)類146 

9.4　例子：人均GDP的預(yù)測147 

9.4.1　使用pandas-datareader讀取世界銀行數(shù)據(jù)庫147 

9.4.2　搭建LSTM預(yù)測模型148 

9.4.3　網(wǎng)絡(luò)的訓(xùn)練和使用149 

9.5　本章小結(jié)151 

第10章　生成對抗網(wǎng)絡(luò)152 

10.1　生成對抗