神經(jīng)網(wǎng)絡(luò)與PyTorch實(shí)戰(zhàn)

前言 

第1章　初識(shí)神經(jīng)網(wǎng)絡(luò)1 

1.1　例說神經(jīng)網(wǎng)絡(luò)1 

1.1.1　從圍棋和AlphaGo說起1 

1.1.2　人的神經(jīng)系統(tǒng)3 

1.1.3　人工神經(jīng)元3 

1.1.4　人工神經(jīng)網(wǎng)絡(luò)5 

1.1.5　神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)和權(quán)重的學(xué)習(xí)7 

1.2　神經(jīng)網(wǎng)絡(luò)與人工智能等概念的關(guān)系7 

1.2.1　人工智能和數(shù)據(jù)挖掘7 

1.2.2　機(jī)器學(xué)習(xí)和模式識(shí)別9 

1.2.3　人工神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)11 

1.2.4　各概念之間的聯(lián)系11 

1.3　本章小結(jié)12 

第2章　初識(shí)PyTorch13 

2.1　人工神經(jīng)網(wǎng)絡(luò)庫(kù)PyTorch13 

2.1.1　PyTorch是什么13 

2.1.2　編寫PyTorch程序14 

2.2　例說PyTorch14 

2.2.1　迷你AlphaGo介紹15 

2.2.2　迷你AlphaGo的完整實(shí)現(xiàn)16 

2.3　PyTorch學(xué)習(xí)路線19 

2.4　本章小結(jié)20 

第3章　使用PyTorch進(jìn)行科學(xué)計(jì)算21 

3.1　初識(shí)張量21 

3.1.1　張量的數(shù)學(xué)定義21 

3.1.2　PyTorch里的張量22 

3.2　構(gòu)造torch.Tensor類實(shí)例24 

3.2.1　構(gòu)造含有特定數(shù)據(jù)的張量24 

3.2.2　構(gòu)造特定大小的張量25 

3.2.3　構(gòu)造等比數(shù)列和等差數(shù)列張量26 

3.2.4　構(gòu)造隨機(jī)張量26 

3.3　組織張量的元素28 

3.3.1　重排張量元素28 

3.3.2　選取部分張量元素29 

3.3.3　張量的擴(kuò)展和拼接31 

3.4　張量的科學(xué)計(jì)算32 

3.4.1　有理運(yùn)算和廣播語(yǔ)義32 

3.4.2　逐元素運(yùn)算33 

3.4.3　張量點(diǎn)積和Einstein求和35 

3.4.4　統(tǒng)計(jì)函數(shù)38 

3.4.5　比較和邏輯運(yùn)算39 

3.5　例子：用蒙特卡洛算法計(jì)算圓周率40 

3.5.1　隨機(jī)計(jì)算與蒙特卡洛算法40 

3.5.2　蒙特卡洛算法求解圓周率的實(shí)現(xiàn)41 

3.6　本章小結(jié)42 

第4章　求解優(yōu)化問題43 

4.1　梯度及其計(jì)算43 

4.1.1　梯度的定義43 

4.1.2　梯度的性質(zhì)和計(jì)算45 

4.1.3　使用PyTorch計(jì)算梯度數(shù)值45 

4.2　優(yōu)化算法與torch.optim包46 

4.2.1　梯度下降算法46 

4.2.2　梯度下降算法的缺陷和解決方案48 

4.2.3　各種優(yōu)化算法50 

4.3　例子：Himmelblau函數(shù)的優(yōu)化55 

4.3.1　Himmelblau函數(shù)及可視化55 

4.3.2　求解Himmelblau的最小值57 

4.3.3　求解Himmelblau的局部極大值59 

4.4　本章小結(jié)59 

第5章　線性回歸60 

5.1　一元線性回歸60 

5.1.1　最小二乘法60 

5.1.2　正規(guī)方程法62 

5.2　多元線性回歸63 

5.3　其他損失情況下的線性回歸63 

5.3.1　MSE損失、損失和平滑損失64 

5.3.2　torch.nn子包與損失類65 

5.3.3　使用優(yōu)化器求解線性回歸66 

5.3.4　數(shù)據(jù)的歸一化68 

5.4　例子：世界人口的線性回歸70 

5.4.1　從維基百科頁(yè)面獲取世界人口數(shù)據(jù)70 

5.4.2　對(duì)世界人口做最小二乘法線性回歸71 

5.4.3　用優(yōu)化算法實(shí)現(xiàn)最小二乘回歸72 

5.5　本章小結(jié)74 

第6章　線性判決與邏輯回歸75 

6.1　線性判決與互熵?fù)p失75 

6.1.1　判定問題與準(zhǔn)確率75 

6.1.2　線性判決76 

6.1.3　極大似然和互熵?fù)p失77 

6.2　邏輯回歸78 

6.2.1　expit()函數(shù)和logit()函數(shù)78 

6.2.2　用優(yōu)化器實(shí)現(xiàn)邏輯回歸80 

6.2.3　Newton-Raphson方法81 

6.3　多項(xiàng)邏輯回歸82 

6.4　例子：數(shù)字圖像的識(shí)別84 

6.4.1　使用torchvision讀取MNIST數(shù)據(jù)集84 

6.4.2　利用多項(xiàng)邏輯回歸識(shí)別MNIST數(shù)據(jù)86 

6.5　例子：股票成交量預(yù)測(cè)88 

6.5.1　股票數(shù)據(jù)的讀取和可視化88 

6.5.2　成交量變化方向預(yù)測(cè)89 

6.6　本章小結(jié)91 

第7章　全連接神經(jīng)網(wǎng)絡(luò)92 

7.1　前饋神經(jīng)網(wǎng)絡(luò)92 

7.1.1　前饋神經(jīng)網(wǎng)絡(luò)的定義92 

7.1.2　使用torch.nn.Sequential類搭建前饋神經(jīng)網(wǎng)絡(luò)93 

7.1.3　權(quán)重的確定與反向傳播94 

7.2　全連接層和全連接神經(jīng)網(wǎng)絡(luò)95 

7.3　非線性激活96 

7.3.1　逐元素激活97 

7.3.2　非逐元素激活101 

7.4　網(wǎng)絡(luò)結(jié)構(gòu)的選擇102 

7.4.1　欠擬合和過擬合102 

7.4.2　訓(xùn)練集、驗(yàn)證集和測(cè)試集103 

7.5　例子：基于全連接網(wǎng)絡(luò)的非線性回歸105 

7.5.1　數(shù)據(jù)的生成和數(shù)據(jù)集分割105 

7.5.2　確定網(wǎng)絡(luò)結(jié)構(gòu)并訓(xùn)練網(wǎng)絡(luò)106 

7.5.3　測(cè)試性能108 

7.6　本章小結(jié)109 

第8章　卷積神經(jīng)網(wǎng)絡(luò)110 

8.1　卷積層110 

8.1.1　序列的互相關(guān)和卷積110 

8.1.2　一維張量的互相關(guān)114 

8.1.3　一維張量的轉(zhuǎn)置卷積117 

8.1.4　高維張量的互相關(guān)和轉(zhuǎn)置卷積121 

8.1.5　torch.nn包里的卷積層121 

8.2　池化層、視覺層和補(bǔ)全層123 

8.2.1　張量的池化124 

8.2.2　張量的反池化125 

8.2.3　torch.nn包里的池化層126 

8.2.4　張量的上采樣128 

8.2.5　torch.nn包里的視覺層130 

8.2.6　張量的補(bǔ)全運(yùn)算131 

8.2.7　torch.nn包里的補(bǔ)全層131 

8.3　例子：MNIST圖片分類的改進(jìn)132 

8.3.1　搭建卷積神經(jīng)網(wǎng)絡(luò)133 

8.3.2　卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和測(cè)試135 

8.4　本章小結(jié)137 

第9章　循環(huán)神經(jīng)網(wǎng)絡(luò)138 

9.1　神經(jīng)網(wǎng)絡(luò)的循環(huán)結(jié)構(gòu)138 

9.1.1　單向單層循環(huán)結(jié)構(gòu)138 

9.1.2　多層循環(huán)結(jié)構(gòu)139 

9.1.3　雙向循環(huán)結(jié)構(gòu)140 

9.2　循環(huán)神經(jīng)網(wǎng)絡(luò)中的循環(huán)單元141 

9.2.1　基本循環(huán)神經(jīng)元141 

9.2.2　長(zhǎng)短期記憶單元141 

9.2.3　門控循環(huán)單元144 

9.3　循環(huán)神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)145 

9.3.1　torch.nn子包中的循環(huán)單元類145 

9.3.2　torch.nn子包中的循環(huán)神經(jīng)網(wǎng)絡(luò)類146 

9.4　例子：人均GDP的預(yù)測(cè)147 

9.4.1　使用pandas-datareader讀取世界銀行數(shù)據(jù)庫(kù)147 

9.4.2　搭建LSTM預(yù)測(cè)模型148 

9.4.3　網(wǎng)絡(luò)的訓(xùn)練和使用149 

9.5　本章小結(jié)151 

第10章　生成對(duì)抗網(wǎng)絡(luò)152 

10.1　生成對(duì)抗