基于R語言的高級深度學(xué)習(xí)

目錄
前言
部分　深 度 學(xué) 習(xí) 基 礎(chǔ)
第1章　深度學(xué)習(xí)架構(gòu)與技術(shù) 2
1.1　R語言實(shí)現(xiàn)的深度學(xué)習(xí) 3
1.1.1　深度學(xué)習(xí)發(fā)展趨勢 3
1.1.2　R軟件包的版本 3
1.2　深度學(xué)習(xí)網(wǎng)絡(luò)模型的開發(fā)過程 5
1.2.1　為深度學(xué)習(xí)網(wǎng)絡(luò)模型準(zhǔn)備數(shù)據(jù) 5
1.2.2　開發(fā)模型架構(gòu) 7
1.2.3　編譯模型 9
1.2.4　擬合模型 11
1.2.5　評估模型性能 12
1.3　R語言和RStudio實(shí)現(xiàn)的深度學(xué)習(xí)技術(shù) 13
1.3.1　多類分類問題 14
1.3.2　回歸問題 14
1.3.3　圖像分類 15
1.3.4　卷積神經(jīng)網(wǎng)絡(luò) 15
1.3.5　自編碼器 15
1.3.6　遷移學(xué)習(xí) 16
1.3.7　生成對抗網(wǎng)絡(luò) 16
1.3.8　文本分類的深度學(xué)習(xí)網(wǎng)絡(luò) 16
1.3.9　循環(huán)神經(jīng)網(wǎng)絡(luò) 17
1.3.10　長短期記憶網(wǎng)絡(luò) 17
1.3.11　卷積循環(huán)網(wǎng)絡(luò) 17
1.3.12　提示、技巧和實(shí)踐 18
1.4　本章小結(jié) 18
第二部分　預(yù)測與分類問題的深度學(xué)習(xí)
第2章　多類分類問題的深度神經(jīng)網(wǎng)絡(luò) 20
2.1　胎兒心電圖數(shù)據(jù)集 20
2.1.1　醫(yī)學(xué)數(shù)據(jù)集 20
2.1.2　數(shù)據(jù)集分類 21
2.2　建模數(shù)據(jù)準(zhǔn)備 22
2.2.1　數(shù)值型變量的歸一化 22
2.2.2　數(shù)據(jù)分割 22
2.2.3　獨(dú)熱編碼 23
2.3　深度神經(jīng)網(wǎng)絡(luò)模型的創(chuàng)建與擬合 24
2.3.1　模型架構(gòu)開發(fā) 24
2.3.2　模型編譯 26
2.3.3　模型擬合 26
2.4　模型評價(jià)和預(yù)測 28
2.4.1　損失函數(shù)與準(zhǔn)確率計(jì)算 29
2.4.2　混淆矩陣 29
2.5　性能優(yōu)化提示與實(shí)踐 31
2.5.1　增加隱藏層的實(shí)驗(yàn) 31
2.5.2　隱藏層增加單元數(shù)量的實(shí)驗(yàn) 34
2.5.3　多單元多層網(wǎng)絡(luò)的實(shí)驗(yàn) 36
2.5.4　分類不平衡問題的實(shí)驗(yàn) 39
2.5.5　模型的保存與重新上載 42
2.6　本章小結(jié) 43
第3章　回歸問題的深度神經(jīng)網(wǎng)絡(luò) 44
3.1　波士頓房價(jià)數(shù)據(jù)集 44
3.2　建模數(shù)據(jù)準(zhǔn)備 46
3.2.1　神經(jīng)網(wǎng)絡(luò)的可視化 46
3.2.2　數(shù)據(jù)分割 48
3.2.3　歸一化 48
3.3　回歸問題深度神經(jīng)網(wǎng)絡(luò)模型的創(chuàng)建與擬合 49
3.3.1　參數(shù)總數(shù)計(jì)算 50
3.3.2　模型編譯 50
3.3.3　模型擬合 50
3.4　模型評價(jià)和預(yù)測 52
3.4.1　評價(jià) 52
3.4.2　預(yù)測 53
3.4.3　改進(jìn) 54
3.5　性能優(yōu)化提示與實(shí)踐 58
3.5.1　輸出變量的對數(shù)變換 58
3.5.2　模型性能 61
3.6　本章小結(jié) 62
第三部分　面向計(jì)算機(jī)視覺的深度學(xué)習(xí)
第4章　圖像分類與識別 64
4.1　處理圖像數(shù)據(jù) 64
4.2　數(shù)據(jù)準(zhǔn)備 68
4.2.1　尺寸與形狀調(diào)整 69
4.2.2　創(chuàng)建訓(xùn)練、驗(yàn)證和測試數(shù)據(jù) 70
4.2.3　獨(dú)熱編碼 72
4.3　模型創(chuàng)建與擬合 73
4.3.1　模型架構(gòu)開發(fā) 73
4.3.2　模型編譯 74
4.3.3　模型擬合 74
4.4　模型評價(jià)和預(yù)測 76
4.4.1　訓(xùn)練數(shù)據(jù)的損失、準(zhǔn)確率和混淆矩陣 76
4.4.2　訓(xùn)練數(shù)據(jù)的預(yù)測概率 77
4.4.3　測試數(shù)據(jù)的損失、準(zhǔn)確率和混淆矩陣 78
4.4.4　測試數(shù)據(jù)的預(yù)測概率 79
4.5　性能優(yōu)化提示與實(shí)踐 80
4.5.1　更深層次的神經(jīng)網(wǎng)絡(luò) 80
4.5.2　結(jié)果 81
4.6　本章小結(jié) 85
第5章　基于卷積神經(jīng)網(wǎng)絡(luò)的圖像分類 86
5.1　數(shù)據(jù)準(zhǔn)備 86
5.1.1　fashion-MNIST圖像數(shù)據(jù)集 87
5.1.2　訓(xùn)練與測試數(shù)據(jù) 88
5.1.3　尺寸與形狀調(diào)整 91
5.1.4　獨(dú)熱編碼 92
5.2　卷積神經(jīng)網(wǎng)絡(luò)的層 92
5.2.1　模型架構(gòu)與相關(guān)計(jì)算 92
5.2.2　模型編譯 94
5.3　模型擬合 95
5.3.1　模型擬合代碼 95
5.3.2　準(zhǔn)確率和損失 95
5.4　模型評價(jià)和預(yù)測 96
5.4.1　訓(xùn)練數(shù)據(jù) 96
5.4.2　測試數(shù)據(jù) 98
5.4.3　互聯(lián)網(wǎng)上的時(shí)尚物品圖像 100
5.5　性能優(yōu)化提示與實(shí)踐 103
5.5.1　圖像修正 104
5.5.2　架構(gòu)變更 105
5.6　本章小結(jié) 110
第6章　基于Keras的自編碼器神經(jīng)網(wǎng)絡(luò)應(yīng)用 111
6.1　自編碼器的類型 111
6.2　降維自編碼器 112
6.2.1　Fashion-MNIST數(shù)據(jù) 112
6.2.2　編碼器模型 114
6.2.3　解碼器模型 114
6.2.4　自編碼器模型 115
6.2.5　模型的編譯與擬合 116
6.2.6　圖像重建 117
6.3　去噪自編碼器 119
6.3.1　MNIST數(shù)據(jù) 119
6.3.2　數(shù)據(jù)準(zhǔn)備 120
6.3.3　添加噪聲 121
6.3.4　編碼器模型 122
6.3.5　解碼器模型 123
6.3.6　自編碼器模型 124
6.3.7　模型擬合 125
6.3.8　圖像重建 126
6.4　圖像修正自編碼器 128
6.4.1　需要修正的圖像 128
6.4.2　圖像清洗 129
6.4.3　編碼器模型 130
6.4.4　解碼器模型 131
6.4.5　模型編譯與擬合 132
6.4.6　基于訓(xùn)練數(shù)據(jù)的圖像重建 132
6.4.7　基于新數(shù)據(jù)的圖像重建 133
6.5　本章小結(jié) 136
第7章　基于遷移學(xué)習(xí)的小數(shù)據(jù)圖像分類 137
7.1　使用預(yù)訓(xùn)練模型識別圖像 137
7.1.1　圖像讀取 138
7.1.2　輸入數(shù)據(jù)預(yù)處理 141
7.1.3　前五類別 142
7.2　處理CIFAR10數(shù)據(jù)集 142
7.2.1　樣本圖像 144
7.2.2　預(yù)處理和預(yù)測 145
7.3　基于卷積神經(jīng)網(wǎng)絡(luò)的圖像分類 146
7.3.1　數(shù)據(jù)準(zhǔn)備 146
7.3.2　卷積神經(jīng)網(wǎng)絡(luò)模型 148
7.3.3　模型性能 150
7.4　基于預(yù)訓(xùn)練RESNET50模型的圖像分類 152
7.4.1　模型架構(gòu) 152
7.4.2　預(yù)訓(xùn)練網(wǎng)絡(luò)權(quán)重凍結(jié) 154
7.4.3　模型擬合 155
7.5　模型評價(jià)和預(yù)測 156
7.5.1　訓(xùn)練數(shù)據(jù)的損失、準(zhǔn)確率和混淆矩陣 156
7.5.2　測試數(shù)據(jù)的損失、準(zhǔn)確率和混淆矩陣 157
7.6　性能優(yōu)化提示與實(shí)踐 159
7.6.1　adam優(yōu)化器的實(shí)驗(yàn) 159
7.6.2　超參調(diào)整 161
7.6.3　VGG16作為預(yù)訓(xùn)練網(wǎng)絡(luò)的實(shí)驗(yàn) 165
7.7　本章小結(jié) 168
第8章　基于生成對抗網(wǎng)絡(luò)的圖像生成 169
8.1　生成對抗網(wǎng)絡(luò)概述 169
8.2　處理MNIST圖像數(shù)據(jù) 170
8.2.1　訓(xùn)練數(shù)據(jù)的數(shù)字5 170
8.2.2　數(shù)據(jù)處理 172
8.3　生成器網(wǎng)絡(luò)構(gòu)建 172
8.3.1　網(wǎng)絡(luò)架構(gòu) 172
8.3.2　生成器網(wǎng)絡(luò)信息匯總 173
8.4　判別器網(wǎng)絡(luò)構(gòu)建 174
8.4.1　網(wǎng)絡(luò)架構(gòu) 174
8.4.2　判別器網(wǎng)絡(luò)信息匯總 175
8.5　網(wǎng)絡(luò)訓(xùn)練 176
8.5.1　存儲偽造圖像和損失的初始設(shè)置 176
8.5.2　訓(xùn)練過程 177
8.6　結(jié)果檢查 178
8.6.1　判別器與生成對抗網(wǎng)絡(luò)的損失 179
8.6.2　偽造圖像 180
8.7　性能優(yōu)化提示與實(shí)踐 181
8.7.1　生成器網(wǎng)絡(luò)與判別器網(wǎng)絡(luò)的更改 181
8.7.2　更改的影響 182
8.7.3　生成手寫數(shù)字8的圖像 184
8.8　本章小結(jié) 186
第四部分　自然語言處理問題的深度學(xué)習(xí)
第9章　文本分類的深度學(xué)習(xí)網(wǎng)絡(luò) 188
9.1　文本數(shù)據(jù)集 188
9.1.1　UCI機(jī)器學(xué)習(xí)資源庫 188
9.1.2　Keras中的文本數(shù)據(jù) 189
9.2 為模型構(gòu)建準(zhǔn)備數(shù)據(jù) 191
9.2.1　詞性標(biāo)注 191
9.2.2　文本轉(zhuǎn)換為整數(shù)序列 192
9.2.3　填充與截?cái)?193
9.2.4　推文情感分類模型的開發(fā) 194
9.3　深度學(xué)習(xí)網(wǎng)絡(luò)開發(fā) 196
9.3.1　獲取IMDb電影評論數(shù)據(jù) 197
9.3.2　構(gòu)建分類模型 199
9.3.3　模型編譯 200
9.3.4　模型擬合 200
9.4　模型評價(jià)和預(yù)測 203
9.4.1　利用訓(xùn)練數(shù)據(jù)的評價(jià) 203
9.4.2　利用測試數(shù)據(jù)的評價(jià) 204
9.5　性能優(yōu)化提示與實(shí)踐 204
9.5.1　序列長度和優(yōu)化器的實(shí)驗(yàn) 205
9.5.2　測試數(shù)據(jù)的損失、準(zhǔn)確率及混淆矩陣 207
9.6　本章小結(jié) 207
第10章　基于循環(huán)神經(jīng)網(wǎng)絡(luò)的文本分類 209
10.1　為模型構(gòu)建準(zhǔn)備數(shù)據(jù) 209
10.1.1　獲取數(shù)據(jù) 209
10.1.2　序列填充 211
10.2　循環(huán)神經(jīng)網(wǎng)絡(luò)模型的開發(fā) 213
10.2.1　參數(shù)的計(jì)算 213
10.2.2　模型編譯 214
10.3　模型擬合 215
10.3.1　擬合代碼 215
10.3.2　準(zhǔn)確率和損失 215
10.4　模型評價(jià)和預(yù)測 216
10.4.1　訓(xùn)練數(shù)據(jù) 217
10.4.2　測試數(shù)據(jù) 217
10.5　性能優(yōu)化提示與實(shí)踐 218
10.5.1　簡單循環(huán)神經(jīng)網(wǎng)絡(luò)層的單元數(shù) 219
10.5.2　簡單循環(huán)神經(jīng)網(wǎng)絡(luò)層使用的不同激活函數(shù) 220
10.5.3　增加循環(huán)層 222
10.5.4　填充序列的長度 223
10.6　本章小結(jié) 227
第11章　基于長短期記憶網(wǎng)絡(luò)的文本分類 228
11.1　采用LSTM網(wǎng)絡(luò)的原因 228
11.2　為模型構(gòu)建準(zhǔn)備數(shù)據(jù) 229
11.3　構(gòu)建LSTM網(wǎng)絡(luò)模型 229
11.3.1　LSTM網(wǎng)絡(luò)架構(gòu) 230
11.3.2　LSTM網(wǎng)絡(luò)模型的編譯 231
11.4　LSTM網(wǎng)絡(luò)模型的擬合 231
11.4.1　擬合代碼 231
11.4.2　損失與準(zhǔn)確率 231
11.5　模型性能評價(jià) 232
11.5.1　基于訓(xùn)練數(shù)據(jù)的模型評價(jià) 232
11.5.2　基于測試數(shù)據(jù)的模型評價(jià) 234
11.6　性能優(yōu)化提示與實(shí)踐 234
11.6.1　利用adam優(yōu)化器的實(shí)驗(yàn) 235
11.6.2　帶附加層的LSTM網(wǎng)絡(luò)的實(shí)驗(yàn) 238
11.6.3　雙向LSTM層的實(shí)驗(yàn) 242
11.7　本章小結(jié) 247
第12章　基于卷積循環(huán)神經(jīng)網(wǎng)絡(luò)的文本分類 248
12.1　處理reuter_50_50數(shù)據(jù)集 248
12.1.1　讀取訓(xùn)練數(shù)據(jù) 249
12.1.2　讀取測試數(shù)據(jù) 250
12.2　為模型構(gòu)建準(zhǔn)備數(shù)據(jù) 251
12.2.1　詞性標(biāo)注與文本-整數(shù)序列轉(zhuǎn)換 251
12.2.2　標(biāo)簽改為整數(shù) 254
12.2.3　序列的填充與截?cái)?254
12.2.4　標(biāo)簽的獨(dú)熱編碼 257
12.3　模型架構(gòu)開發(fā) 257
12.4　模型的編譯與擬合 260
12.4.1　模型編譯 260
12.4.2　模型擬合 260
12.5　模型評價(jià)和預(yù)測 262
12.5.1　基于訓(xùn)練數(shù)據(jù)的模型評價(jià) 262
12.5.2　基于測試數(shù)據(jù)的模型評價(jià) 264
12.6　性能優(yōu)化提示與實(shí)踐 265
12.6.1　減小批量的實(shí)驗(yàn) 266
12.6.2　CNN批量規(guī)模、核規(guī)模以及過濾器的實(shí)驗(yàn) 269
12.7　本章小結(jié) 272
第五部分　未　來　展　望
第13章　提示、技巧和展望 275
13.1　基于TensorBoard的訓(xùn)練性能可視化 275
13.2　基于LIME的深度學(xué)習(xí)網(wǎng)絡(luò)模型可視化 278
13.3　基于tfruns的模型訓(xùn)練可視化 280
13.4　網(wǎng)絡(luò)訓(xùn)練的早停 282
13.5　本章小結(jié) 284