面向移動(dòng)設(shè)備的深度學(xué)習(xí)：基于TensorFlow Lite，ML Kit 和Flutter

第1章  移動(dòng)設(shè)備深度學(xué)習(xí)簡(jiǎn)介 1
1.1  人工智能驅(qū)動(dòng)的移動(dòng)設(shè)備的增長(zhǎng) 1
1.1.1  支持人工智能的硬件變化 1
1.1.2  移動(dòng)設(shè)備需要AI芯片的原因 2
1.1.3  使用AI在移動(dòng)設(shè)備上改善用戶體驗(yàn) 3
1.1.4  個(gè)性化 3
1.1.5  虛擬助手 3
1.1.6  面部識(shí)別 4
1.1.7  人工智能驅(qū)動(dòng)的相機(jī) 5
1.1.8  預(yù)測(cè)文本 6
1.1.9  流行的使用人工智能的移動(dòng)應(yīng)用程序 7
1.1.10  Netflix 7
1.1.11  Seeing AI 8
1.1.12  Allo 8
1.1.13  English Language Speech Assistant 8
1.1.14  Socratic 8
1.2  機(jī)器學(xué)習(xí)和深度學(xué)習(xí) 9
1.2.1  機(jī)器學(xué)習(xí)詳解 9
1.2.2  深度學(xué)習(xí)詳解 10
1.2.3  輸入層 11
1.2.4  隱藏層 11
1.2.5  輸出層 11
1.2.6  激活函數(shù) 12
1.3  一些常見的深度學(xué)習(xí)架構(gòu) 12
1.3.1  卷積神經(jīng)網(wǎng)絡(luò) 12
1.3.2  生成對(duì)抗網(wǎng)絡(luò) 14
1.3.3  循環(huán)神經(jīng)網(wǎng)絡(luò) 15
1.3.4  長(zhǎng)短期記憶網(wǎng)絡(luò) 16
1.4  強(qiáng)化學(xué)習(xí)和NLP 16
1.4.1  強(qiáng)化學(xué)習(xí) 17
1.4.2  自然語言處理 17
1.5  在Android和iOS上集成人工智能的方法 18
1.5.1  Firebase ML Kit 18
1.5.2  Core ML 19
1.5.3  Caffe 2 20
1.5.4  TensorFlow 20
1.6  小結(jié) 22
第2章  移動(dòng)視覺—使用設(shè)備內(nèi)置模型執(zhí)行人臉檢測(cè) 23
2.1  技術(shù)要求 23
2.2  圖像處理簡(jiǎn)介 23
2.2.1  理解圖像 24
2.2.2  操作圖像 25
2.2.3  旋轉(zhuǎn) 25
2.2.4  灰度轉(zhuǎn)換 26
2.3  使用Flutter開發(fā)人臉檢測(cè)應(yīng)用程序 27
2.3.1  添加pub依賴項(xiàng) 27
2.3.2  構(gòu)建應(yīng)用程序 28
2.3.3  創(chuàng)建個(gè)屏幕 30
2.3.4  構(gòu)建行標(biāo)題 31
2.3.5  使用按鈕小部件構(gòu)建行 31
2.3.6  創(chuàng)建整個(gè)用戶界面 34
2.3.7  創(chuàng)建第二個(gè)屏幕 35
2.3.8  獲取圖像文件 35
2.3.9  分析圖像以檢測(cè)人臉 36
2.3.10  標(biāo)記檢測(cè)到的人臉 37
2.3.11  在屏幕上顯示終圖像 39
2.3.12  創(chuàng)建終的應(yīng)用程序 40
2.4  小結(jié) 41
第3章  使用Actions on Google平臺(tái)開發(fā)智能聊天機(jī)器人 43
3.1  技術(shù)要求 43
3.2  了解可用于創(chuàng)建聊天機(jī)器人的工具 44
3.2.1  Wit.ai 44
3.2.2  Dialogflow 45
3.2.3  Dialogflow工作原理 45
3.3  創(chuàng)建Dialogflow賬戶 47
3.4  創(chuàng)建Dialogflow代理 48
3.5  了解Dialogflow控制臺(tái) 49
3.5.1  使用Dialogflow控制臺(tái) 49
3.5.2  創(chuàng)建Intent并抓取實(shí)體 50
3.6  創(chuàng)建你的個(gè)Google Action 51
3.6.1  Actions on Google平臺(tái)和Google Assistant的關(guān)系 51
3.6.2  Actions on Google平臺(tái)的意義 51
3.7  創(chuàng)建Actions on Google項(xiàng)目 53
3.7.1  創(chuàng)建Actions on Google項(xiàng)目示例 53
3.7.2  創(chuàng)建與Google Assistant的集成 54
3.8  實(shí)現(xiàn)Webhook 56
3.9  將Webhook部署到Cloud Functions 58
3.10  創(chuàng)建一個(gè)Actions on Google版本 58
3.11  為對(duì)話式應(yīng)用程序創(chuàng)建用戶界面 60
3.11.1  創(chuàng)建文本控制器 61
3.11.2  創(chuàng)建ChatMessage 63
3.12  集成Dialogflow代理 68
3.13  添加與Assistant的音頻交互 70
3.13.1  添加插件 70
3.13.2  添加SpeechRecognition 71
3.13.3  添加麥克風(fēng)按鈕 72
3.14  小結(jié) 75
第4章  識(shí)別植物物種 77
4.1  技術(shù)要求 77
4.2  圖像分類簡(jiǎn)介 78
4.3  了解項(xiàng)目架構(gòu) 78
4.4  Cloud Vision API簡(jiǎn)介 80
4.5  配置Cloud Vision API以進(jìn)行圖像識(shí)別 82
4.5.1  啟用Cloud Vision API 82
4.5.2  創(chuàng)建Cloud Vision API密鑰 84
4.6  使用SDK/工具構(gòu)建模型 85
4.6.1  自定義模型的兩種方法 85
4.6.2  Google Colaboratory簡(jiǎn)介 86
4.7  創(chuàng)建用于圖像識(shí)別的自定義TensorFlow Lite模型 88
4.8  創(chuàng)建Flutter應(yīng)用程序 93
4.8.1  在兩種不同的模型之間進(jìn)行選擇 94
4.8.2  創(chuàng)建第二個(gè)屏幕 97
4.8.3  創(chuàng)建用戶界面 97
4.8.4  添加功能 99
4.8.5  在屏幕上顯示所選圖像 100
4.9  運(yùn)行圖像識(shí)別程序 102
4.9.1  使用Cloud Vision API 102
4.9.2  使用設(shè)備內(nèi)置的TensorFlow Lite模型 104
4.9.3  使用結(jié)果更新用戶界面 107
4.10  小結(jié) 110
第5章  為攝像頭畫面生成實(shí)時(shí)字幕 111
5.1  設(shè)計(jì)項(xiàng)目架構(gòu) 111
5.2  理解圖像字幕生成器 112
5.2.1  了解數(shù)據(jù)集 114
5.2.2  構(gòu)建圖像字幕生成模型 116
5.2.3  初始化字幕數(shù)據(jù)集 116
5.2.4  準(zhǔn)備字幕數(shù)據(jù)集 118
5.2.5  訓(xùn)練 120
5.2.6  測(cè)試 126
5.2.7  創(chuàng)建一個(gè)簡(jiǎn)單的一鍵部署圖像字幕生成模型 127
5.3  了解攝像頭插件 132
5.3.1  安裝攝像頭插件 133
5.3.2  添加持久存儲(chǔ)和正確執(zhí)行的方法 133
5.3.3  編寫代碼 133
5.4  創(chuàng)建攝像頭應(yīng)用程序 134
5.4.1  攝像頭應(yīng)用程序組成部分 134
5.4.2  構(gòu)建攝像頭預(yù)覽 135
5.4.3  從攝像頭生成圖像字幕 138
5.5  創(chuàng)建終應(yīng)用程序 142
5.6  小結(jié) 143
第6章  構(gòu)建人工智能認(rèn)證系統(tǒng) 145
6.1  技術(shù)要求 145
6.2  一個(gè)簡(jiǎn)單的登錄應(yīng)用程序 145
6.2.1  登錄應(yīng)用程序的流程圖 145
6.2.2  創(chuàng)建用戶界面 147
6.3  添加Firebase身份驗(yàn)證功能 153
6.3.1  創(chuàng)建auth.dart 155
6.3.2  在SignupSigninScreen中添加身份驗(yàn)證功能 158
6.3.3  創(chuàng)建MainScreen 159
6.3.4  創(chuàng)建HomeScreen 161
6.3.5  創(chuàng)建main.dart 163
6.4  了解身份驗(yàn)證的異常檢測(cè) 164
6.5  用于驗(yàn)證用戶的自定義模型 165
6.5.1  為檢查身份認(rèn)證的有效性構(gòu)建模型 165
6.5.2  托管自定義身份認(rèn)證的驗(yàn)證模型 168
6.6  實(shí)現(xiàn)ReCaptcha以防止垃圾郵件 170
6.6.1  關(guān)于ReCaptcha v2 171
6.6.2  獲取API密鑰 171
6.6.3  代碼集成 173
6.7  在Flutter中部署模型 175
6.8  小結(jié) 177
第7章  語音/多媒體處理—使用AI生成音樂 179
7.1  設(shè)計(jì)項(xiàng)目的架構(gòu) 179
7.2  理解多媒體處理 180
7.2.1  圖像處理 181
7.2.2  音頻處理 186
7.2.3  Magenta 187
7.2.4  視頻處理 189
7.3  開發(fā)基于RNN的音樂生成模型 192
7.3.1  創(chuàng)建基于LSTM的模型 193
7.3.2  使用Flask部署模型 196
7.4  在Android和iOS上部署音頻生成API 200
7.4.1  創(chuàng)建UI 201
7.4.2  添加音頻播放器 204
7.4.3  部署模型 206
7.4.4  創(chuàng)建終應(yīng)用程序 209
7.5  小結(jié) 210
第8章  基于強(qiáng)化神經(jīng)網(wǎng)絡(luò)的國(guó)際象棋引擎 211
8.1  強(qiáng)化學(xué)習(xí)簡(jiǎn)介 211
8.2  手機(jī)游戲中的強(qiáng)化學(xué)習(xí) 213
8.3  探索Google的DeepMind 214
8.3.1  AlphaGo 214
8.3.2  Alpha Zero 215
8.3.3  蒙特卡羅樹搜索 216
8.4  用于Connect 4游戲的類Alpha Zero AI 218
8.4.1  創(chuàng)建棋盤的虛擬表示 220
8.4.2  允許根據(jù)游戲規(guī)則移動(dòng) 222
8.4.3  狀態(tài)管理系統(tǒng) 224
8.4.4  生成游戲玩法 225
8.4.5  生成游戲玩法樣本 226
8.4.6  系統(tǒng)訓(xùn)練 227
8.4.7  蒙特卡羅樹搜索實(shí)現(xiàn) 228
8.4.8  神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn) 228
8.4.9  創(chuàng)建驅(qū)動(dòng)腳本 229
8.5  基礎(chǔ)項(xiàng)目架構(gòu) 231
8.6  為國(guó)際象棋引擎開發(fā)GCP托管的REST API 231
8.6.1  了解通用國(guó)際象棋接口 233
8.6.2  在GCP上部署 235
8.6.3  請(qǐng)求增加GPU實(shí)例的配額 235
8.6.4  創(chuàng)建GPU實(shí)例 236
8.6.5  部署腳本 237
8.7  在Android上創(chuàng)建一個(gè)簡(jiǎn)單的國(guó)際象棋UI 241
8.7.1  向pubspec.yaml添加依賴項(xiàng) 242
8.7.2  理解映射結(jié)構(gòu) 243
8.7.3  放置棋子的實(shí)際圖像 245
8.7.4  使棋子可移動(dòng) 248
8.8  將國(guó)際象棋引擎API與UI集成 250
8.8.1  游戲邏輯 250
8.8.2  創(chuàng)建終應(yīng)用程序 254
8.9  小結(jié) 255
第9章  構(gòu)建超分辨率圖像應(yīng)用程序 257
9.1  基本項(xiàng)目架構(gòu) 257
9.2  理解GAN 258
9.3  了解圖像超分辨率的工作原理 261
9.3.1  理解圖像分辨率 262
9.3.2  像素分辨率 262
9.3.3  空間分辨率 262
9.3.4  時(shí)間分辨率 263
9.3.5  光譜分辨率 263
9.3.6  輻射分辨率 263
9.3.7  理解SRGAN 264
9.4  為超分辨率創(chuàng)建TensorFlow模型 265
9.4.1  項(xiàng)目目錄結(jié)構(gòu) 265
9.4.2  為超分辨率創(chuàng)建SRGAN模型 265
9.5  為應(yīng)用程序構(gòu)建UI 267
9.6  從設(shè)備的本地存儲(chǔ)中獲取圖片 271
9.7  在DigitalOcean上托管TensorFlow模型 273
9.7.1  創(chuàng)建一個(gè)Flask服務(wù)器腳本 274
9.7.2  將Flask腳本部署到DigitalOcean Droplet 275
9.8  在Flutter上集成托管的自定義模型 279
9.9  創(chuàng)建終應(yīng)用程序 282
9.10  小結(jié) 283
第10章  未來之路 285
10.1  了解移動(dòng)應(yīng)用程序在深度學(xué)習(xí)方面的趨勢(shì) 285
10.1.1  Math Solver 285
10.1.2  Netflix 286
10.1.3  Google Map 287
10.1.4  Tinder 287
10.1.5  Snapchat 287
10.2  探索移動(dòng)設(shè)備上深度學(xué)習(xí)的發(fā)展 288
10.2.1  Google MobileNet 288
10.2.2  阿里巴巴移動(dòng)神經(jīng)網(wǎng)絡(luò) 289
10.3  探索移動(dòng)應(yīng)用程序中深度學(xué)習(xí)的當(dāng)前研究領(lǐng)域 289
10.3.1  時(shí)裝圖像 290
10.3.2  自注意力生成對(duì)抗網(wǎng)絡(luò) 290
10.3.3  圖像動(dòng)態(tài)化 291
10.4  小結(jié) 292
附錄A 293
A.1  在云端虛擬機(jī)上設(shè)置深度學(xué)習(xí)環(huán)境 293
A.1.1  創(chuàng)建GCP賬號(hào)并啟用結(jié)算功能 293
A.1.2  創(chuàng)建項(xiàng)目和GCP計(jì)算引擎實(shí)例 295
A.1.3  配置VM實(shí)例以執(zhí)行深度學(xué)習(xí) 296
A.1.4  在虛擬機(jī)上安裝TensorFlow 299
A.1.5  在虛擬機(jī)上安裝NLTK并下載數(shù)據(jù)包 300
A.2  安裝Dart SDK 300
A.2.1  Windows 300
A.2.2  macOS 301
A.2.3  Linux 301
A.3  安裝Flutter SDK 301
A.3.1  Windows 302
A.3.2  macOS 303
A.3.3  Linux 304
A.4  配置Firebase 305
A.4.1  創(chuàng)建Firebase項(xiàng)目 305
A.4.2  配置Android項(xiàng)目 306
A.4.3  配置iOS項(xiàng)目 308
A.5  設(shè)置Visual Studio Code 310
A.5.1  安裝Flutter和Dart插件 311
A.5.2  使用flutter doctor驗(yàn)證設(shè)置 311
A.5.3  創(chuàng)建個(gè)Flutter應(yīng)用程序 312
A.5.4  運(yùn)行應(yīng)用程序 313
A.5.5  嘗試熱重載 314