嵌入式人工智能

第一篇原理

第1章人工智能與人工神經(jīng)網(wǎng)絡(luò)3

1.1什么是人工智能3

1.2什么是人工神經(jīng)網(wǎng)絡(luò)4

1.3人類大腦5

1.4人工神經(jīng)網(wǎng)絡(luò)的基本構(gòu)成7

1.4.1人工神經(jīng)元7

1.4.2人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)8

1.5人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)機(jī)制9

1.6人工神經(jīng)網(wǎng)絡(luò)的類型10

1.7人工神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)24

1.8深度神經(jīng)網(wǎng)絡(luò)25

1.8.1什么是深度神經(jīng)網(wǎng)絡(luò)25

1.8.2常見(jiàn)的深度神經(jīng)網(wǎng)絡(luò)27

1.8.3卷積神經(jīng)網(wǎng)絡(luò)27

1.9神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索31

1.9.1搜索空間31

1.9.2強(qiáng)化學(xué)習(xí)搜索32

1.9.3漸進(jìn)式搜索33

1.9.4離散搜索35

1.10遷移學(xué)習(xí)37

1.10.1什么是遷移學(xué)習(xí)37

1.10.2遷移學(xué)習(xí)的類型38

1.10.3遷移學(xué)習(xí)的優(yōu)勢(shì)39

1.10.4遷移學(xué)習(xí)的方式40

1.10.5遷移學(xué)習(xí)與嵌入式人工智能40第2章嵌入式人工智能41

2.1什么是嵌入式人工智能41

2.2為什么需要嵌入式人工智能42

2.3最初的嘗試: 云計(jì)算模式45

2.4從云端到設(shè)備: 本地模式47

2.5嵌入式人工智能的技術(shù)挑戰(zhàn)50

2.6嵌入式人工智能的實(shí)現(xiàn)途徑53

目錄2.7嵌入式人工智能的實(shí)現(xiàn)組件54第3章嵌入式AI芯片原理56

3.1并行計(jì)算56

3.2脈動(dòng)陣列57

3.3多級(jí)緩存59

3.4數(shù)據(jù)流60第4章輕量級(jí)神經(jīng)網(wǎng)絡(luò)64

4.1降低計(jì)算復(fù)雜度64

4.1.1分組卷積65

4.1.2深度方向卷積65

4.1.3點(diǎn)向卷積66

4.1.4深度可分離卷積66

4.1.5通道亂序混合67

4.2SqueezeNet67

4.2.1核心思想67

4.2.2網(wǎng)絡(luò)結(jié)構(gòu)68

4.2.3性能70

4.3Xception70

4.3.1核心思想70

4.3.2網(wǎng)絡(luò)結(jié)構(gòu)71

4.3.3性能71

4.4MobileNet v172

4.4.1核心思想73

4.4.2網(wǎng)絡(luò)結(jié)構(gòu)73

4.4.3性能74

4.5MobileNet v275

4.5.1核心思想75

4.5.2網(wǎng)絡(luò)結(jié)構(gòu)75

4.5.3性能77

4.6MnasNet77

4.6.1核心思想78

4.6.2網(wǎng)絡(luò)結(jié)構(gòu)78

4.6.3性能80

4.7MobileNet v381

4.7.1核心思想81

4.7.2網(wǎng)絡(luò)結(jié)構(gòu)81

4.7.3性能83

4.8輕量級(jí)神經(jīng)網(wǎng)絡(luò)的應(yīng)用84第5章深度神經(jīng)網(wǎng)絡(luò)壓縮86

5.1神經(jīng)網(wǎng)絡(luò)壓縮的一般方法86

5.1.1剪枝86

5.1.2權(quán)重共享88

5.1.3量化90

5.1.4二值/三值化92

5.1.5Winograd卷積93

5.2壓縮編譯協(xié)同設(shè)計(jì)94

5.2.1壓縮編譯協(xié)同設(shè)計(jì)的概念94

5.2.2壓縮器95

5.2.3編譯器98

5.2.4壓縮編譯協(xié)同設(shè)計(jì)的優(yōu)勢(shì)99第6章嵌入式神經(jīng)網(wǎng)絡(luò)應(yīng)用程序框架101

6.1分層級(jí)聯(lián)系統(tǒng)的構(gòu)成102

6.2分層級(jí)聯(lián)系統(tǒng)的效率103

6.3基于CNN的分層人臉識(shí)別系統(tǒng)104

6.4本地云協(xié)同模式107第7章終生深度學(xué)習(xí)109

7.1傳統(tǒng)深度學(xué)習(xí)的缺陷及原因109

7.2終生深度學(xué)習(xí)的目標(biāo)111

7.3終生深度學(xué)習(xí)的特性112

7.4神經(jīng)生物學(xué)的啟示112

7.5終生深度神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)113

7.5.1雙重學(xué)習(xí)系統(tǒng)113

7.5.2實(shí)時(shí)更新114

7.5.3記憶合并115

7.5.4適應(yīng)真實(shí)場(chǎng)景115

7.6終生深度學(xué)習(xí)與嵌入式神經(jīng)網(wǎng)絡(luò)117

第二篇平臺(tái)

第8章嵌入式神經(jīng)網(wǎng)絡(luò)硬件加速器121

8.1概述121

8.2NVIDIA Jetson122

8.2.1Jetson模塊簡(jiǎn)介122

8.2.2Jetson模塊內(nèi)部結(jié)構(gòu)124

8.2.3Jetson性能133

8.3Intel Movidius136

8.3.1Movidius Myriad X VPU芯片137

8.3.2Intel Movidius神經(jīng)計(jì)算棒141

8.4Google Edge TPU142

8.4.1Google Edge TPU簡(jiǎn)介142

8.4.2Google Edge TPU工作原理144

8.5XILINX DPU151

8.6ARM Ethos NPU157

8.6.1ARM機(jī)器學(xué)習(xí)處理器157

8.6.2EthosN系列159

8.6.3EthosU系列161

8.7小結(jié)163第9章嵌入式神經(jīng)網(wǎng)絡(luò)軟件框架166

9.1TensorFlow Lite166

9.1.1TensorFlow Lite簡(jiǎn)介166

9.1.2TensorFlow Lite工作原理168

9.2TensorRT170

9.2.1TensorRT簡(jiǎn)介170

9.2.2TensorRT如何應(yīng)用174

9.3OpenVINO176

9.3.1OpenVINO簡(jiǎn)介176

9.3.2OpenVINO的構(gòu)成177

9.3.3OpenVINO應(yīng)用開(kāi)發(fā)178

9.4XILINX Vitis180

9.5uTensor184

9.6Apache TVM186

9.7小結(jié)188

第三篇實(shí)現(xiàn)

第10章搭建嵌入式神經(jīng)網(wǎng)絡(luò)開(kāi)發(fā)環(huán)境193

10.1嵌入式AI開(kāi)發(fā)流程193

10.2NVIDIA JetSon開(kāi)發(fā)流程 194第11章優(yōu)化嵌入式神經(jīng)網(wǎng)絡(luò)模型197

11.1TensorFlow 模型優(yōu)化197

11.1.1訓(xùn)練后優(yōu)化197

11.1.2訓(xùn)練時(shí)優(yōu)化198

11.2TensorRT模型優(yōu)化215

11.2.1與主流深度學(xué)習(xí)框架集成215

11.2.2部署到嵌入式系統(tǒng)220

11.2.3TensorRT API221

11.2.4TensorRT應(yīng)用示例232

11.2.5模型轉(zhuǎn)換器249

11.3兩種模型優(yōu)化技術(shù)的對(duì)比261第12章在嵌入式設(shè)備上執(zhí)行推理262

12.1從源代碼構(gòu)建項(xiàng)目262

12.2使用ImageNet實(shí)現(xiàn)圖像分類267

12.2.1靜態(tài)圖像分類267

12.2.2攝像機(jī)實(shí)時(shí)視頻分類277

12.3使用DetectNet實(shí)現(xiàn)目標(biāo)檢測(cè)284

12.3.1靜態(tài)圖像目標(biāo)檢測(cè)284

12.3.2攝像機(jī)實(shí)時(shí)視頻目標(biāo)檢測(cè)286

12.4使用SegNet實(shí)現(xiàn)語(yǔ)義分割294

12.4.1靜態(tài)圖像語(yǔ)義分割294

12.4.2視頻語(yǔ)義分割304

12.5使用PyTorch實(shí)現(xiàn)遷移學(xué)習(xí)313

12.6使用轉(zhuǎn)換的模型335第13章嵌入式神經(jīng)網(wǎng)絡(luò)應(yīng)用示例337

13.1應(yīng)用場(chǎng)景337

13.2硬件選型338

13.3模型開(kāi)發(fā)338結(jié)束語(yǔ)萬(wàn)物智能344參考文獻(xiàn)346