智能計算系統(tǒng)

序言一

序言二

前　言第1章　概述1

　1.1　人工智能1

　　　1.1.1　什么是人工智能1

　　　1.1.2　人工智能的發(fā)展歷史1

　　　1.1.3　人工智能的主要方法4

　1.2　智能計算系統(tǒng)8

　　　1.2.1　什么是智能計算系統(tǒng)8

　　　1.2.2　為什么需要智能計算系統(tǒng)8

　　　1.2.3　智能計算系統(tǒng)的發(fā)展8

　1.3　驅(qū)動范例11

　1.4　本章小結(jié)13

　習題13

第2章　神經(jīng)網(wǎng)絡基礎14

　2.1　從機器學習到神經(jīng)網(wǎng)絡14

　　　2.1.1　基本概念14

　　　2.1.2　線性回歸15

　　　2.1.3　感知機17

　　　2.1.4　兩層神經(jīng)網(wǎng)絡——多層感知機19

　　　2.1.5　深度學習（深層神經(jīng)網(wǎng)絡）20

　　　2.1.6　神經(jīng)網(wǎng)絡發(fā)展歷程21

　2.2　神經(jīng)網(wǎng)絡訓練23

　　　2.2.1　正向傳播24

　　　2.2.2　反向傳播25

　2.3　神經(jīng)網(wǎng)絡設計原則27

　　　2.3.1　網(wǎng)絡的拓撲結(jié)構(gòu)27

　　　2.3.2　激活函數(shù)27

　　　2.3.3　損失函數(shù)30

　2.4　過擬合與正則化32

　　　2.4.1　過擬合33

　　　2.4.2　正則化34

　2.5　交叉驗證37

　2.6　本章小結(jié)39

　習題39

第3章　深度學習41

　3.1　適合圖像處理的卷積神經(jīng)網(wǎng)絡41

　　　3.1.1　卷積神經(jīng)網(wǎng)絡的組成42

　　　3.1.2　卷積層43

　　　3.1.3　池化層48

　　　3.1.4　全連接層49

　　　3.1.5　softmax層50

　　　3.1.6　卷積神經(jīng)網(wǎng)絡總體結(jié)構(gòu)50

　3.2　基于卷積神經(jīng)網(wǎng)絡的圖像分類算法52

　　　3.2.1　AlexNet53

　　　3.2.2　VGG56

　　　3.2.3　Inception59

　　　3.2.4　ResNet66

　3.3　基于卷積神經(jīng)網(wǎng)絡的圖像目標檢測算法69

　　　3.3.1　評價指標69

　　　3.3.2　RCNN系列72

　　　3.3.3　YOLO78

　　　3.3.4　SSD81

　　　3.3.5　小結(jié)83

 3.4　序列模型：循環(huán)神經(jīng)網(wǎng)絡83

　　　3.4.1　RNN84

　　　3.4.2　LSTM88

　　　3.4.3　GRU89

　　　3.4.4　小結(jié)90

　3.5　生成對抗網(wǎng)絡91

　　　3.5.1　模型組成91

　　　3.5.2　GAN訓練92

　　　3.5.3　GAN結(jié)構(gòu)94

　3.6　驅(qū)動范例96

　　　3.6.1　基于卷積神經(jīng)網(wǎng)絡的圖像風格遷移算法96

　　　3.6.2　實時圖像風格遷移算法98

　3.7　本章小結(jié)100

　習題100

第4章　編程框架使用101

　4.1　為什么需要編程框架101

　4.2　編程框架概述102

　　　4.2.1　通用編程框架概述102

　　　4.2.2　TensorFlow概述102

　4.3　TensorFlow編程模型及基本用法103

　　　4.3.1　計算圖104

　　　4.3.2　操作105

　　　4.3.3　張量106

　　　4.3.4　會話110

　　　4.3.5　變量114

　　　4.3.6　占位符116

　　　4.3.7　隊列117

　4.4　基于TensorFlow實現(xiàn)深度學習預測117

　　　4.4.1　讀取輸入樣本118

　　　4.4.2　定義基本運算單元118

　　　4.4.3　創(chuàng)建神經(jīng)網(wǎng)絡模型122

　　　4.4.4　計算神經(jīng)網(wǎng)絡模型輸出123

　4.5　基于TensorFlow實現(xiàn)深度學習訓練123

　　　4.5.1　加載數(shù)據(jù)123

　　　4.5.2　模型訓練129

　　　4.5.3　模型保存135

　　　4.5.4　圖像風格遷移訓練的實現(xiàn)137

　4.6　本章小結(jié)139

　習題139

第5章　編程框架機理141

　5.1　TensorFlow設計原則141

　　　5.1.1　高性能141

　　　5.1.2　易開發(fā)142

　　　5.1.3　可移植142

　5.2　TensorFlow計算圖機制142

　　　5.2.1　一切都是計算圖143

　　　5.2.2　計算圖本地執(zhí)行150

　　　5.2.3　計算圖分布式執(zhí)行154

　5.3　TensorFlow系統(tǒng)實現(xiàn)155

　　　5.3.1　整體架構(gòu)155

　　　5.3.2　計算圖執(zhí)行模塊156

　　　5.3.3　設備抽象和管理161

　　　5.3.4　網(wǎng)絡和通信162

　　　5.3.5　算子實現(xiàn)167

　5.4　編程框架對比169

　　　5.4.1　TensorFlow170

　　　5.4.2　PyTorch171

　　　5.4.3　MXNet171

　　　5.4.4　Caffe172

　5.5　本章小結(jié)172

　習題172

第6章　深度學習處理器原理174

　6.1　深度學習處理器概述174

　　　6.1.1　深度學習處理器的意義174

　　　6.1.2　深度學習處理器的發(fā)展歷史175

　　　6.1.3　設計思路177

　6.2　目標算法分析178

　　　6.2.1　計算特征178

　　　6.2.2　訪存特征181

　6.3　深度學習處理器DLP結(jié)構(gòu)186

　　　6.3.1　指令集186

　　　6.3.2　流水線190

　　　6.3.3　運算部件190

　　　6.3.4　訪存部件193

　　　6.3.5　算法到芯片的映射194

　　　6.3.6　小結(jié)195

　6.4　優(yōu)化設計195

　　　6.4.1　基于標量MAC的運算

部件195

　　　6.4.2　稀疏化198

　　　6.4.3　低位寬199

　6.5　性能評價201

　　　6.5.1　性能指標201

　　　6.5.2　測試基準程序202

　　　6.5.3　影響性能的因素203

　6.6　其他加速器203

　　　6.6.1　GPU架構(gòu)簡述204

　　　6.6.2　FPGA架構(gòu)簡述204

　　　6.6.3　DLP與GPU、FPGA的對比205

　6.7　本章小結(jié)206

　習題206

第7章　深度學習處理器架構(gòu)207

　7.1　單核深度學習處理器207

　　　7.1.1　總體架構(gòu)208

　　　7.1.2　控制模塊209

　　　7.1.3　運算模塊212

　　　7.1.4　存儲單元215

　　　7.1.5　小結(jié)215

　7.2　多核深度學習處理器216

　　　7.2.1　總體架構(gòu)216

　　　7.2.2　Cluster架構(gòu)217

　　　7.2.3　互聯(lián)架構(gòu)223

　　　7.2.4　小結(jié)224

　7.3　本章小結(jié)225

　習題225

第8章　智能編程語言227

　8.1　為什么需要智能編程語言227

　　　8.1.1　語義鴻溝228

　　　8.1.2　硬件鴻溝230

　　　8.1.3　平臺鴻溝232

　　　8.1.4　小結(jié)233

　8.2　智能計算系統(tǒng)抽象架構(gòu)234

　　　8.2.1　抽象硬件架構(gòu)234

　　　8.2.2　典型智能計算系統(tǒng)235

　　　8.2.3　控制模型236

　　　8.2.4　計算模型236

　　　8.2.5　存儲模型237

　8.3　智能編程模型238

　　　8.3.1　異構(gòu)編程模型239

　　　8.3.2　通用智能編程模型242

　8.4　智能編程語言基礎247

　　　8.4.1　語法概述247

　　　8.4.2　數(shù)據(jù)類型248

　　　8.4.3　宏、常量與內(nèi)置變量250

　　　8.4.4　I/O操作語句250

　　　8.4.5　標量計算語句252

　　　8.4.6　張量計算語句252

　　　8.4.7　控制流語句252

　　　8.4.8　串行程序示例253

　　　8.4.9　并行程序示例254

　8.5　智能應用編程接口255

　　　8.5.1　Kernel函數(shù)接口255

　　　8.5.2　運行時接口257

　　　8.5.3　使用示例259

　8.6　智能應用功能調(diào)試262

　　　8.6.1　功能調(diào)試方法262

　　　8.6.2　功能調(diào)試接口266

　　　8.6.3　功能調(diào)試工具269

　　　8.6.4　精度調(diào)試方法272

　　　8.6.5　功能調(diào)試實踐272

　8.7　智能應用性能調(diào)優(yōu)280

　　　8.7.1　性能調(diào)優(yōu)方法280

　　　8.7.2　性能調(diào)優(yōu)接口282

　　　8.7.3　性能調(diào)優(yōu)工具286

　　　8.7.4　性能調(diào)優(yōu)實踐287

　8.8　基于智能編程語言的系統(tǒng)開發(fā)294

　　　8.8.1　高性能庫算子開發(fā)294

　　　8.8.2　編程框架算子開發(fā)300

　　　8.8.3　系統(tǒng)開發(fā)與優(yōu)化實踐304

　習題321

第9章　實驗323

　9.1　基礎實驗：圖像風格遷移323

　　　9.1.1　基于智能編程語言的算子實現(xiàn)323

　　　9.1.2　圖像風格遷移的實現(xiàn)326

　　　9.1.3　風格遷移實驗的操作步驟330

　9.2　拓展實驗：物體檢測333

　　　9.2.1　基于智能編程語言的算子實現(xiàn)333

　　　9.2.2　物體檢測的實現(xiàn)337

　9.3　拓展練習337

附錄A　計算機體系結(jié)構(gòu)基礎340

附錄B　實驗環(huán)境說明345

參考文獻348

后記356