智能座艙開發(fā)與實(shí)踐

前言

第章　智能座艙概述 1
1.1　智能座艙定義 1
1.2　智能座艙發(fā)展 2
1.3　智能座艙場景 8
1.3.1　消費(fèi)品的設(shè)計(jì)原則 8
1.3.2　特斯拉的第一性原理 12
1.4　案例：長安UNI-T智能座艙及場景設(shè)計(jì) 15
1.5　練習(xí)題 18
第章　智能座艙技術(shù)架構(gòu)及整體開發(fā)流程 19
2.1　技術(shù)架構(gòu) 19
2.1.1　整體架構(gòu) 20
2.1.2　車端 23
2.1.3　車云結(jié)合 25
2.2　開發(fā)流程 34
2.2.1　整體流程 34
2.2.2　開發(fā)工具 36
2.3　座艙項(xiàng)目管理流程 43
2.3.1　管理體系的演變 43
2.3.2　管理流程范圍介紹 43
2.4　案例：基于AI Express開發(fā)人臉結(jié)構(gòu)化 48
2.5　練習(xí)題 49
第章　智能座艙硬件基礎(chǔ) 50
3.1　芯片技術(shù)的演化與發(fā)展 50
3.1.1　芯片制造 52
3.1.2　圖形處理器（GPU） 58
3.1.3　片上系統(tǒng)（SoC） 60
3.1.4　域控制器（DCU） 64
3.1.5　案例：BPU及地平線征程系列芯片 65
3.2　車載傳聲器 66
3.2.1　傳聲器類型 66
3.2.2　傳聲器陣列安裝方式 67
3.2.3　案例：車載多音區(qū)的實(shí)現(xiàn)方式 68
3.3　車載攝像頭 69
3.3.1　攝像頭類型 69
3.3.2　攝像頭安裝方式 70
3.3.3　案例：用于DMS的方向盤轉(zhuǎn)向柱攝像頭 71
3.4　基于芯片的硬件設(shè)計(jì) 71
3.4.1　一體機(jī)方案 71
3.4.2　ECU方案 72
3.4.3　案例：基于地平線芯片的硬件接入案例 72
3.5　練習(xí)題 76
第章　智能座艙算法基礎(chǔ) 78
4.1　深度學(xué)習(xí) 78
4.1.1　卷積神經(jīng)網(wǎng)絡(luò) 80
4.1.2　損失函數(shù) 87
4.1.3　模型訓(xùn)練及測試 88
4.1.4　模型壓縮 90
4.1.5　案例：VarGNet網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì) 96
4.2　機(jī)器視覺 99
4.2.1　分類 100
4.2.2　檢測 103
4.2.3　分割 107
4.2.4　關(guān)鍵點(diǎn) 110
4.2.5　案例：人體關(guān)鍵點(diǎn)檢測 112
4.3　語音識別 115
4.3.1　聲學(xué)模型 117
4.3.2　語言模型 127
4.3.3　解碼器 132
4.3.4　案例：“小安，你好！” 137
4.4　練習(xí)題 139
第章　智能座艙數(shù)據(jù) 140
5.1　座艙數(shù)據(jù)采集 140
5.1.1　采集環(huán)境搭建 140
5.1.2　采集文檔 142
5.1.3　采集數(shù)據(jù)管理 142
5.2　座艙數(shù)據(jù)標(biāo)注 144
5.2.1　數(shù)據(jù)標(biāo)注方法 145
5.2.2　數(shù)據(jù)標(biāo)注文檔 152
5.2.3　標(biāo)注體系建設(shè) 153
5.3　案例：疲勞數(shù)據(jù)采集與標(biāo)注 158
5.4　練習(xí)題 164
第章　智能座艙算法研發(fā) 165
6.1　座艙算法研發(fā)流程 165
6.2　常見座艙算法（視覺篇） 167
6.2.1　視線 168
6.2.2　手勢 172
6.2.3　行為 176
6.2.4　情緒 179
6.2.5　疲勞 185
6.3　常見座艙算法（語音篇） 189
6.3.1　語音前端 189
6.3.2　語音后端 197
6.4　常見座艙算法（多模篇） 211
6.5　案例：安全帶算法研發(fā) 216
6.6　練習(xí)題 223
第章　智能座艙感知軟件開發(fā) 224
7.1　感知軟件開發(fā)流程 224
7.1.1　開發(fā)環(huán)境搭建 224
7.1.2　開發(fā)流程概述 225
7.2　芯片工具鏈 226
7.2.1　AI計(jì)算單元 226
7.2.2　AI芯片工具鏈 229
7.2.3　地平線AI工具鏈舉例 231
7.3　感知軟件開發(fā)框架 235
7.3.1　通信及底層組件 235
7.3.2　模型集成框架 241
7.4　案例：打電話識別開發(fā)實(shí)踐 244
7.4.1　模型編譯和管理 244
7.4.2　感知軟件開發(fā) 246
7.5　練習(xí)題 252
第章　智能座艙場景應(yīng)用開發(fā) 253
8.1　場景應(yīng)用全貌 253
8.2　場景應(yīng)用框架 257
8.2.1　通信 259
8.2.2　組件 262
8.2.3　工程模式 275
8.2.4　對外能力輸出 281
8. 3　場景開發(fā)示例 285
8.3.1　場景可視化配置 285
8.3.2　沖突處理 287
8. 4　案例：抽煙場景應(yīng)用開發(fā)實(shí)踐 289
8.4.1　開發(fā)環(huán)境搭建 289
8.4.2　場景應(yīng)用開發(fā) 291
8. 5　練習(xí)題 293
第章　智能座艙場景測試 294
9.1　座艙場景測試流程 294
9.2　座艙場景測試工具 295
9.2.1　圖像測試工具 295
9.2.2　語音測試工具 300
9.3　座艙場景測試標(biāo)準(zhǔn) 302
9.3.1　車載視覺測試標(biāo)準(zhǔn) 303
9.3.2　車載語音測試標(biāo)準(zhǔn) 309
9.4　案例：抽煙識別場景測試 316
9.5　練習(xí)題 317
第章　智能座艙生命周期 318
10.1　機(jī)器學(xué)習(xí)生命周期 318
10.2　長尾問題及快速迭代 321
10.2.1　長尾問題 321
10.2.2　快速迭代 323
10.3　流程自動化 328
10.4　案例：基于AirFlow的自動模型迭代 330
10.5　練習(xí)題 333
第章　智能座艙的未來發(fā)展趨勢 334
11.1　座艙傳感器趨勢 335
11.1.1　攝像頭 335
11.1.2　傳聲器 337
11.2　感知算法趨勢 338
11.2.1　視覺技術(shù)趨勢 339
11.2.2　語音技術(shù)趨勢 340
11.2.3　聲學(xué)技術(shù)趨勢 342
11.2.4　多模融合技術(shù)趨勢 344
11.3　AI芯片趨勢 346
11.4　云服務(wù)趨勢 351
11.5　生態(tài)發(fā)展趨勢 352
11.6　練習(xí)題 353
附錄　術(shù)語與符號列表 354
參考文獻(xiàn) 360