自動(dòng)駕駛算法與芯片設(shè)計(jì)

第1章　自動(dòng)駕駛芯片的挑戰(zhàn)\t1
1．1　自動(dòng)駕駛科技界現(xiàn)狀\t1
1．2　自動(dòng)駕駛設(shè)計(jì)的挑戰(zhàn)\t2
1．2．1　功能約束\t3
1．2．2　可預(yù)測(cè)性約束\t3
1．2．3　存儲(chǔ)限制\t4
1．2．4　熱量約束\t4
1．2．5　功率約束\t5
1．3　自動(dòng)駕駛系統(tǒng)算法設(shè)計(jì)\t5
1．3．1　感知\t6
1．3．2　決策\(yùn)t7
1．3．3　控制\t8
1．3．4　安全驗(yàn)證與測(cè)試\t9
1．4　自動(dòng)駕駛系統(tǒng)計(jì)算平臺(tái)\t10
1．4．1　GPU\t11
1．4．2　DSP\t11
1．4．3　FPGA\t11
1．4．4　ASIC\t12
參考文獻(xiàn)\t12
第2章　3D物體檢測(cè)\t14
2．1　傳感器\t15
2．1．1　攝像機(jī)\t15
2．1．2　激光雷達(dá)\t15
2．2　數(shù)據(jù)集\t16
2．3　3D物體檢測(cè)方法\t17
2．3．1　基于單目圖像的檢測(cè)方法\t18
2．3．2　基于點(diǎn)云的檢測(cè)方法\t19
2．3．3　基于融合的檢測(cè)方法\t22
2．4　實(shí)戰(zhàn)項(xiàng)目：3D物體檢測(cè)\t24
2．4．1　算法概述\t25
2．4．2　點(diǎn)云預(yù)處理\t26
2．4．3　網(wǎng)絡(luò)結(jié)構(gòu)\t28
2．4．4　歐拉區(qū)域提議\t28
2．4．5　錨盒設(shè)計(jì)\t29
2．4．6　復(fù)角度回歸\t30
2．4．7　損失函數(shù)的構(gòu)建\t30
2．4．8　實(shí)驗(yàn)結(jié)果\t31
2．4．9　訓(xùn)練細(xì)節(jié)\t31
2．4．10　鳥(niǎo)瞰檢測(cè)\t32
2．4．11　3D對(duì)象檢測(cè)\t32
2．5　未來(lái)研究展望\t33
參考文獻(xiàn)\t33
第3章　車(chē)道檢測(cè)\t37
3．1　傳統(tǒng)圖像處理\t38
3．2　實(shí)例：基于霍夫變換的車(chē)道檢測(cè)\t39
3．2．1　霍夫變換\t40
3．2．2　OpenCV車(chē)道檢測(cè)\t41
3．3　實(shí)例：RANSAC算法及直線(xiàn)擬合\t42
3．3．1　算法思路\t43
3．3．2　用Python實(shí)現(xiàn)直線(xiàn)擬合\t43
3．4　基于深度學(xué)習(xí)\t45
3．5　多傳感器集成方案\t47
3．6　車(chē)道檢測(cè)系統(tǒng)評(píng)估標(biāo)準(zhǔn)\t49
3．6．1　車(chē)道檢測(cè)系統(tǒng)性能的影響因素\t49
3．6．2　離線(xiàn)評(píng)估\t50
3．6．3　在線(xiàn)評(píng)估\t51
3．6．4　評(píng)估指標(biāo)\t52
3．7　實(shí)戰(zhàn)項(xiàng)目：車(chē)道檢測(cè)\t53
3．7．1　概述\t53
3．7．2　車(chē)道點(diǎn)實(shí)例網(wǎng)絡(luò)\t53
3．7．3　調(diào)整大小層\t54
3．7．4　相同瓶頸層\t55
3．7．5　下采樣瓶頸層和上采樣瓶頸層\t56
3．7．6　損失函數(shù)\t58
3．7．7　后處理方法\t61
3．7．8　實(shí)驗(yàn)結(jié)果\t62
3．7．9　測(cè)試部分\t62
參考文獻(xiàn)\t63
第4章　運(yùn)動(dòng)規(guī)劃和控制\t68
4．1　概述\t68
4．2　傳統(tǒng)自動(dòng)駕駛的規(guī)劃和決策層\t69
4．2．1　路徑規(guī)劃\t70
4．2．2　實(shí)例：路徑規(guī)劃Dijkstra算法\t71
4．2．3　實(shí)例：路徑規(guī)劃A*算法\t75
4．2．4　行為決策\(yùn)t77
4．2．5　運(yùn)動(dòng)規(guī)劃\t77
4．2．6　實(shí)例：運(yùn)動(dòng)規(guī)劃\t78
4．2．7　車(chē)輛控制\t84
4．2．8　實(shí)例：模型預(yù)測(cè)控制\t84
4．2．9　實(shí)例：PID控制\t89
4．3　集成感知和規(guī)劃\t90
實(shí)戰(zhàn)項(xiàng)目：NVIDIA的端到端自動(dòng)駕駛\t92
4．4　交互行為感知和規(guī)劃\t94
4．4．1　合作與互動(dòng)\t95
4．4．2　博弈論方法\t95
4．4．3　概率方法\t96
4．4．4　部分可觀(guān)察的馬爾可夫決策過(guò)程\t96
4．4．5　基于學(xué)習(xí)的方法\t97
參考文獻(xiàn)\t98
第5章　定位與建圖\t102
5．1　SLAM問(wèn)題\t103
5．1．1　基于濾波器的SLAM方法\t104
5．1．2　基于優(yōu)化的SLAM方法\t108
5．2　自主駕駛的局限性\t109
5．2．1　問(wèn)題的提出\t109
5．2．2　避免或減少漂移的影響\t109
5．2．3　自動(dòng)駕駛SLAM的評(píng)估標(biāo)準(zhǔn)\t110
5．3　自動(dòng)駕駛中的SLAM\t111
5．3．1　重新定位和回環(huán)檢測(cè)\t111
5．3．2　先前構(gòu)建的地圖中的定位\t113
5．3．3　建立和使用未來(lái)地圖\t115
5．3．4　利用當(dāng)前地圖資源\t116
5．4　自動(dòng)駕駛中的地圖表示\t117
5．4．1　公制地圖模型\t117
5．4．2　語(yǔ)義地圖模型\t120
參考文獻(xiàn)\t122
第6章　自動(dòng)駕駛仿真器\t128
6．1　最新的仿真器\t129
6．1．1　AirSim\t129
6．1．2　Apollo\t129
6．1．3　CARLA\t130
6．1．4　Udacity AV Simulator\t131
6．1．5　Deep Traf?c\t132
6．2　仿真器實(shí)戰(zhàn)：CARLA\t132
6．2．1　仿真引擎\t132
6．2．2　使用CARLA評(píng)估自動(dòng)駕駛方法\t133
參考文獻(xiàn)\t135
第7章　自動(dòng)駕駛芯片\t136
7．1　Mobileye EyeQ\t137
7．2　NVIDIA\t138
7．2．1　NVIDIA DRIVE AGX開(kāi)發(fā)者套件\t138
7．2．2　NVIDIA DRIVE軟件\t138
7．3　TI Jacinto TDAx\t141
7．4　實(shí)戰(zhàn)項(xiàng)目：360°環(huán)景系統(tǒng)與自動(dòng)停車(chē)系統(tǒng)\t142
7．4．1　自動(dòng)停車(chē)與停車(chē)輔助系統(tǒng)\t143
7．4．2　使用Jacinto TDA4VM處理器系列應(yīng)對(duì)環(huán)視和自動(dòng)停車(chē)的挑戰(zhàn)\t144
7．4．3　Jacinto TDA4VM SoC\t145
7．5　Qualcomm\t147
7．6　NXP\t148
7．7　Xilinx Zynq-7000\t148
7．8　Synopsys\t149
第8章　深度學(xué)習(xí)模型優(yōu)化\t151
8．1　模型壓縮和加速\t152
8．1．1　參數(shù)修剪和共享\t153
8．1．2　低秩分解\t155
8．1．3　轉(zhuǎn)移/緊湊卷積濾波器\t156
8．1．4　知識(shí)蒸餾\t159
8．2　AI模型效率工具包\t159
8．2．1　大規(guī)模節(jié)能AI\t160
8．2．2　通過(guò)合作推進(jìn)AI模型效率的研究\t161
8．3　未來(lái)研究展望\t161
參考文獻(xiàn)\t162
第9章　深度學(xué)習(xí)芯片設(shè)計(jì)\t166
9．1　概述\t167
9．2　在CPU和GPU平臺(tái)上加速內(nèi)核計(jì)算\t167
9．3　中科院計(jì)算所的深度學(xué)習(xí)芯片系列\(zhòng)t168
9．3．1　卷積神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介\t168
9．3．2　DaDianNao\t170
9．3．3　ShiDianNao\t171
9．3．4　寒武紀(jì)Cambricon-X\t172
9．4　麻省理工學(xué)院的Eyeriss系列\(zhòng)t172
9．4．1　卷積神經(jīng)網(wǎng)絡(luò)基本知識(shí)\t172
9．4．2　Eyeriss\t173
9．4．3　Eyeriss v2\t174
9．5　谷歌的TPU芯片\t177
9．5．1　TPU v1\t177
9．5．2　TPU指令集\t178
9．5．3　TPU的心臟：脈動(dòng)陣列\(zhòng)t179
9．5．4　TPU v2/v3\t180
9．5．5　軟件架構(gòu)\t180
9．6　近內(nèi)存計(jì)算\t181
9．6．1　DRAM\t181
9．6．2　SRAM\t182
9．6．3　非易失性電阻存儲(chǔ)器\t182
9．6．4　傳感器\t183
9．7　DNN硬件的指標(biāo)\t183
參考文獻(xiàn)\t184
第10章　自動(dòng)駕駛SoC設(shè)計(jì)\t186
10．1　自動(dòng)駕駛SoC設(shè)計(jì)流程\t186
10．2　TI的Jacinto SoC平臺(tái)\t187
10．3　Jacinto 7處理器的功能安全特性\t190
10．3．1　功能安全\t190
10．3．2　軟件功能安全\t191
10．3．3 安全應(yīng)用部署\t192
10．4　具有DNN和ISP的符合安全標(biāo)準(zhǔn)的多核SoC設(shè)計(jì)\t194
10．4．1　ADAS圖像識(shí)別SoC\t194
10．4．2　DNN加速器\t195
10．4．3　具有安全BIST控制器的ISP\t196
10．5　實(shí)例：NVIDIA深度學(xué)習(xí)加速器\t197
10．5．1　NVDLA介紹\t198
10．5．2　FireSim\t199
10．5．3　NVDLA集成\t199
10．5．4　性能分析\t200
參考文獻(xiàn)\t200
第11章　自動(dòng)駕駛操作系統(tǒng)\t202
11．1　概述\t202
11．2　開(kāi)源自動(dòng)駕駛操作系統(tǒng)\t204
11．2．1　Linux RTOS\t204
11．2．2　ROS中間件\t205
11．3　使用開(kāi)源軟件開(kāi)發(fā)自動(dòng)駕駛技術(shù)的公司\t206
11．3．1　百度\t206
11．3．2　寶馬\t207
11．3．3　Voyage\t208
11．3．4　Tier IV\t208
11．3．5　PolySync\t209
11．3．6　Perrone Robotics\t210
11．4　汽車(chē)硬實(shí)時(shí)操作系統(tǒng)和框架\t211
11．4．1　BlackBerry QNX\t211
11．4．2　EB robinos和EB corbos\t212
11．4．3　Integrity RTOS\t213
11．4．4　NVIDIA DriveWorks SDK\t213
11．5　總結(jié)\t214
第12章　自動(dòng)駕駛軟件架構(gòu)\t215
12．1　概述\t215
12．2　基于ISO 26262的軟件開(kāi)發(fā)\t216
12．2．1　ISO 26262簡(jiǎn)介\t216
12．2．2　Synopsys軟件產(chǎn)品組合\t216
12．2．3　ASIL\t218
12．2．4　軟件架構(gòu)設(shè)計(jì)\t218
12．2．5　軟件單元設(shè)計(jì)與實(shí)現(xiàn)\t219
12．2．6　軟件單元測(cè)試\t219
12．3　基于SAE J3016的組件架構(gòu)設(shè)計(jì)\t220
12．3．1 功能組件\t221
12．3．2　AUTOSAR\t224
12．4　自動(dòng)駕駛汽車(chē)的架構(gòu)設(shè)計(jì)與實(shí)現(xiàn)\t225
12．4．1　硬件框架\t226
12．4．2　軟件系統(tǒng)架構(gòu)\t227
12．4．3　數(shù)據(jù)傳輸模塊\t229
12．4．4　自動(dòng)駕駛測(cè)試報(bào)告\t229
參考文獻(xiàn)\t229
第13章　5G C-V2X簡(jiǎn)介\t230
13．1　移動(dòng)車(chē)聯(lián)網(wǎng)\t230
13．2　C-V2X如何改變駕駛\t231
13．2．1　避免碰撞\t231
13．2．2　車(chē)隊(duì)行駛\t232
13．2．3　協(xié)作駕駛\t232
13．2．4　隊(duì)列警告\t232
13．2．5　保護(hù)弱勢(shì)道路使用者\(yùn)t232
13．2．6　支持應(yīng)急服務(wù)\t233
13．2．7　危險(xiǎn)提前警告\t233
13．2．8　越來(lái)越多的自動(dòng)駕駛\t233
13．3　C-V2X的優(yōu)勢(shì)\t233
13．4　C-V2X的工作原理\t235
13．4．1　直接通信\t235
13．4．2　網(wǎng)絡(luò)通信\t235
13．4．3　5G如何改變C-V2X\t236
13．5　C-V2X部署計(jì)劃\t236
13．5．1　中國(guó)引領(lǐng)潮流\t236
13．5．2　澳大利亞――改善道路安全\t237
13．5．3　美國(guó)――增長(zhǎng)勢(shì)頭\t237
13．5．4　歐洲――廣泛支持\t238
13．6　總結(jié)\t238