智能座艙開(kāi)發(fā)與實(shí)踐

前言

第章　智能座艙概述 1
1.1　智能座艙定義 1
1.2　智能座艙發(fā)展 2
1.3　智能座艙場(chǎng)景 8
1.3.1　消費(fèi)品的設(shè)計(jì)原則 8
1.3.2　特斯拉的第一性原理 12
1.4　案例：長(zhǎng)安UNI-T智能座艙及場(chǎng)景設(shè)計(jì) 15
1.5　練習(xí)題 18
第章　智能座艙技術(shù)架構(gòu)及整體開(kāi)發(fā)流程 19
2.1　技術(shù)架構(gòu) 19
2.1.1　整體架構(gòu) 20
2.1.2　車端 23
2.1.3　車云結(jié)合 25
2.2　開(kāi)發(fā)流程 34
2.2.1　整體流程 34
2.2.2　開(kāi)發(fā)工具 36
2.3　座艙項(xiàng)目管理流程 43
2.3.1　管理體系的演變 43
2.3.2　管理流程范圍介紹 43
2.4　案例：基于AI Express開(kāi)發(fā)人臉結(jié)構(gòu)化 48
2.5　練習(xí)題 49
第章　智能座艙硬件基礎(chǔ) 50
3.1　芯片技術(shù)的演化與發(fā)展 50
3.1.1　芯片制造 52
3.1.2　圖形處理器（GPU） 58
3.1.3　片上系統(tǒng)（SoC） 60
3.1.4　域控制器（DCU） 64
3.1.5　案例：BPU及地平線征程系列芯片 65
3.2　車載傳聲器 66
3.2.1　傳聲器類型 66
3.2.2　傳聲器陣列安裝方式 67
3.2.3　案例：車載多音區(qū)的實(shí)現(xiàn)方式 68
3.3　車載攝像頭 69
3.3.1　攝像頭類型 69
3.3.2　攝像頭安裝方式 70
3.3.3　案例：用于DMS的方向盤(pán)轉(zhuǎn)向柱攝像頭 71
3.4　基于芯片的硬件設(shè)計(jì) 71
3.4.1　一體機(jī)方案 71
3.4.2　ECU方案 72
3.4.3　案例：基于地平線芯片的硬件接入案例 72
3.5　練習(xí)題 76
第章　智能座艙算法基礎(chǔ) 78
4.1　深度學(xué)習(xí) 78
4.1.1　卷積神經(jīng)網(wǎng)絡(luò) 80
4.1.2　損失函數(shù) 87
4.1.3　模型訓(xùn)練及測(cè)試 88
4.1.4　模型壓縮 90
4.1.5　案例：VarGNet網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì) 96
4.2　機(jī)器視覺(jué) 99
4.2.1　分類 100
4.2.2　檢測(cè) 103
4.2.3　分割 107
4.2.4　關(guān)鍵點(diǎn) 110
4.2.5　案例：人體關(guān)鍵點(diǎn)檢測(cè) 112
4.3　語(yǔ)音識(shí)別 115
4.3.1　聲學(xué)模型 117
4.3.2　語(yǔ)言模型 127
4.3.3　解碼器 132
4.3.4　案例：“小安，你好！” 137
4.4　練習(xí)題 139
第章　智能座艙數(shù)據(jù) 140
5.1　座艙數(shù)據(jù)采集 140
5.1.1　采集環(huán)境搭建 140
5.1.2　采集文檔 142
5.1.3　采集數(shù)據(jù)管理 142
5.2　座艙數(shù)據(jù)標(biāo)注 144
5.2.1　數(shù)據(jù)標(biāo)注方法 145
5.2.2　數(shù)據(jù)標(biāo)注文檔 152
5.2.3　標(biāo)注體系建設(shè) 153
5.3　案例：疲勞數(shù)據(jù)采集與標(biāo)注 158
5.4　練習(xí)題 164
第章　智能座艙算法研發(fā) 165
6.1　座艙算法研發(fā)流程 165
6.2　常見(jiàn)座艙算法（視覺(jué)篇） 167
6.2.1　視線 168
6.2.2　手勢(shì) 172
6.2.3　行為 176
6.2.4　情緒 179
6.2.5　疲勞 185
6.3　常見(jiàn)座艙算法（語(yǔ)音篇） 189
6.3.1　語(yǔ)音前端 189
6.3.2　語(yǔ)音后端 197
6.4　常見(jiàn)座艙算法（多模篇） 211
6.5　案例：安全帶算法研發(fā) 216
6.6　練習(xí)題 223
第章　智能座艙感知軟件開(kāi)發(fā) 224
7.1　感知軟件開(kāi)發(fā)流程 224
7.1.1　開(kāi)發(fā)環(huán)境搭建 224
7.1.2　開(kāi)發(fā)流程概述 225
7.2　芯片工具鏈 226
7.2.1　AI計(jì)算單元 226
7.2.2　AI芯片工具鏈 229
7.2.3　地平線AI工具鏈舉例 231
7.3　感知軟件開(kāi)發(fā)框架 235
7.3.1　通信及底層組件 235
7.3.2　模型集成框架 241
7.4　案例：打電話識(shí)別開(kāi)發(fā)實(shí)踐 244
7.4.1　模型編譯和管理 244
7.4.2　感知軟件開(kāi)發(fā) 246
7.5　練習(xí)題 252
第章　智能座艙場(chǎng)景應(yīng)用開(kāi)發(fā) 253
8.1　場(chǎng)景應(yīng)用全貌 253
8.2　場(chǎng)景應(yīng)用框架 257
8.2.1　通信 259
8.2.2　組件 262
8.2.3　工程模式 275
8.2.4　對(duì)外能力輸出 281
8. 3　場(chǎng)景開(kāi)發(fā)示例 285
8.3.1　場(chǎng)景可視化配置 285
8.3.2　沖突處理 287
8. 4　案例：抽煙場(chǎng)景應(yīng)用開(kāi)發(fā)實(shí)踐 289
8.4.1　開(kāi)發(fā)環(huán)境搭建 289
8.4.2　場(chǎng)景應(yīng)用開(kāi)發(fā) 291
8. 5　練習(xí)題 293
第章　智能座艙場(chǎng)景測(cè)試 294
9.1　座艙場(chǎng)景測(cè)試流程 294
9.2　座艙場(chǎng)景測(cè)試工具 295
9.2.1　圖像測(cè)試工具 295
9.2.2　語(yǔ)音測(cè)試工具 300
9.3　座艙場(chǎng)景測(cè)試標(biāo)準(zhǔn) 302
9.3.1　車載視覺(jué)測(cè)試標(biāo)準(zhǔn) 303
9.3.2　車載語(yǔ)音測(cè)試標(biāo)準(zhǔn) 309
9.4　案例：抽煙識(shí)別場(chǎng)景測(cè)試 316
9.5　練習(xí)題 317
第章　智能座艙生命周期 318
10.1　機(jī)器學(xué)習(xí)生命周期 318
10.2　長(zhǎng)尾問(wèn)題及快速迭代 321
10.2.1　長(zhǎng)尾問(wèn)題 321
10.2.2　快速迭代 323
10.3　流程自動(dòng)化 328
10.4　案例：基于AirFlow的自動(dòng)模型迭代 330
10.5　練習(xí)題 333
第章　智能座艙的未來(lái)發(fā)展趨勢(shì) 334
11.1　座艙傳感器趨勢(shì) 335
11.1.1　攝像頭 335
11.1.2　傳聲器 337
11.2　感知算法趨勢(shì) 338
11.2.1　視覺(jué)技術(shù)趨勢(shì) 339
11.2.2　語(yǔ)音技術(shù)趨勢(shì) 340
11.2.3　聲學(xué)技術(shù)趨勢(shì) 342
11.2.4　多模融合技術(shù)趨勢(shì) 344
11.3　AI芯片趨勢(shì) 346
11.4　云服務(wù)趨勢(shì) 351
11.5　生態(tài)發(fā)展趨勢(shì) 352
11.6　練習(xí)題 353
附錄　術(shù)語(yǔ)與符號(hào)列表 354
參考文獻(xiàn) 360