智能車輛強化學(xué)習(xí)與決策控制技術(shù)

第1章 智能車輛系統(tǒng)概述………………………………………………………001
1.1 智能車輛介紹…………………………………………………………003
1.1.1 智能車輛架構(gòu) …………………………………………………003
1.1.2 智能車輛發(fā)展摘記 ……………………………………………006
1.2 智能車輛的基本組成部分……………………………………………017
1.2.1 環(huán)境感知與場景理解模塊…………………………………017
1.2.2 決策控制模塊 …………………………………………………021
第2章 強化學(xué)習(xí)基礎(chǔ)……………………………………………………………025
2.1 強化學(xué)習(xí)概述 …………………………………………………………027
2.1.1 強化學(xué)習(xí)的特點 ……………………………………………………028
2.1.2 強化學(xué)習(xí)的發(fā)展歷史 …………………………………………028
2.2 馬爾可夫決策過程 ……………………………………………………030
2.2.1 馬爾可夫過程 …………………………………………………031
2.2.2 馬爾可夫決策過程分析 ………………………………………033
2.2.3 貝爾曼方程 …………………………………………………………034
2.3 Q迭代與Q學(xué)習(xí)………………………………………………………038
2.3.1 Q迭代…………………………………………………………040
2.3.2 時序差分算法 …………………………………………………044
2.3.3Q學(xué)習(xí)………………………………………………………………045
2.4 函數(shù)逼近 ……………………………………………………………………049
2.4.1 函數(shù)逼近方法 …………………………………………………049
2.4.2 值函數(shù)逼近 ……………………………………………………051
2.5 深度強化學(xué)習(xí)…………………………………………………………055
2.5.1 深度強化學(xué)習(xí)原理 ……………………………………………055
2.5.2 深度Q網(wǎng)絡(luò)……………………………………………………057
第3章 基于經(jīng)典強化學(xué)習(xí)的決策控制技術(shù) ……………………………………061
3.1 CARLA仿真平臺介紹 …………………………………………………063
3.2 基于Q學(xué)習(xí)的決策控制……………………………………………064
3.2.1 縱向決策控制 …………………………………………………064
3.2.2 橫向決策控制 …………………………………………………067
3.2.3 路徑跟蹤 …………………………………………………………069
3.2.4 學(xué)習(xí)人類駕駛員………………………………………………071
3.3 基于NQL的速度控制 …………………………………………………074
3.3.1 NQL原理 ……………………………………………………………076
3.3.2 NQL模型構(gòu)建………………………………………………078
3.3.3 NQL方法測試 ……………………………………………………084
第4章 基于分層強化學(xué)習(xí)的決策控制技術(shù) ……………………………………108
4.1 分層強化學(xué)習(xí)方法及原理……………………………………………109
4.1.1 半馬爾可夫決策過程 …………………………………………109
4.1.2 分層強化學(xué)習(xí)原理概述………………………………………111
4.2 基于分層強化學(xué)習(xí)的自主超車決策方法 …………………………111
4.2.1 基于半馬爾可夫決策過程和運動基元的超車決策
模塊…113
4.2.2 基于馬爾可夫決策過程和社會偏好的超車決策模塊 …121
4.3 基于半馬爾可夫決策過程和運動基元的超車決策模塊仿真
實驗 …………………………………………………………………………124
4.3.1 離線運動基元提取結(jié)果………………………………………124
4.3.2 超車決策模塊實驗結(jié)果及分析 …………………………125
4.4 基于馬爾可夫決策過程和社會偏好的超車決策模塊實車
實驗 …………………………………………………………………………………127
4.4.1 基于智能駕駛平臺的實車數(shù)據(jù)采集及預(yù)處理……………127
4.4.2 超車決策模塊實驗……………………………………………137
第5章 基于深度強化學(xué)習(xí)的決策控制技術(shù) ……………………………………141
5.1 基于DQN的超車場景決策控制模型構(gòu)建………………………142
5.2 基于 DQN的超車決策實驗……………………………………………143
5.3 基于DDPG交叉路口的縱向決策控制模型構(gòu)建 …………………145
5.3.1 DDPG算法原理…………………………………………………145
5.3.2 縱向決策問題建模 ……………………………………………148
5.3.3 基元庫構(gòu)建與運動基元自主學(xué)習(xí)…………………………150
5.3.4 基于基元庫的最優(yōu)基元選擇 …………………………………154
5.4 交叉路口場景下的縱向決策控制仿真實驗………………………157
5.4.1 交叉路口場景簡述……………………………………………157
5.4.2 離線學(xué)習(xí)與測試……………………………………………………158
5.4.3 對比實驗結(jié)果與分析 …………………………………………159
5.5 交叉路口場景下的縱向決策控制實車實驗 ………………………163
5.5.1 交叉路口下實車數(shù)據(jù)采集與處理…………………………163
5.5.2 實車數(shù)據(jù)驅(qū)動的交叉路口實驗場景…………………………163
5.6 對比實驗結(jié)果與分析…………………………………………………166
5.6.1 子任務(wù)離線學(xué)習(xí)任務(wù) …………………………………………166
5.6.2 測試階段 ………………………………………………………………173
第6章 決策的遷移與泛化………………………………………………………177
6.1 遷移學(xué)習(xí)與認(rèn)知地圖…………………………………………………178
6.2 基于SR的決策遷移建模……………………………………………179
6.2.1 類人換道場景表征……………………………………………180
6.2.2 基于SR的分層強化學(xué)習(xí)換道決策 ………………………185
6.2.3 換道場景運動基元 ……………………………………………188
6.2.4 基于場景表征和運動基元的運動規(guī)劃……………………190
6.3 類人可遷移換道模型的可遷移超車實驗測試……………………191
6.3.1 面向超車類人換道場景表征的離線構(gòu)建…………………191
6.3.2 自主換道超車實驗與結(jié)果分析………………………………193
6.4 類人可遷移換道模型的類人實驗測試 ……………………………196
6.4.1 不同風(fēng)格行為的類人換道場景表征 ………………………196
6.4.2 類人換道運動規(guī)劃實驗結(jié)果及分析………………………198
6.4.3 類人換道決策實驗結(jié)果及分析………………………………202
參考文獻(xiàn) ……………………………………………………………………………………206
術(shù)語表………………………………………………………………………………212
索引…………………………………………………………………………………………214