計算機視覺十講

叢書序
“十講”序
推薦序
前言
第 1 講 底層視覺
1.1 底層視覺概述 /2
1.1.1 底層視覺定義 /2
1.1.2 傳統(tǒng)底層視覺方法 /2
1.2 基于數(shù)學(xué)模型的底層視覺方法 /4
1.2.1 全變分模型 /4
1.2.2 稀疏和低秩模型 /7
1.2.3 小結(jié) /13
1.3 基于深度學(xué)習(xí)的底層視覺方法 /13
1.3.1 圖像去噪 /14
1.3.2 圖像超分辨率 /17
1.3.3 基于 VGG 模型的圖像超分辨率方法 /17
1.3.4 圖像去模糊 /21
1.4 底層視覺的挑戰(zhàn)與展望 /26
參考文獻 /26
第 2 講 圖像質(zhì)量評價
2.1 全參考/部分參考型圖像質(zhì)量評價 /34
2.1.1 全參考型圖像質(zhì)量評價 /34
2.1.2 部分參考型圖像質(zhì)量評價 /37
2.2 無參考型圖像質(zhì)量評價 /38
2.2.1 基于統(tǒng)計學(xué)的無參考型圖像質(zhì)量評價 /39
2.2.2 基于深度學(xué)習(xí)的無參考型圖像質(zhì)量評價 /40
2.3 圖像美學(xué)質(zhì)量評價 /45
2.3.1 大眾化圖像美學(xué)評價 /48
2.3.2 個性化圖像美學(xué)評價 /63
2.4 總結(jié)與展望 /70
參考文獻 /70
第 3 講 圖像分割
3.1 圖像分割概述 /80
3.1.1 早期圖像分割 /80
3.1.2 語義分割 /80
3.1.3 實例分割和全景分割 /81
3.1.4 其他分割問題 /81
3.2 圖像語義分割 /82
3.2.1 背景與問題 /82
3.2.2 基于傳統(tǒng)特征的圖像語義分割 /82
3.2.3 基于深度特征的圖像語義分割 /82
3.3 圖像實例分割 /88
3.3.1 問題定義 /88
3.3.2 兩階段實例分割 /89
3.3.3 一階段實例分割 /91
3.3.4 基于 Transformer 的實例分割 /93
3.4 圖像全景分割 /95
3.4.1 問題定義 /95
3.4.2 子任務(wù)分離的全景分割 /96
3.4.3 子任務(wù)統(tǒng)一的全景分割 /98
3.5 弱監(jiān)督圖像分割 /99
3.5.1 基于超像素的方法 /100
3.5.2 基于分類網(wǎng)絡(luò)的方法 /101
3.6 跨域圖像分割 /103
3.6.1 基于風(fēng)格遷移的輸入級圖像對齊 /103
3.6.2 基于域不變特征發(fā)掘的中間級特征對齊 /104
3.6.3 基于標(biāo)簽分布發(fā)掘的輸出級預(yù)測結(jié)果對齊 /105
3.7 醫(yī)療圖像分割 /106
3.7.1 全監(jiān)督醫(yī)療圖像分割 /108
3.7.2 弱監(jiān)督醫(yī)療圖像分割 /112
參考文獻 /114
第 4 講 目標(biāo)檢測
4.1 目標(biāo)檢測概述 /128
4.1.1 目標(biāo)檢測的概念 /128
4.1.2 目標(biāo)檢測的研究意義 /128
4.1.3 目標(biāo)檢測的發(fā)展路線 /130
4.1.4 小結(jié) /134
4.2 非深度學(xué)習(xí)目標(biāo)檢測方法 /134
4.2.1 圖像匹配方法 /134
4.2.2 機器學(xué)習(xí)方法 /137
4.2.3 小結(jié) /139
4.3 深度學(xué)習(xí)目標(biāo)檢測方法 /139
4.3.1 深度學(xué)習(xí)簡介 /139
4.3.2 深度學(xué)習(xí)模型 /140
4.3.3 基于深度學(xué)習(xí)的方法框架 /143
4.4 評價指標(biāo)和數(shù)據(jù)集 /148
4.4.1 數(shù)據(jù)集 /148
4.4.2 評價指標(biāo) /150
4.5 討論與展望 /151
4.5.1 目標(biāo)檢測面臨的挑戰(zhàn) /151
4.5.2 目標(biāo)檢測的發(fā)展趨勢 /152
參考文獻 /154
第 5 講 目標(biāo)跟蹤
5.1 引言 /162
5.2 目標(biāo)跟蹤概述 /162
5.2.1 目標(biāo)跟蹤的基本概念 /162
5.2.2 目標(biāo)跟蹤的分類方式 /163
5.2.3 目標(biāo)跟蹤的研究意義 /164
5.2.4 小結(jié) /165
5.3 單目標(biāo)跟蹤 /165
5.3.1 傳統(tǒng)方法 /165
5.3.2 深度學(xué)習(xí)方法 /167
5.3.3 數(shù)據(jù)集與評價指標(biāo) /182
5.3.4 小結(jié) /184
5.4 多目標(biāo)跟蹤 /185
5.4.1 多目標(biāo)關(guān)聯(lián)技術(shù) /186
5.4.2 一體化多目標(biāo)跟蹤技術(shù) /191
5.4.3 數(shù)據(jù)集與評價指標(biāo) /194
5.4.4 小結(jié) /196
5.5 其他跟蹤問題 /196
5.5.1 視頻目標(biāo)檢測與多目標(biāo)跟蹤 /196
5.5.2 視頻實例分割中的跟蹤問題 /196
5.5.3 半監(jiān)督視頻物體分割 /198
5.5.4 小結(jié) /199
5.6 應(yīng)用 /199
5.6.1 目標(biāo)跟蹤與安防監(jiān)控 /199
5.6.2 目標(biāo)跟蹤與智能機器人 /200
5.6.3 目標(biāo)跟蹤與自動駕駛 /201
5.6.4 無人機精準(zhǔn)跟蹤 /202
5.6.5 跟蹤輔助視頻標(biāo)注 /204
5.7 總結(jié)與展望 /204
5.7.1 目標(biāo)跟蹤面臨的挑戰(zhàn) /204
5.7.2 目標(biāo)跟蹤的發(fā)展趨勢 /207
5.7.3 小結(jié) /208
參考文獻 /208
第 6 講 行人重識別
6.1 行人重識別的定義與常用方法 /228
6.1.1 背景與問題 /228
6.1.2 常用方法 /229
6.2 行人重識別中的小樣本問題 /232
6.2.1 弱監(jiān)督建模 /232
6.2.2 無監(jiān)督建模 /234
6.2.3 遷移學(xué)習(xí)建模 /240
6.3 行人重識別中的開放性建模問題 /242
6.3.1 遮擋問題 /242
6.3.2 跨模態(tài)問題 /250
6.3.3 換裝問題 /263
6.3.4 其他問題 /267
參考文獻 /270
第 7 講 視頻行為識別
7.1 引言 /284
7.2 視頻行為識別數(shù)據(jù)集 /285
7.2.1 通用行為識別數(shù)據(jù)集 /286
7.2.2 骨架行為識別數(shù)據(jù)集 /287
7.2.3 群體行為識別數(shù)據(jù)集 /288
7.2.4 時域行為定位數(shù)據(jù)集 /288
7.2.5 時空行為定位數(shù)據(jù)集 /289
7.2.6 音視頻行為定位數(shù)據(jù)集 /290
7.3 視頻行為分類 /291
7.3.1 基于手工特征的視頻行為分類方法概述 /291
7.3.2 基于深度學(xué)習(xí)的視頻行為分類方法概述 /295
7.3.3 常用方法 /296
7.4 行為定位 /302
7.4.1 時域行為定位 /302
7.4.2 時空行為定位 /311
7.5 骨架行為識別 /316
7.5.1 早期骨架行為識別方法 /317
7.5.2 基于深度學(xué)習(xí)的骨架行為識別 /317
7.5.3 總結(jié)與展望 /325
7.6 多模態(tài)行為識別 /326
7.6.1 基于文本的視頻定位 /326
7.6.2 音視頻行為識別 /330
7.7 交互及組群行為識別 /337
7.7.1 交互行為識別 /337
7.7.2 組群行為識別 /343
7.7.3 群體行為識別的未來研究趨勢 /349
參考文獻 /350
第 8 講 視覺與語言
8.1 視覺與語言的定義 /376
8.1.1 背景與意義 /376
8.1.2 典型任務(wù)與方法 /379
8.2 視覺語言的典型框架 /383
8.2.1 傳統(tǒng)方法 /383
8.2.2 預(yù)訓(xùn)練方法 /385
8.2.3 其他方面 /386
8.3 視覺語言的語義關(guān)聯(lián)與建模 /388
8.3.1 注意力機制建模 /390
8.3.2 圖結(jié)構(gòu)建模 /391
8.3.3 生成式建模 /392
8.3.4 其他建模 /393
8.4 視覺語言的預(yù)訓(xùn)練技術(shù) /396
8.4.1 單模態(tài)主干網(wǎng)絡(luò) /397
8.4.2 視覺與語言架構(gòu) /399
8.4.3 預(yù)訓(xùn)練任務(wù)與下游任務(wù) /401
8.4.4 預(yù)訓(xùn)練數(shù)據(jù)集 /405
8.5 視覺語言發(fā)展趨勢與展望 /407
參考文獻 /409
第 9 講 圖像的三維重建
9.1 背景介紹 /426
9.2 傳統(tǒng)三維重建方法回顧 /427
9.2.1 經(jīng)典多視點幾何三維重建 /427
9.2.2 經(jīng)典光度立體三維重建 /428
9.2.3 常見數(shù)據(jù)采集設(shè)備 /429
9.3 深度學(xué)習(xí)對基于不同形狀表達的三維重建 /431
9.3.1 基于體素的顯式三維表達 /431
9.3.2 基于多邊形網(wǎng)格的顯式三維表達 /437
9.3.3 基于隱式輻射場的三維表達 /443
9.4 三維重建與三維生成 /450
9.4.1 基于擴散生成大模型分?jǐn)?shù)蒸餾的三維生成 /451
9.4.2 基于預(yù)訓(xùn)練三維重建模型和擴散生成模型的三維生成 /452
參考文獻 /454
第 10 講 SLAM
10.1 基礎(chǔ)知識 /464
10.1.1 相機模型 /464
10.1.2 多視圖幾何原理 /467
10.2 SLAM 的分類 /472
10.2.1 基于濾波的 SLAM /472
10.2.2 基于優(yōu)化的 SLAM /474
10.2.3 基于深度學(xué)習(xí)的 SLAM /476
10.3 視覺 SLAM /478
10.3.1 初始化 /479
10.3.2 前臺實時跟蹤 /480
10.3.3 后端優(yōu)化 /482
10.3.4 重定位 /483
10.3.5 回路閉合 /485
10.4 視覺慣性 SLAM /486
10.4.1 IMU 模型 /487
10.4.2 前端模塊 /489
10.4.3 后端模塊 /491
10.5 融合深度信息的 SLAM /492
10.5.1 RGBD SLAM /493
10.5.2 激光視覺慣性 SLAM /502
10.6 SLAM 發(fā)展趨勢與展望 /508
參考文獻 /509