計(jì)算機(jī)視覺(jué)十講

叢書序
“十講”序
推薦序
前言
第 1 講 底層視覺(jué)
1.1 底層視覺(jué)概述 /2
1.1.1 底層視覺(jué)定義 /2
1.1.2 傳統(tǒng)底層視覺(jué)方法 /2
1.2 基于數(shù)學(xué)模型的底層視覺(jué)方法 /4
1.2.1 全變分模型 /4
1.2.2 稀疏和低秩模型 /7
1.2.3 小結(jié) /13
1.3 基于深度學(xué)習(xí)的底層視覺(jué)方法 /13
1.3.1 圖像去噪 /14
1.3.2 圖像超分辨率 /17
1.3.3 基于 VGG 模型的圖像超分辨率方法 /17
1.3.4 圖像去模糊 /21
1.4 底層視覺(jué)的挑戰(zhàn)與展望 /26
參考文獻(xiàn) /26
第 2 講 圖像質(zhì)量評(píng)價(jià)
2.1 全參考/部分參考型圖像質(zhì)量評(píng)價(jià) /34
2.1.1 全參考型圖像質(zhì)量評(píng)價(jià) /34
2.1.2 部分參考型圖像質(zhì)量評(píng)價(jià) /37
2.2 無(wú)參考型圖像質(zhì)量評(píng)價(jià) /38
2.2.1 基于統(tǒng)計(jì)學(xué)的無(wú)參考型圖像質(zhì)量評(píng)價(jià) /39
2.2.2 基于深度學(xué)習(xí)的無(wú)參考型圖像質(zhì)量評(píng)價(jià) /40
2.3 圖像美學(xué)質(zhì)量評(píng)價(jià) /45
2.3.1 大眾化圖像美學(xué)評(píng)價(jià) /48
2.3.2 個(gè)性化圖像美學(xué)評(píng)價(jià) /63
2.4 總結(jié)與展望 /70
參考文獻(xiàn) /70
第 3 講 圖像分割
3.1 圖像分割概述 /80
3.1.1 早期圖像分割 /80
3.1.2 語(yǔ)義分割 /80
3.1.3 實(shí)例分割和全景分割 /81
3.1.4 其他分割問(wèn)題 /81
3.2 圖像語(yǔ)義分割 /82
3.2.1 背景與問(wèn)題 /82
3.2.2 基于傳統(tǒng)特征的圖像語(yǔ)義分割 /82
3.2.3 基于深度特征的圖像語(yǔ)義分割 /82
3.3 圖像實(shí)例分割 /88
3.3.1 問(wèn)題定義 /88
3.3.2 兩階段實(shí)例分割 /89
3.3.3 一階段實(shí)例分割 /91
3.3.4 基于 Transformer 的實(shí)例分割 /93
3.4 圖像全景分割 /95
3.4.1 問(wèn)題定義 /95
3.4.2 子任務(wù)分離的全景分割 /96
3.4.3 子任務(wù)統(tǒng)一的全景分割 /98
3.5 弱監(jiān)督圖像分割 /99
3.5.1 基于超像素的方法 /100
3.5.2 基于分類網(wǎng)絡(luò)的方法 /101
3.6 跨域圖像分割 /103
3.6.1 基于風(fēng)格遷移的輸入級(jí)圖像對(duì)齊 /103
3.6.2 基于域不變特征發(fā)掘的中間級(jí)特征對(duì)齊 /104
3.6.3 基于標(biāo)簽分布發(fā)掘的輸出級(jí)預(yù)測(cè)結(jié)果對(duì)齊 /105
3.7 醫(yī)療圖像分割 /106
3.7.1 全監(jiān)督醫(yī)療圖像分割 /108
3.7.2 弱監(jiān)督醫(yī)療圖像分割 /112
參考文獻(xiàn) /114
第 4 講 目標(biāo)檢測(cè)
4.1 目標(biāo)檢測(cè)概述 /128
4.1.1 目標(biāo)檢測(cè)的概念 /128
4.1.2 目標(biāo)檢測(cè)的研究意義 /128
4.1.3 目標(biāo)檢測(cè)的發(fā)展路線 /130
4.1.4 小結(jié) /134
4.2 非深度學(xué)習(xí)目標(biāo)檢測(cè)方法 /134
4.2.1 圖像匹配方法 /134
4.2.2 機(jī)器學(xué)習(xí)方法 /137
4.2.3 小結(jié) /139
4.3 深度學(xué)習(xí)目標(biāo)檢測(cè)方法 /139
4.3.1 深度學(xué)習(xí)簡(jiǎn)介 /139
4.3.2 深度學(xué)習(xí)模型 /140
4.3.3 基于深度學(xué)習(xí)的方法框架 /143
4.4 評(píng)價(jià)指標(biāo)和數(shù)據(jù)集 /148
4.4.1 數(shù)據(jù)集 /148
4.4.2 評(píng)價(jià)指標(biāo) /150
4.5 討論與展望 /151
4.5.1 目標(biāo)檢測(cè)面臨的挑戰(zhàn) /151
4.5.2 目標(biāo)檢測(cè)的發(fā)展趨勢(shì) /152
參考文獻(xiàn) /154
第 5 講 目標(biāo)跟蹤
5.1 引言 /162
5.2 目標(biāo)跟蹤概述 /162
5.2.1 目標(biāo)跟蹤的基本概念 /162
5.2.2 目標(biāo)跟蹤的分類方式 /163
5.2.3 目標(biāo)跟蹤的研究意義 /164
5.2.4 小結(jié) /165
5.3 單目標(biāo)跟蹤 /165
5.3.1 傳統(tǒng)方法 /165
5.3.2 深度學(xué)習(xí)方法 /167
5.3.3 數(shù)據(jù)集與評(píng)價(jià)指標(biāo) /182
5.3.4 小結(jié) /184
5.4 多目標(biāo)跟蹤 /185
5.4.1 多目標(biāo)關(guān)聯(lián)技術(shù) /186
5.4.2 一體化多目標(biāo)跟蹤技術(shù) /191
5.4.3 數(shù)據(jù)集與評(píng)價(jià)指標(biāo) /194
5.4.4 小結(jié) /196
5.5 其他跟蹤問(wèn)題 /196
5.5.1 視頻目標(biāo)檢測(cè)與多目標(biāo)跟蹤 /196
5.5.2 視頻實(shí)例分割中的跟蹤問(wèn)題 /196
5.5.3 半監(jiān)督視頻物體分割 /198
5.5.4 小結(jié) /199
5.6 應(yīng)用 /199
5.6.1 目標(biāo)跟蹤與安防監(jiān)控 /199
5.6.2 目標(biāo)跟蹤與智能機(jī)器人 /200
5.6.3 目標(biāo)跟蹤與自動(dòng)駕駛 /201
5.6.4 無(wú)人機(jī)精準(zhǔn)跟蹤 /202
5.6.5 跟蹤輔助視頻標(biāo)注 /204
5.7 總結(jié)與展望 /204
5.7.1 目標(biāo)跟蹤面臨的挑戰(zhàn) /204
5.7.2 目標(biāo)跟蹤的發(fā)展趨勢(shì) /207
5.7.3 小結(jié) /208
參考文獻(xiàn) /208
第 6 講 行人重識(shí)別
6.1 行人重識(shí)別的定義與常用方法 /228
6.1.1 背景與問(wèn)題 /228
6.1.2 常用方法 /229
6.2 行人重識(shí)別中的小樣本問(wèn)題 /232
6.2.1 弱監(jiān)督建模 /232
6.2.2 無(wú)監(jiān)督建模 /234
6.2.3 遷移學(xué)習(xí)建模 /240
6.3 行人重識(shí)別中的開放性建模問(wèn)題 /242
6.3.1 遮擋問(wèn)題 /242
6.3.2 跨模態(tài)問(wèn)題 /250
6.3.3 換裝問(wèn)題 /263
6.3.4 其他問(wèn)題 /267
參考文獻(xiàn) /270
第 7 講 視頻行為識(shí)別
7.1 引言 /284
7.2 視頻行為識(shí)別數(shù)據(jù)集 /285
7.2.1 通用行為識(shí)別數(shù)據(jù)集 /286
7.2.2 骨架行為識(shí)別數(shù)據(jù)集 /287
7.2.3 群體行為識(shí)別數(shù)據(jù)集 /288
7.2.4 時(shí)域行為定位數(shù)據(jù)集 /288
7.2.5 時(shí)空行為定位數(shù)據(jù)集 /289
7.2.6 音視頻行為定位數(shù)據(jù)集 /290
7.3 視頻行為分類 /291
7.3.1 基于手工特征的視頻行為分類方法概述 /291
7.3.2 基于深度學(xué)習(xí)的視頻行為分類方法概述 /295
7.3.3 常用方法 /296
7.4 行為定位 /302
7.4.1 時(shí)域行為定位 /302
7.4.2 時(shí)空行為定位 /311
7.5 骨架行為識(shí)別 /316
7.5.1 早期骨架行為識(shí)別方法 /317
7.5.2 基于深度學(xué)習(xí)的骨架行為識(shí)別 /317
7.5.3 總結(jié)與展望 /325
7.6 多模態(tài)行為識(shí)別 /326
7.6.1 基于文本的視頻定位 /326
7.6.2 音視頻行為識(shí)別 /330
7.7 交互及組群行為識(shí)別 /337
7.7.1 交互行為識(shí)別 /337
7.7.2 組群行為識(shí)別 /343
7.7.3 群體行為識(shí)別的未來(lái)研究趨勢(shì) /349
參考文獻(xiàn) /350
第 8 講 視覺(jué)與語(yǔ)言
8.1 視覺(jué)與語(yǔ)言的定義 /376
8.1.1 背景與意義 /376
8.1.2 典型任務(wù)與方法 /379
8.2 視覺(jué)語(yǔ)言的典型框架 /383
8.2.1 傳統(tǒng)方法 /383
8.2.2 預(yù)訓(xùn)練方法 /385
8.2.3 其他方面 /386
8.3 視覺(jué)語(yǔ)言的語(yǔ)義關(guān)聯(lián)與建模 /388
8.3.1 注意力機(jī)制建模 /390
8.3.2 圖結(jié)構(gòu)建模 /391
8.3.3 生成式建模 /392
8.3.4 其他建模 /393
8.4 視覺(jué)語(yǔ)言的預(yù)訓(xùn)練技術(shù) /396
8.4.1 單模態(tài)主干網(wǎng)絡(luò) /397
8.4.2 視覺(jué)與語(yǔ)言架構(gòu) /399
8.4.3 預(yù)訓(xùn)練任務(wù)與下游任務(wù) /401
8.4.4 預(yù)訓(xùn)練數(shù)據(jù)集 /405
8.5 視覺(jué)語(yǔ)言發(fā)展趨勢(shì)與展望 /407
參考文獻(xiàn) /409
第 9 講 圖像的三維重建
9.1 背景介紹 /426
9.2 傳統(tǒng)三維重建方法回顧 /427
9.2.1 經(jīng)典多視點(diǎn)幾何三維重建 /427
9.2.2 經(jīng)典光度立體三維重建 /428
9.2.3 常見(jiàn)數(shù)據(jù)采集設(shè)備 /429
9.3 深度學(xué)習(xí)對(duì)基于不同形狀表達(dá)的三維重建 /431
9.3.1 基于體素的顯式三維表達(dá) /431
9.3.2 基于多邊形網(wǎng)格的顯式三維表達(dá) /437
9.3.3 基于隱式輻射場(chǎng)的三維表達(dá) /443
9.4 三維重建與三維生成 /450
9.4.1 基于擴(kuò)散生成大模型分?jǐn)?shù)蒸餾的三維生成 /451
9.4.2 基于預(yù)訓(xùn)練三維重建模型和擴(kuò)散生成模型的三維生成 /452
參考文獻(xiàn) /454
第 10 講 SLAM
10.1 基礎(chǔ)知識(shí) /464
10.1.1 相機(jī)模型 /464
10.1.2 多視圖幾何原理 /467
10.2 SLAM 的分類 /472
10.2.1 基于濾波的 SLAM /472
10.2.2 基于優(yōu)化的 SLAM /474
10.2.3 基于深度學(xué)習(xí)的 SLAM /476
10.3 視覺(jué) SLAM /478
10.3.1 初始化 /479
10.3.2 前臺(tái)實(shí)時(shí)跟蹤 /480
10.3.3 后端優(yōu)化 /482
10.3.4 重定位 /483
10.3.5 回路閉合 /485
10.4 視覺(jué)慣性 SLAM /486
10.4.1 IMU 模型 /487
10.4.2 前端模塊 /489
10.4.3 后端模塊 /491
10.5 融合深度信息的 SLAM /492
10.5.1 RGBD SLAM /493
10.5.2 激光視覺(jué)慣性 SLAM /502
10.6 SLAM 發(fā)展趨勢(shì)與展望 /508
參考文獻(xiàn) /509