視頻處理加速及應(yīng)用實(shí)踐：基于英特爾GPU

CONTENTS
目　　錄
序
前言
第1章　視頻處理之理論基礎(chǔ) 1
1.1　人眼視覺系統(tǒng)概述 1
1.2　RGB和YUV色彩空間模型 3
1.2.1　RGB色彩空間模型 5
1.2.2　YUV色彩空間模型 5
1.2.3　YUV色彩模型與RGB
色彩模型的轉(zhuǎn)換 6
1.3　數(shù)字圖像概述 7
1.3.1　數(shù)字化過程——采樣 7
1.3.2　幀和場 8
1.3.3　視頻圖像屬性 9
1.4　傳統(tǒng)視頻壓縮技術(shù)理論和
算法概述 10
1.4.1　信息論概述 11
1.4.2　視頻數(shù)據(jù)的冗余特性 14
1.4.3　變換技術(shù) 15
1.4.4　量化技術(shù) 18
1.4.5　預(yù)測技術(shù) 20
1.4.6　Z字形掃描 22
1.4.7　熵編碼 23
1.4.8　可分層編碼 23
1.4.9　多視點(diǎn)視頻編碼 25
1.5　常見視頻圖像處理算法 27
1.5.1　去隔行掃描 27
1.5.2　幀率轉(zhuǎn)換 28
1.5.3　電視電影刷新率轉(zhuǎn)換 28
1.5.4　縮放 29
1.6　視頻行業(yè)主要標(biāo)準(zhǔn) 30
1.6.1　電視制式 31
1.6.2　視頻圖像標(biāo)準(zhǔn) 32
1.6.3　視頻編解碼行業(yè)標(biāo)準(zhǔn) 33
1.7　視頻圖像質(zhì)量評價(jià) 36
1.7.1　主觀質(zhì)量評價(jià) 37
1.7.2　客觀質(zhì)量評價(jià) 37
1.8　本章小結(jié) 39
第2章　英特爾GPU概述 41
2.1　英特爾GPU處理器架構(gòu)概述 42
2.2　視頻引擎 46
2.3　英特爾GPU路線圖和命名 49
2.4　本章小結(jié) 52
第3章　Media SDK總覽 53
3.1　處理對象 54
3.2　功能模塊 55
3.3　API設(shè)計(jì) 56
3.4　軟件架構(gòu) 57
3.4.1　會話 57
3.4.2　分配器 59
3.4.3　數(shù)據(jù)緩存 61
3.4.4　異步流水線 62
3.5　例程和教程概述 64
3.5.1　基本開發(fā)流程 64
3.5.2　解碼過程 65
3.5.3　編碼過程 66
3.5.4　轉(zhuǎn)碼過程 67
3.5.5　視頻圖像處理 68
3.5.6　例程的使用 70
3.6　新一代開發(fā)套件OneVPL 71
3.7　本章小結(jié) 75
第4章　Media SDK環(huán)境搭建 77
4.1　Linux環(huán)境搭建 77
4.1.1　選擇內(nèi)核版本 77
4.1.2　選擇Media SDK版本 78
4.1.3　安裝依賴庫和例程 79
4.1.4　通過vainfo驗(yàn)證安裝
結(jié)果 80
4.2　Windows環(huán)境搭建 85
4.2.1　開發(fā)環(huán)境部署 85
4.2.2　例程編譯過程 87
4.2.3　基于GitHub的例程編譯
過程 92
4.2.4　查看當(dāng)前平臺的視頻處理
能力 92
4.2.5　自帶Tracer工具 92
4.3　本章小結(jié) 94
第5章　Linux視頻加速軟件框架 95
5.1　直接渲染管理器 97
5.1.1　內(nèi)存管理 98
5.1.2　命令提交 107
5.1.3　模式設(shè)置 115
5.1.4　權(quán)限管理 116
5.2　libdrm 117
5.3　VA-API 117
5.3.1　核心概念 119
5.3.2　編程流程 124
5.3.3　示例程序 125
5.3.4　調(diào)試 129
5.4　GmmLib 132
5.5　本章小結(jié) 133
第6章　開源框架的使用和環(huán)境
搭建134
6.1　FFmpeg 134
6.1.1　Linux編譯指南 136
6.1.2　Windows編譯指南 138
6.2　GStreamer 141
6.2.1　基于GStreamer官網(wǎng)的
編譯指南 141
6.2.2　通過Intel OpenVINO
安裝GStreamer 143
6.2.3　GStreamer與AI的協(xié)同
工作 146
6.3　OpenCV 151
6.3.1　Linux編譯指南 152
6.3.2　Windows編譯指南 154
6.4　本章小結(jié) 158
第7章　高并發(fā)視頻分析業(yè)務(wù)
評估工具 159
7.1　綜述 159
7.2　Linux 環(huán)境搭建 160
7.2.1　安裝依賴軟件包 160
7.2.2　升級Linux 內(nèi)核 161
7.2.3　安裝集成顯卡固件 162
7.2.4　安裝OpenVINO 162
7.2.5　安裝OpenCL驅(qū)動 163
7.2.6　準(zhǔn)備測試的視頻 165
7.2.7　運(yùn)行SVET程序 165
7.2.8　SVET參考程序參數(shù)
配置 167
7.3　Windows環(huán)境搭建 168
7.3.1　安裝依賴軟件包 168
7.3.2　編譯SVET參考程序和
依賴庫 170
7.3.3　下載推理所需模型和
測試視頻 175
7.3.4　運(yùn)行多路視頻推理 176
7.4　核心視頻業(yè)務(wù) 179
7.4.1　NVR業(yè)務(wù) 180
7.4.2　AI視頻分析業(yè)務(wù) 181
7.4.3　MCU轉(zhuǎn)碼拼接業(yè)務(wù) 185
7.5　本章小結(jié) 187
第8章　編解碼實(shí)現(xiàn) 188
8.1　低功耗快速編碼 188
8.2　低延遲編解碼 192
8.3　碼率控制 194
8.3.1　恒定量化系數(shù)算法 195
8.3.2　恒定碼率算法和可變
碼率算法 196
8.3.3　前向預(yù)測算法 199
8.3.4　智能恒定質(zhì)量算法 201
8.3.5　質(zhì)量可定義的可變碼
率算法 202
8.4　動態(tài)碼率控制 202
8.5　精確控制每一幀圖像編碼的
量化系數(shù) 203
8.6　多個IDR幀視頻流的解碼過程 205
8.7　強(qiáng)制生成關(guān)鍵幀 206
8.8　參考幀的動態(tài)選擇 206
8.9　參考幀添加重復(fù)信息 207
8.10　長期參考幀 208
8.11　可分層視頻編碼例程實(shí)現(xiàn) 209
8.12　本章小結(jié) 211
第9章　拼接顯示實(shí)現(xiàn) 212
9