基于TensorFlow的圖像生成

目 錄
第1篇 TensorFlow生成圖像的基本原理
第1章 開始使用TensorFlow生成圖像 2
1.1 技術要求 2
1.2 理解概率 2
1.2.1 概率分布 3
1.2.2 預測置信度 4
1.2.3 像素的聯(lián)合概率 4
1.3 用概率模型生成人臉 7
1.3.1 創(chuàng)建面孔 7
1.3.2 條件概率 9
1.3.3 概率生成模型 10
1.3.4 參數(shù)化建模 12
1.4 從零開始構建PixelCNN模型 13
1.4.1 自回歸模型 14
1.4.2 PixelRNN 14
1.4.3 使用TensorFlow 2構建PixelCNN模型 14
1.5 本章小結 21
第2章 變分自編碼器 22
2.1 技術要求 22
2.2 用自編碼器學習潛在變量 22
2.2.1 編碼器 23
2.2.2 解碼器 26
2.2.3 構建自編碼器 28
2.2.4 從潛在變量生成圖像 29
2.3 變分自編碼器 31
2.3.1 高斯分布 31
2.3.2 采樣潛在變量 33
2.3.3 損失函數(shù) 36
2.4 用變分自編碼器生成人臉 38
2.4.1 網(wǎng)絡體系結構 38
2.4.2 面部重建 39
2.4.3 生成新面孔 40
2.4.4 采樣技巧 40
2.5 控制面部屬性 42
2.5.1 潛在空間運算 42
2.5.2 尋找屬性向量 42
2.5.3 面部編輯 43
2.6 本章小結 45
第3章 生成對抗網(wǎng)絡 46
3.1 技術要求 46
3.2 了解GAN的基本原理 47
3.2.1 GAN的架構 47
3.2.2 價值函數(shù) 48
3.2.3 GAN訓練步驟 51
3.3 構建深度卷積GAN（DCGAN） 53
3.3.1 結構指南 53
3.3.2 建立Fashion-MNIST的DCGAN 55
3.3.3 訓練我們的DCGAN 58
3.4 訓練GAN的挑戰(zhàn) 60
3.4.1 無信息損失和度量 60
3.4.2 不穩(wěn)定性 61
3.4.3 梯度消失 61
3.4.4 模式崩塌 62
3.5 建立Wasserstein GAN（WGAN） 63
3.5.1 理解Wasserstein損失 64
3.5.2 實現(xiàn)1-Lipschitz約束 65
3.5.3 重組訓練步驟 66
3.5.4 實施梯度懲罰（WGAN-GP） 68
3.5.5 調整CelebA的WGAN-GP 71
3.6 本章小結 73
第2篇 深度生成模型的應用
第4章 圖像到圖像的翻譯 76
4.1 技術要求 76
4.2 條件GAN 77
4.2.1 實現(xiàn)條件DCGAN 78
4.2.2 條件GAN的變體 82
4.3 使用pix2pix進行圖像翻譯 84
4.3.1 丟棄隨機噪聲 85
4.3.2 U-Net作為生成器 85
4.3.3 損失函數(shù) 88
4.3.4 實現(xiàn)PatchGAN判別器 88
4.3.5 訓練pix2pix 90
4.4 CycleGAN的非成對圖像翻譯 91
4.4.1 未配對的數(shù)據(jù)集 91
4.4.2 循環(huán)一致性損失 92
4.4.3 構建CycleGAN模型 93
4.4.4 分析CycleGAN 95
4.5 用BicycleGAN實現(xiàn)圖像翻譯多樣化 96
4.5.1 理解體系結構 97
4.5.2 實現(xiàn)BicycleGAN 99
4.6 本章小結 104
第5章 風格遷移 105
5.1 技術要求 105
5.2 神經(jīng)風格遷移 106
5.2.1 利用VGG提取特征 107
5.2.2 內容重構 109
5.2.3 用Gram矩陣重建風格 111
5.2.4 執(zhí)行神經(jīng)風格遷移 113
5.3 改進風格遷移 114
5.3.1 使用前饋網(wǎng)絡進行快速風格遷移 116
5.3.2 不同的風格特征 117
5.3.3 使用歸一化層控制風格 117
5.4 實時任意風格轉換 118
5.4.1 實現(xiàn)自適應實例歸一化 119
5.4.2 風格遷移網(wǎng)絡架構 120
5.4.3 任意風格遷移訓練 123
5.5 基于風格的GAN簡介 126
5.6 本章小結 131
第6章 人工智能畫家 132
6.1 技術要求 132
6.2 iGAN介紹 132
6.2.1 了解流形 134
6.2.2 圖像編輯 135
6.3 基于GauGAN的分割圖到圖像的翻譯 139
6.3.1 pix2pixHD介紹 139
6.3.2 空間自適應歸一化（SPADE） 140
6.3.3 實際應用GauGAN 146
6.4 本章小結 153
第3篇 高級深度生成技術
第7章 高保真人臉生成 156
7.1 技術要求 156
7.2 ProGAN概述 156
7.2.1 像素歸一化 158
7.2.2 使用小批量統(tǒng)計增加圖像變化 159
7.2.3 均衡學習率 160
7.3 ProGAN的建立 162
7.3.1 生成器塊的建立 162
7.3.2 判別器塊的建立 164
7.3.3 逐步發(fā)展網(wǎng)絡 165
7.3.4 損失函數(shù) 169
7.3.5 存在的問題 169
7.4 實際應用StyleGAN 171
7.4.1 風格化生成器 172
7.4.2 實現(xiàn)映射網(wǎng)絡 173
7.4.3 添加噪聲 174
7.4.4 AdaIN的實現(xiàn) 174
7.4.5 建造生成器塊 175
7.4.6 StyleGAN的訓練 176
7.5 本章小結 177
第8章 圖像生成的自注意力機制 178
8.1 技術要求 178
8.2 譜歸一化 179
8.2.1 了解譜范數(shù) 179
8.2.2 譜的歸一化實現(xiàn) 180
8.3 自注意力模塊 181
8.3.1 計算機視覺的自注意力 181
8.3.2 自注意力模塊的實現(xiàn) 183
8.4 建立SAGAN 185
8.4.1 構建SAGAN生成器 186
8.4.2 條件批量歸一化 187
8.4.3 構建判別器 189
8.4.4 訓練SAGAN 190
8.5 實現(xiàn)BigGAN 191
8.5.1 縮放GAN 191
8.5.2 跳過潛在向量 192
8.5.3 共享類嵌入 193
8.5.4 正交歸一化 195
8.6 本章小結 196
第9章 視頻合成 197
9.1 技術要求 197
9.2 視頻合成概述 198
9.2.1 理解人臉視頻合成 198
9.2.2 DeepFake概述 199
9.3 實現(xiàn)人臉圖像處理 201
9.3.1 從視頻中提取圖像 201
9.3.2 檢測和定位人臉 202
9.3.3 面部特征的檢測 203
9.3.4 面部對齊 204
9.3.5 面部扭曲 206
9.4 建立DeepFake模型 208
9.4.1 構建編碼器 208
9.4.2 構建解碼器 209
9.4.3 訓練自編碼器 210
9.5 人臉互換 212
9.6 用GAN改進DeepFake 214
9.7 本章小結 216
第10章 總結與展望 217
10.1 GAN的回顧 217
10.1.1 優(yōu)化和激活功能 218
10.1.2 對抗損失 218
10.1.3 輔助損失 219
10.1.4 歸一化 219
10.1.5 正則化 220
10.2 將你的技能付諸實踐 221
10.2.1 不要相信你讀到的一切 221
10.2.2 你的GPU夠強嗎 221
10.2.3 使用現(xiàn)有的模型構建你的模型 221
10.2.4 理解模型的局限性 222
10.3 圖像處理 222
10.3.1 圖像修整 222
10.3.2 圖像壓縮 224
10.3.3 圖像超分辨率 225
10.4 文本轉圖像 225
10.5 視頻重定向 227
10.5.1 人臉再現(xiàn) 228
10.5.2 姿勢轉換 229
10.5.3 運動轉移 230
10.6 神經(jīng)渲染 231
10.7 本章小結 233