深入理解TensorFlow 架構(gòu)設(shè)計與實現(xiàn)原理

第 一部分　基礎(chǔ)篇
第　1章 TensorFlow系統(tǒng)概述　2
1.1　簡介　2
1.1.1　產(chǎn)生背景　2
1.1.2　獨特價值　3
1.1.3　版本變遷　4
1.1.4　與其他主流深度學(xué)習(xí)框架的對比　6
1.2　設(shè)計目標(biāo)　7
1.2.1　靈活通用的深度學(xué)習(xí)庫　8
1.2.2　端云結(jié)合的人工智能引擎　9
1.2.3　高性能的基礎(chǔ)平臺軟件　10
1.3　基本架構(gòu)　12
1.3.1　工作形態(tài)　12
1.3.2　組件結(jié)構(gòu)　13
1.4　小結(jié)　14
第　2章 TensorFlow環(huán)境準(zhǔn)備　15
2.1　安裝　15
2.1.1　TensorFlow安裝概述　15
2.1.2　使用Anaconda安裝　17
2.1.3　使用原生pip安裝　17
2.1.4　使用virtualenv安裝　18
2.1.5　使用Docker安裝　19
2.1.6　使用源代碼編譯安裝　20
2.1.7　Hello TensorFlow　22
2.2　依賴項　23
2.2.1　Bazel軟件構(gòu)建工具　24
2.2.2　Protocol Buffers數(shù)據(jù)結(jié)構(gòu)序列化工具　25
2.2.3　Eigen線性代數(shù)計算庫　27
2.2.4　CUDA統(tǒng)一計算設(shè)備架構(gòu)　28
2.3　源代碼結(jié)構(gòu)　29
2.3.1　根目錄　29
2.3.2　tensorflow目錄　30
2.3.3　tensorflow/core目錄　31
2.3.4　tensorflow/python目錄　32
2.3.5　安裝目錄　33
2.4　小結(jié)　33
第3章　TensorFlow基礎(chǔ)概念　34
3.1　編程范式：數(shù)據(jù)流圖　34
3.1.1　聲明式編程與命令式編程　34
3.1.2　聲明式編程在深度學(xué)習(xí)應(yīng)用上的優(yōu)勢　35
3.1.3　TensorFlow數(shù)據(jù)流圖的基本概念　38
3.2　數(shù)據(jù)載體：張量　40
3.2.1　張量：Tensor　40
3.2.2　稀疏張量：SparseTensor　44
3.3　模型載體：操作　46
3.3.1　計算節(jié)點：Operation　46
3.3.2　存儲節(jié)點：Variable　49
3.3.3　數(shù)據(jù)節(jié)點：Placeholder　53
3.4　運行環(huán)境：會話　55
3.4.1　普通會話：Session　55
3.4.2　交互式會話：InteractiveSession　59
3.4.3　擴展閱讀：會話實現(xiàn)原理　59
3.5　訓(xùn)練工具：優(yōu)化器　61
3.5.1　損失函數(shù)與優(yōu)化算法　61
3.5.2　優(yōu)化器概述　64
3.5.3　使用minimize方法訓(xùn)練模型　66
3.5.4　擴展閱讀：模型訓(xùn)練方法進階　68
3.6　一元線性回歸模型的最佳實踐　72
3.7　小結(jié)　76
第二部分　關(guān)鍵模塊篇
第4章　TensorFlow數(shù)據(jù)處理方法　78
4.1　輸入數(shù)據(jù)集　78
4.1.1　使用輸入流水線并行讀取數(shù)據(jù)　78
4.1.2　創(chuàng)建批樣例數(shù)據(jù)的方法　86
4.1.3　填充數(shù)據(jù)節(jié)點的方法　87
4.1.4　處理CIFAR-10數(shù)據(jù)集的最佳實踐　88
4.1.5　擴展閱讀：MNIST數(shù)據(jù)集　91
4.2　模型參數(shù)　92
4.2.1　模型參數(shù)的典型使用流程　92
4.2.2　使用tf.Variable創(chuàng)建、初始化和更新模型參數(shù)　92
4.2.3　使用tf.train.Saver保存和恢復(fù)模型參數(shù)　98
4.2.4　使用變量作用域處理復(fù)雜模型　100
4.3　命令行參數(shù)　103
4.3.1　使用argparse解析命令行參數(shù)　103
4.3.2　使用tf.app.flags解析命令行參數(shù)　108
4.4　小結(jié)　111
第5章　TensorFlow編程框架　112
5.1　單機程序編程框架　112
5.1.1　概述　112
5.1.2　創(chuàng)建單機數(shù)據(jù)流圖　114
5.1.3　創(chuàng)建并運行單機會話　116
5.2　分布式程序編程框架　118
5.2.1　PS-worker架構(gòu)概述　118
5.2.2　分布式程序編程框架概述　120
5.2.3　創(chuàng)建TensorFlow集群　121
5.2.4　將操作放置到目標(biāo)設(shè)備　124
5.2.5　數(shù)據(jù)并行模式　124
5.2.6　同步訓(xùn)練機制　125
5.2.7　異步訓(xùn)練機制　130
5.2.8　使用Supervisor管理模型訓(xùn)練　131
5.2.9　分布式同步訓(xùn)練的最佳實踐　133
5.3　小結(jié)　137
第6章　TensorBoard可視化工具　138
6.1　概述　138
6.2　可視化數(shù)據(jù)流圖　142
6.2.1　名字作用域與抽象節(jié)點　142
6.2.2　可視化數(shù)據(jù)流圖的最佳實踐　144
6.2.3　擴展閱讀：匯總數(shù)據(jù)和事件數(shù)據(jù)　145
6.2.4　擴展閱讀：揭秘tf.summary.FileWriter工作原理　147
6.3　可視化學(xué)習(xí)過程　149
6.3.1　匯總操作概述　149
6.3.2　使用tf.summary.scalar生成折線圖　150
6.3.3　使用tf.summary.histogram生成數(shù)據(jù)分布圖　152
6.3.4　使用tf.summary.image生成圖像　154
6.3.5　使用tf.summary.audio生成音頻　155
6.3.6　可視化MNIST softmax模型學(xué)習(xí)過程的最佳實踐　156
6.4　可視化高維數(shù)據(jù)　158
6.4.1　使用TensorBoard可視化高維數(shù)據(jù)　158
6.4.2　可視化MNIST數(shù)據(jù)集的最佳實踐　160
6.5　小結(jié)　163
第7章　模型托管工具：TensorFlow Serving　164
7.1　概述　164
7.2　系統(tǒng)架構(gòu)　165
7.3　安裝　167
7.3.1　使用APT安裝ModelServer　168
7.3.2　使用源碼編譯安裝ModelServer　169
7.4　最佳實踐　170
7.4.1　導(dǎo)出模型　170
7.4.2　發(fā)布模型服務(wù)　173
7.4.3　更新線上模型服務(wù)　174
7.5　小結(jié)　175
第三部分　算法模型篇
第8章　深度學(xué)習(xí)概述　178
8.1　深度學(xué)習(xí)的歷史　178
8.1.1　感知機模型與神經(jīng)網(wǎng)絡(luò)　178
8.1.2　神經(jīng)網(wǎng)絡(luò)的寒冬與復(fù)蘇　179
8.1.3　神經(jīng)網(wǎng)絡(luò)的發(fā)展與第二次寒冬　181
8.1.4　深度學(xué)習(xí)時代的到來　183
8.2　深度學(xué)習(xí)的主要應(yīng)用　184
8.2.1　計算機視覺　185
8.2.2　自然語言處理　186
8.2.3　強化學(xué)習(xí)　188
8.3　深度學(xué)習(xí)與TensorFlow　190
8.4　小結(jié)　191
第9章　CNN模型　192
9.1　CNN　192
9.1.1　CNN簡介　192
9.1.2　卷積層　193
9.1.3　激活層　195
9.1.4　池化層　195
9.1.5　全連接層　196
9.1.6　Dropout層　196
9.1.7　BN層　197
9.1.8　常用的CNN圖像分類模型　197
9.2　TensorFlow-Slim　204
9.2.1　TensorFlow-Slim總體結(jié)構(gòu)　204
9.2.2　datasets包和data包　205
9.2.3　preprocessing包　207
9.2.4　deployment包　207
9.2.5　nets包　209
9.2.6　TensorFlow-Slim最佳實踐　212
9.3　應(yīng)用　216
9.3.1　物體檢測　216
9.3.2　圖像分割　221
9.4　小結(jié)　222
第　10章 GAN模型　223
10.1　原理、特點及應(yīng)用　223
10.1.1　原理　224
10.1.2　特點　225
10.1.3　應(yīng)用　226
10.2　GAN模型的改進　228
10.2.1　CGAN模型　228
10.2.2　LAPGAN模型　229
10.2.3　DCGAN模型　230
10.2.4　InfoGAN模型　230
10.2.5　LSGAN模型　231
10.2.6　WGAN模型　232
10.3　最佳實踐　233
10.4　小結(jié)　238
第　11章 RNN模型　239
11.1　基本RNN單元及其變種　239
11.1.1　RNN模型簡介　239
11.1.2　基本RNN單元　240
11.1.3　LSTM單元　242
11.1.4　GRU單元　243
11.1.5　雙向RNN單元　244
11.1.6　帶有其他特性的RNN單元　245
11.2　RNN模型　247
11.2.1　PTB-LSTM語言模型　247
11.2.2　Seq2Seq模型　251
11.3　小結(jié)　254
第四部分　核心揭秘篇
第　12章 TensorFlow運行時核心設(shè)計與實現(xiàn)　256
12.1　運行時框架概述　256
12.2　關(guān)鍵數(shù)據(jù)結(jié)構(gòu)　257
12.2.1　張量相關(guān)數(shù)據(jù)結(jié)構(gòu)　258
12.2.2　設(shè)備相關(guān)數(shù)據(jù)結(jié)構(gòu)　260
12.2.3　數(shù)據(jù)流圖相關(guān)的數(shù)據(jù)結(jié)構(gòu)　263
12.3　公共基礎(chǔ)機制　266
12.3.1　內(nèi)存分配　266
12.3.2　線程管理　268
12.3.3　多語言接口　269
12.3.4　XLA編譯技術(shù)　270
12.3.5　單元測試框架　271
12.4　外部環(huán)境接口　272
12.4.1　加速器硬件接口　272
12.4.2　系統(tǒng)軟件接口　275
12.5　小結(jié)　276
第　13章 通信原理與實現(xiàn)　277
13.1　概述　277
13.2　進程內(nèi)通信　278
13.2.1　通信接口　278
13.2.2　會合點機制　280
13.2.3　異構(gòu)設(shè)備內(nèi)存訪問　282
13.3　進程間通信　283
13.3.1　gRPC通信機制　284
13.3.2　控制通信　286
13.3.3　數(shù)據(jù)通信　290
13.4　RDMA通信模塊　294
13.4.1　模塊結(jié)構(gòu)　295
13.4.2　消息語義　296
13.4.3　通信流程　297
13.5　小結(jié)　300
第　14章 數(shù)據(jù)流圖計算原理與實現(xiàn)　301
14.1　概述　301
14.2　數(shù)據(jù)流圖創(chuàng)建　302
14.2.1　流程與抽象　303
14.2.2　全圖構(gòu)造　305
14.2.3　子圖提取　306
14.2.4　圖切分　307
14.2.5　圖優(yōu)化　308
14.3　單機會話運行　308
14.3.1　流程與抽象　309
14.3.2　執(zhí)行器獲取　311
14.3.3　輸入數(shù)據(jù)填充　312
14.3.4　圖運行　313
14.3.5　輸出數(shù)據(jù)獲取　315
14.3.6　張量保存　315
14.4　分布式會話運行　315
14.4.1　主-從模型　316
14.4.2　主要抽象　317
14.4.3　client創(chuàng)建會話　319
14.4.4　client請求圖運行　320
14.4.5　master驅(qū)動圖運行　321
14.4.6　worker實施圖運行　323
14.5　操作節(jié)點執(zhí)行　325
14.5.1　核函數(shù)抽象　325
14.5.2　CPU上的執(zhí)行流程　326
14.5.3　CUDA GPU上的執(zhí)行流程　326
14.6　小結(jié)　327
第五部分　生態(tài)發(fā)展篇
第　15章 TensorFlow生態(tài)環(huán)境　330
15.1　生態(tài)環(huán)境概況　330
15.1.1　社區(qū)托管組件　330
15.1.2　第三方項目　333
15.2　深度神經(jīng)網(wǎng)絡(luò)庫Keras　334
15.2.1　概述　334
15.2.2　模型概述　335
15.2.3　順序模型　336
15.2.4　函數(shù)式模型　338
15.3　TensorFlow與Kubernetes生態(tài)的結(jié)合　340
15.4　TensorFlow與Spark生態(tài)的結(jié)合　344
15.5　TensorFlow通信優(yōu)化技術(shù)　345
15.6　TPU及神經(jīng)網(wǎng)絡(luò)處理器　348
15.7　NNVM模塊化深度學(xué)習(xí)組件　349
15.8　TensorFlow未來展望——TFX　351
15.9　小結(jié)　353
附錄A　354