深度學(xué)習(xí)TensorFlow編程實(shí)戰(zhàn)

第1章 TensorFlow介紹 1
1.1 深度學(xué)習(xí)與TensorFlow簡(jiǎn)介 2
1.1.1 深度學(xué)習(xí)簡(jiǎn)介 2
1.1.2 TensorFlow簡(jiǎn)介 3
1.2 TensorFlow的安裝 6
1.2.1 Anaconda下載 6
1.2.2 在Windows平臺(tái)安裝TensorFlow 7
1.2.3 在Linux Ubuntu下安裝TensorFlow 8
1.2.4 Anaconda管理 9
1.3 常用數(shù)據(jù)集 13
1.3.1 MNIST數(shù)據(jù)集 13
1.3.2 Fashion-MNIST數(shù)據(jù)集 14
1.3.3 IMDB數(shù)據(jù)集 16
1.3.4 CIFAR-10數(shù)據(jù)集 18
1.3.5 REUTERS數(shù)據(jù)集 20
1.3.6 QIQC數(shù)據(jù)集 22
1.3.7 Dogs vs. Cats數(shù)據(jù)集 23
第2章 TensorFlow文件操作 25
2.1 CSV文件操作 26
2.1.1 讀取CSV文件 26
2.1.2 生成CSV文件 27
2.2 編寫(xiě)網(wǎng)絡(luò)下載程序 28
2.3 TFRecords文件操作 30
2.3.1 生成TFRecords文件 30
2.3.2 讀取TFRecords文件 33
2.4 數(shù)據(jù)集API 35
2.4.1 數(shù)據(jù)集對(duì)象 35
2.4.2 讀取內(nèi)存數(shù)據(jù) 36
2.4.3 讀取文本文件 38
2.4.4 讀取CSV文件 39
2.4.5 讀取圖像文件 41
第3章 BP神經(jīng)網(wǎng)絡(luò)原理與實(shí)現(xiàn) 45
3.1 神經(jīng)網(wǎng)絡(luò)構(gòu)件 46
3.1.1 神經(jīng)元 46
3.1.2 激活函數(shù) 47
3.2 神經(jīng)網(wǎng)絡(luò)原理 52
3.2.1 神經(jīng)網(wǎng)絡(luò)表示 52
3.2.2 前向傳播 54
3.2.3 代價(jià)函數(shù) 58
3.2.4 梯度下降 58
3.2.5 反向傳播 60
3.3 BP神經(jīng)網(wǎng)絡(luò)的Python實(shí)現(xiàn) 62
3.3.1 輔助函數(shù) 62
3.3.2 前向傳播實(shí)現(xiàn) 66
3.3.3 反向傳播實(shí)現(xiàn) 68
3.3.4 模型訓(xùn)練和預(yù)測(cè) 72
3.3.5 主函數(shù)和運(yùn)行結(jié)果 74
3.4 BP神經(jīng)網(wǎng)絡(luò)的TensorFlow實(shí)現(xiàn) 76
3.4.1 加載數(shù)據(jù)集 76
3.4.2 模型訓(xùn)練和預(yù)測(cè) 77
第4章 TensorFlow基礎(chǔ)編程 79
4.1 TensorFlow的編程環(huán)境 80
4.2 TensorFlow計(jì)算圖 81
4.3 核心概念 81
4.3.1 變量與占位符 81
4.3.2 矩陣運(yùn)算 85
4.3.3 常用運(yùn)算符 86
4.3.4 圖、會(huì)話及運(yùn)行 87
4.4 通過(guò)實(shí)例學(xué)習(xí)TensorFlow 90
4.4.1 異或問(wèn)題描述與解決思路 90
4.4.2 低級(jí)API解決異或問(wèn)題 91
4.4.3 用Keras解決異或問(wèn)題 93
4.4.4 用Estimators解決異或問(wèn)題 94
4.5 一個(gè)簡(jiǎn)單的文本分類示例 97
4.6 TensorBoard可視化工具 101
4.6.1 啟動(dòng)TensorBoard 101
4.6.2 在瀏覽器中查看 103
第5章 神經(jīng)網(wǎng)絡(luò)訓(xùn)練與優(yōu)化 107
5.1 神經(jīng)網(wǎng)絡(luò)迭代概述 108
5.1.1 訓(xùn)練誤差與泛化誤差 108
5.1.2 訓(xùn)練集、驗(yàn)證集和測(cè)試集的劃分 109
5.1.3 偏差與方差 111
5.2 正則化方法 112
5.2.1 提前終止 113
5.2.2 正則化 113
5.2.3 Dropout 115
5.3 優(yōu)化算法 117
5.3.1 小批量梯度下降 117
5.3.2 Momentum算法 119
5.3.3 RMSProp算法 121
5.3.4 Adam算法 124
第6章 卷積神經(jīng)網(wǎng)絡(luò)原理 127
6.1 CNN介紹 128
6.1.1 CNN與圖像處理 128
6.1.2 卷積的基本原理 128
6.1.3 池化的基本原理 138
6.2 Keras實(shí)現(xiàn)LeNet-5網(wǎng)絡(luò) 142
6.2.1 LeNet-5介紹 142
6.2.2 使用Keras實(shí)現(xiàn)LeNet-5網(wǎng)絡(luò) 143
6.3 用Estimator實(shí)現(xiàn)CIFAR-10圖像識(shí)別 147
6.3.1 預(yù)創(chuàng)建的Estimator 147
6.3.2 定制 Estimator 151
6.3.3 用TensorBoard查看 157
第7章 卷積神經(jīng)網(wǎng)絡(luò)示例 161
7.1 經(jīng)典CNN案例 162
7.1.1 VGG 162
7.1.2 ResNet 163
7.1.3 Inception 165
7.1.4 Xception 168
7.2 使用預(yù)訓(xùn)練的CNN 169
7.2.1 直接使用預(yù)訓(xùn)練CNN 169
7.2.2 數(shù)據(jù)生成器 172
7.2.3 特征提取 173
7.2.4 微調(diào) 181
7.3 CNN可視化 183
7.3.1 中間激活可視化 183
7.3.2 過(guò)濾器可視化 190
第8章 詞嵌入模型 195
8.1 詞嵌入模型介紹 196
8.1.1 獨(dú)熱碼 196
8.1.2 詞嵌入 202
8.2 詞嵌入學(xué)習(xí) 204
8.2.1 詞嵌入學(xué)習(xí)的動(dòng)機(jī) 204
8.2.2 Skip-Gram算法 205
8.2.3 CBOW算法 207
8.2.4 負(fù)采樣 208
8.2.5 GloVe算法 211
8.3 Word2Vec算法實(shí)現(xiàn) 212
8.3.1 Skip-Gram算法實(shí)現(xiàn) 212
8.3.2 CBOW算法實(shí)現(xiàn) 218
8.3.3 負(fù)采樣Skip-Gram算法實(shí)現(xiàn) 220
第9章 循環(huán)神經(jīng)網(wǎng)絡(luò)原理 229
9.1 RNN介紹 230
9.1.1 有記憶的神經(jīng)網(wǎng)絡(luò) 230
9.1.2 RNN的用途 233
9.2 基本的RNN模型 236
9.2.1 基本RNN的原理 236
9.2.2 基本RNN的訓(xùn)練問(wèn)題 241
9.2.3 基本RNN示例 243
9.3 LSTM 246
9.3.1 LSTM原理 246
9.3.2 LSTM示例 250
9.4 GRU 251
9.4.1 GRU原理 251
9.4.2 GRU示例 253
第10章 循環(huán)神經(jīng)網(wǎng)絡(luò)示例 255
10.1 情感分析 256
10.2 文本序列數(shù)據(jù)生成 262
10.2.1 向莎士比亞學(xué)寫(xiě)詩(shī) 262
10.2.2 神經(jīng)機(jī)器翻譯 268
參考文獻(xiàn) 282