圖解深度學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)：從張量到TensorFlow實現(xiàn)

1 深度學(xué)習(xí)及TensorFlow 簡介 1
1．1 深度學(xué)習(xí) 1
1．2 TensorFlow 簡介及安裝 2
2 基本的數(shù)據(jù)結(jié)構(gòu)及運算6
2．1 張量 6
2．1．1 張量的定義 6
2．1．2 Tensor 與Numpy 的ndarray 轉(zhuǎn)換 9
2．1．3 張量的尺寸 10
2．1．4 圖像轉(zhuǎn)換為張量 13
2．2 隨機數(shù) 14
2．2．1 均勻（平均）分布隨機數(shù) 14
2．2．2 正態(tài)（高斯）分布隨機數(shù) 15
2．3 單個張量的運算 17
2．3．1 改變張量的數(shù)據(jù)類型 17
2．3．2 訪問張量中某一個區(qū)域的值 19
2．3．3 轉(zhuǎn)置 22
2．3．4 改變形狀 26
2．3．5 歸約運算：求和、平均值、最大（?。┲? 29
2．3．6 最大（小）值的位置索引 34
2．4 多個張量之間的運算 35
2．4．1 基本運算：加、減、乘、除 35
2．4．2 乘法 41
2．4．3 張量的連接 42
2．4．4 張量的堆疊 44
2．4．5 張量的對比 48
2．5 占位符 49
2．6 Variable 對象 50
3 梯度及梯度下降法 52
3．1 梯度 52
3．2 導(dǎo)數(shù)計算的鏈式法則 53
3．2．1 多個函數(shù)和的導(dǎo)數(shù) 54
3．2．2 復(fù)合函數(shù)的導(dǎo)數(shù) 54
3．2．3 單變量函數(shù)的駐點、極值點、鞍點 55
3．2．4 多變量函數(shù)的駐點、極值點、鞍點 57
3．2．5 函數(shù)的泰勒級數(shù)展開 60
3．2．6 梯度下降法 63
3．3 梯度下降法 73
3．3．1 Adagrad 法 73
3．3．2 Momentum 法 75
3．3．3 NAG 法 77
3．3．4 RMSprop 法 78
3．3．5 具備動量的RMSprop 法 80
3．3．6 Adadelta 法 81
3．3．7 Adam 法 82
3．3．8 Batch 梯度下降 84
3．3．9 隨機梯度下降 85
3．3．10 mini-Batch 梯度下降 86
3．4 參考文獻 86
4 回歸分析 88
4．1 線性回歸分析 88
4．1．1 一元線性回歸 88
4．1．2 保存和加載回歸模型 91
4．1．3 多元線性回歸 95
4．2 非線性回歸分析 99
5 全連接神經(jīng)網(wǎng)絡(luò) 102
5．1 基本概念 102
5．2 計算步驟 104
5．3 神經(jīng)網(wǎng)絡(luò)的矩陣表達 107
5．4 激活函數(shù) 112
5．4．1 sigmoid 激活函數(shù) 112
5．4．2 tanh 激活函數(shù) 113
5．4．3 ReLU 激活函數(shù) 114
5．4．4 leaky relu 激活函數(shù) 115
5．4．5 elu 激活函數(shù) 118
5．4．6 crelu 激活函數(shù) 119
5．4．7 selu 激活函數(shù) 120
5．4．8 relu6 激活函數(shù) 121
5．4．9 softplus 激活函數(shù) 121
5．4．10 softsign 激活函數(shù) 122
5．5 參考文獻 123
6 神經(jīng)網(wǎng)絡(luò)處理分類問題 125
6．1 TFRecord 文件 125
6．1．1 將ndarray 寫入TFRecord 文件 125
6．1．2 從TFRecord 解析數(shù)據(jù) 128
6．2 建立分類問題的數(shù)學(xué)模型 134
6．2．1 數(shù)據(jù)類別（標簽） 134
6．2．2 圖像與TFRecrder 135
6．2．3 建立模型 140
6．3 損失函數(shù)與訓(xùn)練模型 143
6．3．1 sigmoid 損失函數(shù) 143
6．3．2 softmax 損失函數(shù) 144
6．3．3 訓(xùn)練和評估模型 148
6．4 全連接神經(jīng)網(wǎng)絡(luò)的梯度反向傳播 151
6．4．1 數(shù)學(xué)原理及示例 151
6．4．2 梯度消失 166
7 一維離散卷積 168
7．1 一維離散卷積的計算原理 168
7．1．1 full 卷積 169
7．1．2 valid 卷積 170
7．1．3 same 卷積 170
7．1．4 full、same、valid 卷積的關(guān)系 171
7．2 一維卷積定理 174
7．2．1 一維離散傅里葉變換 174
7．2．2 卷積定理 177
7．3 具備深度的一維離散卷積 182
7．3．1 具備深度的張量與卷積核的卷積 182
7．3．2 具備深度的張量分別與多個卷積核的卷積 183
7．3．3 多個具備深度的張量分別與多個卷積核的卷積 185
8 二維離散卷積 187
8．1 二維離散卷積的計算原理 187
8．1．1 full 卷積 187
8．1．2 same 卷積 189
8．1．3 valid 卷積 191
8．1．4 full、same、valid 卷積的關(guān)系 192
8．1．5 卷積結(jié)果的輸出尺寸 193
8．2 離散卷積的性質(zhì) 194
8．2．1 可分離的卷積核 194
8．2．2 full 和same 卷積的性質(zhì) 195
8．2．3 快速計算卷積 197
8．3 二維卷積定理 198
8．3．1 二維離散傅里葉變換 198
8．3．2 二維與一維傅里葉變換的關(guān)系 201
8．3．3 卷積定理 203
8．3．4 利用卷積定理快速計算卷積 203
8．4 多深度的離散卷積 205
8．4．1 基本的多深度卷積 205
8．4．2 一個張量與多個卷積核的卷積 207
8．4．3 多個張量分別與多個卷積核的卷積 208
8．4．4 在每一深度上分別卷積 211
8．4．5 單個張量與多個卷積核在深度上分別卷積 212
8．4．6 分離卷積 214
9 池化操作218
9．1 same 池化 218
9．1．1 same 最大值池化 218
9．1．2 多深度張量的same 池化 221
9．1．3 多個三維張量的same 最大值池化 223
9．1．4 same 平均值池化 224
9．2 valid 池化 226
9．2．1 多深度張量的vaild 池化 228
9．2．2 多個三維張量的valid 池化 229
10 卷積神經(jīng)網(wǎng)絡(luò)231
10．1 淺層卷積神經(jīng)網(wǎng)絡(luò) 231
10．2 LeNet 238
10．3 AlexNet 244
10．3．1 AlexNet 網(wǎng)絡(luò)結(jié)構(gòu)詳解 244
10．3．2 dropout 及其梯度下降 247
10．4 VGGNet 256
10．5 GoogleNet 264
10．5．1 網(wǎng)中網(wǎng)結(jié)構(gòu) 264
10．5．2 Batch Normalization 269
10．5．3 BN 與卷積運算的關(guān)系 273
10．5．4 指數(shù)移動平均 275
10．5．5 帶有BN 操作的卷積神經(jīng)網(wǎng)絡(luò) 276
10．6 ResNet 281
10．7 參考文獻 284
11 卷積的梯度反向傳播 286
11．1 valid 卷積的梯度 286
11．1．1 已知卷積核，對未知張量求導(dǎo) 286
11．1．2 已知輸入張量，對未知卷積核求導(dǎo) 290
11．2 same 卷積的梯度 294
11．2．1 已知卷積核，對輸入張量求導(dǎo) 294
11．2．2 已知輸入張量，對未知卷積核求導(dǎo) 298
12 池化操作的梯度 303
12．1 平均值池化的梯度 303
12．2 最大值池化的梯度 306
13 BN 的梯度反向傳播311
13．1 BN 操作與卷積的關(guān)系 311
13．2 示例詳解 314
14 TensorFlow 搭建神經(jīng)網(wǎng)絡(luò)的主要函數(shù) 324