圖解深度學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)：從張量到TensorFlow實(shí)現(xiàn)

1 深度學(xué)習(xí)及TensorFlow 簡(jiǎn)介 1
1．1 深度學(xué)習(xí) 1
1．2 TensorFlow 簡(jiǎn)介及安裝 2
2 基本的數(shù)據(jù)結(jié)構(gòu)及運(yùn)算6
2．1 張量 6
2．1．1 張量的定義 6
2．1．2 Tensor 與Numpy 的ndarray 轉(zhuǎn)換 9
2．1．3 張量的尺寸 10
2．1．4 圖像轉(zhuǎn)換為張量 13
2．2 隨機(jī)數(shù) 14
2．2．1 均勻（平均）分布隨機(jī)數(shù) 14
2．2．2 正態(tài)（高斯）分布隨機(jī)數(shù) 15
2．3 單個(gè)張量的運(yùn)算 17
2．3．1 改變張量的數(shù)據(jù)類(lèi)型 17
2．3．2 訪問(wèn)張量中某一個(gè)區(qū)域的值 19
2．3．3 轉(zhuǎn)置 22
2．3．4 改變形狀 26
2．3．5 歸約運(yùn)算：求和、平均值、最大（?。┲? 29
2．3．6 最大（?。┲档奈恢盟饕?34
2．4 多個(gè)張量之間的運(yùn)算 35
2．4．1 基本運(yùn)算：加、減、乘、除 35
2．4．2 乘法 41
2．4．3 張量的連接 42
2．4．4 張量的堆疊 44
2．4．5 張量的對(duì)比 48
2．5 占位符 49
2．6 Variable 對(duì)象 50
3 梯度及梯度下降法 52
3．1 梯度 52
3．2 導(dǎo)數(shù)計(jì)算的鏈?zhǔn)椒▌t 53
3．2．1 多個(gè)函數(shù)和的導(dǎo)數(shù) 54
3．2．2 復(fù)合函數(shù)的導(dǎo)數(shù) 54
3．2．3 單變量函數(shù)的駐點(diǎn)、極值點(diǎn)、鞍點(diǎn) 55
3．2．4 多變量函數(shù)的駐點(diǎn)、極值點(diǎn)、鞍點(diǎn) 57
3．2．5 函數(shù)的泰勒級(jí)數(shù)展開(kāi) 60
3．2．6 梯度下降法 63
3．3 梯度下降法 73
3．3．1 Adagrad 法 73
3．3．2 Momentum 法 75
3．3．3 NAG 法 77
3．3．4 RMSprop 法 78
3．3．5 具備動(dòng)量的RMSprop 法 80
3．3．6 Adadelta 法 81
3．3．7 Adam 法 82
3．3．8 Batch 梯度下降 84
3．3．9 隨機(jī)梯度下降 85
3．3．10 mini-Batch 梯度下降 86
3．4 參考文獻(xiàn) 86
4 回歸分析 88
4．1 線性回歸分析 88
4．1．1 一元線性回歸 88
4．1．2 保存和加載回歸模型 91
4．1．3 多元線性回歸 95
4．2 非線性回歸分析 99
5 全連接神經(jīng)網(wǎng)絡(luò) 102
5．1 基本概念 102
5．2 計(jì)算步驟 104
5．3 神經(jīng)網(wǎng)絡(luò)的矩陣表達(dá) 107
5．4 激活函數(shù) 112
5．4．1 sigmoid 激活函數(shù) 112
5．4．2 tanh 激活函數(shù) 113
5．4．3 ReLU 激活函數(shù) 114
5．4．4 leaky relu 激活函數(shù) 115
5．4．5 elu 激活函數(shù) 118
5．4．6 crelu 激活函數(shù) 119
5．4．7 selu 激活函數(shù) 120
5．4．8 relu6 激活函數(shù) 121
5．4．9 softplus 激活函數(shù) 121
5．4．10 softsign 激活函數(shù) 122
5．5 參考文獻(xiàn) 123
6 神經(jīng)網(wǎng)絡(luò)處理分類(lèi)問(wèn)題 125
6．1 TFRecord 文件 125
6．1．1 將ndarray 寫(xiě)入TFRecord 文件 125
6．1．2 從TFRecord 解析數(shù)據(jù) 128
6．2 建立分類(lèi)問(wèn)題的數(shù)學(xué)模型 134
6．2．1 數(shù)據(jù)類(lèi)別（標(biāo)簽） 134
6．2．2 圖像與TFRecrder 135
6．2．3 建立模型 140
6．3 損失函數(shù)與訓(xùn)練模型 143
6．3．1 sigmoid 損失函數(shù) 143
6．3．2 softmax 損失函數(shù) 144
6．3．3 訓(xùn)練和評(píng)估模型 148
6．4 全連接神經(jīng)網(wǎng)絡(luò)的梯度反向傳播 151
6．4．1 數(shù)學(xué)原理及示例 151
6．4．2 梯度消失 166
7 一維離散卷積 168
7．1 一維離散卷積的計(jì)算原理 168
7．1．1 full 卷積 169
7．1．2 valid 卷積 170
7．1．3 same 卷積 170
7．1．4 full、same、valid 卷積的關(guān)系 171
7．2 一維卷積定理 174
7．2．1 一維離散傅里葉變換 174
7．2．2 卷積定理 177
7．3 具備深度的一維離散卷積 182
7．3．1 具備深度的張量與卷積核的卷積 182
7．3．2 具備深度的張量分別與多個(gè)卷積核的卷積 183
7．3．3 多個(gè)具備深度的張量分別與多個(gè)卷積核的卷積 185
8 二維離散卷積 187
8．1 二維離散卷積的計(jì)算原理 187
8．1．1 full 卷積 187
8．1．2 same 卷積 189
8．1．3 valid 卷積 191
8．1．4 full、same、valid 卷積的關(guān)系 192
8．1．5 卷積結(jié)果的輸出尺寸 193
8．2 離散卷積的性質(zhì) 194
8．2．1 可分離的卷積核 194
8．2．2 full 和same 卷積的性質(zhì) 195
8．2．3 快速計(jì)算卷積 197
8．3 二維卷積定理 198
8．3．1 二維離散傅里葉變換 198
8．3．2 二維與一維傅里葉變換的關(guān)系 201
8．3．3 卷積定理 203
8．3．4 利用卷積定理快速計(jì)算卷積 203
8．4 多深度的離散卷積 205
8．4．1 基本的多深度卷積 205
8．4．2 一個(gè)張量與多個(gè)卷積核的卷積 207
8．4．3 多個(gè)張量分別與多個(gè)卷積核的卷積 208
8．4．4 在每一深度上分別卷積 211
8．4．5 單個(gè)張量與多個(gè)卷積核在深度上分別卷積 212
8．4．6 分離卷積 214
9 池化操作218
9．1 same 池化 218
9．1．1 same 最大值池化 218
9．1．2 多深度張量的same 池化 221
9．1．3 多個(gè)三維張量的same 最大值池化 223
9．1．4 same 平均值池化 224
9．2 valid 池化 226
9．2．1 多深度張量的vaild 池化 228
9．2．2 多個(gè)三維張量的valid 池化 229
10 卷積神經(jīng)網(wǎng)絡(luò)231
10．1 淺層卷積神經(jīng)網(wǎng)絡(luò) 231
10．2 LeNet 238
10．3 AlexNet 244
10．3．1 AlexNet 網(wǎng)絡(luò)結(jié)構(gòu)詳解 244
10．3．2 dropout 及其梯度下降 247
10．4 VGGNet 256
10．5 GoogleNet 264
10．5．1 網(wǎng)中網(wǎng)結(jié)構(gòu) 264
10．5．2 Batch Normalization 269
10．5．3 BN 與卷積運(yùn)算的關(guān)系 273
10．5．4 指數(shù)移動(dòng)平均 275
10．5．5 帶有BN 操作的卷積神經(jīng)網(wǎng)絡(luò) 276
10．6 ResNet 281
10．7 參考文獻(xiàn) 284
11 卷積的梯度反向傳播 286
11．1 valid 卷積的梯度 286
11．1．1 已知卷積核，對(duì)未知張量求導(dǎo) 286
11．1．2 已知輸入張量，對(duì)未知卷積核求導(dǎo) 290
11．2 same 卷積的梯度 294
11．2．1 已知卷積核，對(duì)輸入張量求導(dǎo) 294
11．2．2 已知輸入張量，對(duì)未知卷積核求導(dǎo) 298
12 池化操作的梯度 303
12．1 平均值池化的梯度 303
12．2 最大值池化的梯度 306
13 BN 的梯度反向傳播311
13．1 BN 操作與卷積的關(guān)系 311
13．2 示例詳解 314
14 TensorFlow 搭建神經(jīng)網(wǎng)絡(luò)的主要函數(shù) 324