TensorFlow神經(jīng)網(wǎng)絡(luò)到深度學(xué)習(xí)

目錄
第1章 走進(jìn)TENSORFLOW\t1
1．1 TensorFlow介紹\t1
1．1．1 TensorFlow特性\t1
1．1．2 誰可以使用TensorFlow\t2
1．1．3 為什么Google要開源這個(gè)
神器\t3
1．2 TensorFlow的環(huán)境搭建\t4
1．2．1 安裝環(huán)境介紹\t4
1．2．2 安裝TensorFlow\t5
1．2．3 Cuda和CuDNN的安裝\t7
1．2．4 Geany開發(fā)環(huán)境\t9
1．3 TensorFlow基本使用\t10
1．3．1 計(jì)算圖\t10
1．3．2 構(gòu)建圖\t10
1．3．3 在一個(gè)會(huì)話中啟動(dòng)圖\t11
1．3．4 交互式使用\t12
1．3．5 Fetch\t12
1．3．6 Feed\t13
1．4 變量\t13
1．5 TensorFlow的隊(duì)列\(zhòng)t16
1．5．1 隊(duì)列的創(chuàng)建\t16
1．5．2 線程同步與停止\t19
1．5．3 隊(duì)列中數(shù)據(jù)的讀取\t20
1．6 TensorBoard可視化\t23
1．6．1 在TensorBoard中查看
圖結(jié)構(gòu)\t24
1．6．2 數(shù)據(jù)變化趨勢\t25
第2章 計(jì)算機(jī)視覺與深度學(xué)習(xí)\t28
2．1 計(jì)算機(jī)視覺\t28
2．1．1 人類視覺的啟迪\t28
2．1．2 計(jì)算機(jī)視覺的難點(diǎn)和
人工神經(jīng)網(wǎng)絡(luò)\t29
2．1．3 深度學(xué)習(xí)\t30
2．1．4 前深度學(xué)習(xí)時(shí)代的
計(jì)算機(jī)視覺\t31
2．1．5 仿生學(xué)角度看深度學(xué)習(xí)\t31
2．1．6 應(yīng)用深度學(xué)習(xí)解決計(jì)算機(jī)
視覺問題\t32
2．2 深度學(xué)習(xí)在視覺上的應(yīng)用\t33
2．2．1 人臉識(shí)別\t33
2．2．2 圖片問答問題\t33
2．2．3 物體檢測問題\t34
2．2．4 物體跟蹤\t36
2．3 計(jì)算機(jī)視覺的學(xué)習(xí)方式和
未來趨勢\t36
2．4 機(jī)器學(xué)習(xí)\t37
2．4．1 機(jī)器學(xué)習(xí)發(fā)展的歷程\t37
2．4．2 機(jī)器學(xué)習(xí)的步驟\t38
2．4．3 機(jī)器學(xué)習(xí)的分類\t38
2．4．4 機(jī)器學(xué)習(xí)的基本算法\t40
第3章 深度神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)\t42
3．1 生物神經(jīng)元\t42
3．2 人工神經(jīng)元\t43
3．2．1 人工神經(jīng)元的數(shù)學(xué)模型\t43
3．2．2 人工神經(jīng)網(wǎng)絡(luò)\t44
3．2．3 激活函數(shù)\t45
3．2．4 神經(jīng)元之間的連接形式\t46
3．2．5 人工神經(jīng)網(wǎng)絡(luò)的分類\t47
3．3 激活函數(shù)\t47
3．3．1 sigmoid激活函數(shù)\t47
3．3．2 tanh激活函數(shù)\t49
3．3．3 relu激活函數(shù)\t50
3．3．4 dropout激活函數(shù)\t53
3．4 softmax處理分類問題\t54
3．4．1 什么是softmax\t54
3．4．2 softmax原理\t54
3．5 損失函數(shù)\t56
3．5．1 均值平方差\t56
3．5．2 交叉熵\t56
3．5．3 自定義損失函數(shù)\t57
3．6 梯度下降法\t59
3．6．1 梯度下降法的作用與分類\t59
3．6．2 退化學(xué)習(xí)率\t61
3．7 優(yōu)化函數(shù)\t62
3．7．1 隨機(jī)梯度下降優(yōu)化算法\t62
3．7．2 基于沖量優(yōu)化算法\t63
3．7．3 Adadelta優(yōu)化算法\t64
3．7．4 Adam優(yōu)化算法\t65
3．8 擬合\t67
3．8．1 過擬合和欠擬合\t68
3．8．2 正則化的方法\t68
第4章 全連接神經(jīng)網(wǎng)絡(luò)\t72
4．1 前饋神經(jīng)網(wǎng)絡(luò)簡介\t72
4．2 感知機(jī)\t74
4．2．1 感知機(jī)定義\t74
4．2．2 學(xué)習(xí)策略\t78
4．2．3 感知機(jī)學(xué)習(xí)算法\t78
4．3 全連接\t83
4．3．1 全連接結(jié)構(gòu)\t83
4．3．2 前向傳播算法\t84
4．4 線性模型的局限性\t87
4．5 多層網(wǎng)絡(luò)解決異域運(yùn)算\t91
4．6 全連接神經(jīng)網(wǎng)絡(luò)的經(jīng)典實(shí)戰(zhàn)\t93
第5章 卷積神經(jīng)網(wǎng)絡(luò)\t99
5．1 人類視覺原理\t99
5．2 卷積運(yùn)算\t100
5．2．1 卷積運(yùn)算\t101
5．2．2 卷積函數(shù)實(shí)現(xiàn)\t102
5．2．3 標(biāo)注圖像感興趣的區(qū)域\t106
5．2．4 池化運(yùn)算\t107
5．2．5 加強(qiáng)卷積特征提取\t110
5．3 反卷積、反池化操作\t111
5．3．1 反卷積操作\t111
5．3．2 反池化操作\t114
5．4 卷積神經(jīng)網(wǎng)絡(luò)的介紹\t117
5．4．1 卷積神經(jīng)網(wǎng)絡(luò)的一般框架\t117
5．4．2 卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練\t119
5．4．3 利用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)
數(shù)據(jù)集分類\t121
5．5 圖像數(shù)據(jù)處理\t126
5．5．1 圖像編碼處理\t127
5．5．2 翻轉(zhuǎn)圖像\t128
5．5．3 圖像色彩調(diào)整\t129
5．5．4 圖像標(biāo)準(zhǔn)化處理\t132
5．5．5 調(diào)整圖像大小\t133
5．5．6 圖像的標(biāo)注框\t137
第6章 高級(jí)卷積神經(jīng)網(wǎng)絡(luò)\t140
6．1 LeNet-5卷積神經(jīng)網(wǎng)絡(luò)\t140
6．1．1 LeNet-5模型\t140
6．1．2 TensorFlow 實(shí)現(xiàn)簡單的
卷積神經(jīng)網(wǎng)絡(luò)\t142
6．2 AlexNet卷積神經(jīng)網(wǎng)絡(luò)\t145
6．2．1 AlexNet概述\t145
6．2．2 AlexNet結(jié)構(gòu)\t148
6．2．3 AlexNet實(shí)現(xiàn)\t150
6．3 VGGNet卷積神經(jīng)網(wǎng)絡(luò)\t154
6．3．1 VGGNet模型結(jié)構(gòu)\t155
6．3．2 VGGNet實(shí)現(xiàn)\t157
6．4 Inception v3卷積神經(jīng)網(wǎng)絡(luò)\t162
6．4．1 幾種 Inception模型\t162
6．4．2 Inception v3原理及實(shí)現(xiàn)\t163
6．5 ResNet卷積神經(jīng)網(wǎng)絡(luò)\t175
6．5．1 ResNet模型結(jié)構(gòu)\t175
6．5．2 ResNet實(shí)現(xiàn)\t177
第7章 循環(huán)神經(jīng)網(wǎng)絡(luò)\t184
7．1 RNN基礎(chǔ)概念和結(jié)構(gòu)\t184
7．2 RNN前后向傳播算法\t186
7．2．1 RNN前向傳播\t186
7．2．2 RNN后向傳播\t187
7．3 循環(huán)神經(jīng)網(wǎng)絡(luò)的梯度\t191
7．4 LSTM單元\t193
7．4．1 LSTM單元基本結(jié)構(gòu)\t193
7．4．2 LSTM的變體\t200
7．5 RNN的實(shí)現(xiàn)\t201
7．6 自然語言建模與詞向量\t214
7．6．1 統(tǒng)計(jì)學(xué)語言模型\t214
7．6．2 獨(dú)熱編碼\t217
7．6．3 詞向量與Word2vec\t217
7．7 LSTM實(shí)現(xiàn)語音識(shí)別\t226
7．7．1 語音特征介紹\t226
7．7．2 算法流程\t227
7．7．3 TensorFlow實(shí)現(xiàn)語音識(shí)別\t228
第8章 對(duì)抗神經(jīng)網(wǎng)絡(luò)\t235
8．1 理論知識(shí)\t235
8．1．1 GAN網(wǎng)絡(luò)結(jié)構(gòu)\t235
8．1．2 GAN原理\t236
8．1．3 基本架構(gòu)\t236
8．1．4 GAN 的特點(diǎn)及優(yōu)缺點(diǎn)\t237
8．2 DCGAN網(wǎng)絡(luò)\t243
8．3 InfoGAN網(wǎng)絡(luò)\t248
8．4 WGAN-GP網(wǎng)絡(luò)\t255
8．4．1 WGAN網(wǎng)絡(luò)的理論\t255
8．4．2 WGAN網(wǎng)絡(luò)的
改進(jìn)WGAN-GP網(wǎng)絡(luò)\t256
8．4．3 WGAN-GP網(wǎng)絡(luò)的實(shí)現(xiàn)\t257
8．5 SRGAN網(wǎng)絡(luò)\t260
8．5．1 超分辨率技術(shù)\t260
8．5．2 ESPCN網(wǎng)絡(luò)實(shí)現(xiàn)數(shù)據(jù)的
超分辨率重建\t261
第9章 其他監(jiān)督學(xué)習(xí)\t264
9．1 支持向量機(jī)\t264
9．1．1 支持向量機(jī)的含義\t264
9．1．2 線性不可分支持向量機(jī)與
核函數(shù)\t273
9．1．3 SMO原理及實(shí)現(xiàn)\t280
9．2 樸素貝葉斯\t286
9．2．1 統(tǒng)計(jì)學(xué)知識(shí)\t286
9．2．2 樸素貝葉斯的模型\t287
9．2．3 樸素貝葉斯的推斷過程\t287
9．2．4 樸素貝葉斯的參數(shù)估計(jì)\t288
9．2．5 樸素貝葉斯算法過程\t289
9．2．6 樸素貝葉斯的實(shí)現(xiàn)\t290
9．3 決策樹\t292
9．3．1 認(rèn)識(shí)決策樹\t293
9．3．2 ID3算法的介紹\t294
9．3．3 C4．5算法的介紹\t296
9．3．4 決策樹的實(shí)現(xiàn)\t297
9．4 k近鄰算法\t300
9．4．1 kNN算法三要素\t300
9．4．2 kd樹實(shí)現(xiàn)原理\t301
9．4．3 kNN算法的優(yōu)缺點(diǎn)\t302
9．4．4 kNN算法的實(shí)現(xiàn)\t303
第10章 非監(jiān)督學(xué)習(xí)\t305
10．1 主成分分析\t305
10．1．1 PCA思想\t305
10．1．2 基于最小投影距離\t306
10．1．3 基于最大投影方差\t307
10．1．4 PCA算法流程\t308
10．1．5 PCA的優(yōu)缺點(diǎn)\t308
10．1．6 PCA的實(shí)現(xiàn)\t309
10．2 k均值聚類\t312
10．2．1 距離測試\t312
10．2．2 k均值聚類原理\t317
10．2．3 傳統(tǒng)k均值算法流程\t318
10．2．4 K-Means++聚類算法\t322
10．3 自組織映射神經(jīng)網(wǎng)絡(luò)\t324
10．3．1 自組織映射算法\t325
10．3．2 與k均值的比較\t325
10．4 受限玻爾茲曼機(jī)\t330
10．5 譜聚類\t336
10．5．1 譜聚類的基礎(chǔ)知識(shí)\t336
10．5．2 譜聚類之切圖聚類\t339
10．5．3 譜聚類算法的實(shí)現(xiàn)\t343
第11章 自動(dòng)編碼機(jī)\t345
11．1 自動(dòng)編碼機(jī)原理\t345
11．2 標(biāo)準(zhǔn)自動(dòng)編碼機(jī)\t346
11．3 稀疏自動(dòng)編碼機(jī)\t351
11．4 去噪自動(dòng)編碼機(jī)\t355
11．5 卷積自動(dòng)編碼機(jī)\t360
第12章 強(qiáng)化學(xué)習(xí)\t366
12．1 強(qiáng)化學(xué)習(xí)的概述\t366
12．2 強(qiáng)化學(xué)習(xí)的學(xué)習(xí)過程\t367
12．3 OpenAI Gym原理及應(yīng)用\t369
12．4 Q learning原理及應(yīng)用\t371
12．5 DQN原理及應(yīng)用\t377
參考文獻(xiàn)\t384