深度學(xué)習(xí)入門：基于PyTorch和TensorFlow的理論與實現(xiàn)

第1章 深度學(xué)習(xí)基礎(chǔ)
1．1 深度學(xué)習(xí)概述
1．1．1 什么是深度學(xué)習(xí)
1．1．2 深度學(xué)習(xí)的應(yīng)用場景
1．1．3 深度學(xué)習(xí)的發(fā)展動力
1．1．4 深度學(xué)習(xí)的未來
1．2 Python入門
1．2．1 Python簡介
1．2．2 Python的安裝
1．2．3 Python基礎(chǔ)知識
1．2．4 NumPy矩陣運算
1．2．5 Matplotlib繪圖
1．3 Anaconda與Jupyter Notebook
1．3．1 Anaconda
1．3．2 Jupyter Notebook
第2章 PyTorch
2．1 PyTorch概述
2．1．1 什么是PyTorch
2．1．2 為什么使用PyTorch
2．2 PyTorch的安裝
2．3 張量
2．3．1 張量的創(chuàng)建
2．3．2 張量的數(shù)學(xué)運算
2．3．3 張量與NumPy數(shù)組
2．3．4 CUDA張量
2．4 自動求導(dǎo)
2．4．1 返回值是標量
2．4．2 返回值是張量
2．4．3 禁止自動求導(dǎo)
2．5 torch．nn和torch．optim
2．5．1 torch．nn
2．5．2 torch．optim
2．6 線性回歸
2．6．1 線性回歸的基本原理
2．6．2 線性回歸的PyTorch實現(xiàn)
第3章 TensorFlow
3．1 TensorFlow概述
3．1．1 什么是TensorFlow
3．1．2 為什么使用TensorFlow
3．2 TensorFlow的安裝
3．3 張量
3．3．1 張量的創(chuàng)建
3．3．2 張量的數(shù)學(xué)運算
3．4 數(shù)據(jù)流圖
3．5 會話
3．6 線性回歸的TensorFlow實現(xiàn)
3．7 TensorBoard
3．7．1 TensorBoard代碼
3．7．2 TensorBoard顯示
第4章 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知識
4．1 感知機
4．1．1 感知機模型
4．1．2 感知機與邏輯電路
4．2 多層感知機
4．2．1 感知機的局限性
4．2．2 多層感知機實現(xiàn)異或門邏輯
4．3 邏輯回歸
4．3．1 基本原理
4．3．2 損失函數(shù)
4．3．3 梯度下降算法
4．3．4 邏輯回歸的Python實現(xiàn)
第5章 神經(jīng)網(wǎng)絡(luò)
5．1 基本結(jié)構(gòu)
5．2 前向傳播
5．3 激活函數(shù)
5．4 反向傳播
5．5 更新參數(shù)
5．6 初始化
5．7 神經(jīng)網(wǎng)絡(luò)的Python實現(xiàn)
5．7．1 準備數(shù)據(jù)
5．7．2 參數(shù)初始化
5．7．3 前向傳播
5．7．4 交叉熵損失
5．7．5 反向傳播
5．7．6 更新參數(shù)
5．7．7 構(gòu)建整個神經(jīng)網(wǎng)絡(luò)模型
5．7．8 訓(xùn)練
5．7．9 預(yù)測
第6章 深層神經(jīng)網(wǎng)絡(luò)
6．1 深層神經(jīng)網(wǎng)絡(luò)的優(yōu)勢
6．2 符號標記
6．3 前向傳播與反向傳播
6．4 多分類函數(shù)Softmax
6．4．1 Softmax函數(shù)的基本原理
6．4．2 Softmax損失函數(shù)
6．4．3 對Softmax函數(shù)求導(dǎo)
6．5 深層神經(jīng)網(wǎng)絡(luò)的Python實現(xiàn)
6．5．1 準備數(shù)據(jù)
6．5．2 參數(shù)初始化
6．5．3 前向傳播
6．5．4 交叉熵損失
6．5．5 反向傳播
6．5．6 更新參數(shù)
6．5．7 構(gòu)建整個神經(jīng)網(wǎng)絡(luò)
6．5．8 訓(xùn)練與預(yù)測
第7章 優(yōu)化神經(jīng)網(wǎng)絡(luò)
7．1 正則化
7．1．1 什么是過擬合
7．1．2 L2正則化和L1正則化
7．1．3 Dropout正則化
7．1．4 其他正則化技巧
7．2 梯度優(yōu)化
7．2．1 批量梯度下降、隨機梯度下降和小批量梯度下降
7．2．2 動量梯度下降算法
7．2．3 牛頓動量
7．2．4 AdaGrad
7．2．5 RMSprop
7．2．6 Adam
7．2．7 學(xué)習(xí)率衰減
7．3 網(wǎng)絡(luò)初始化與超參數(shù)調(diào)試
7．3．1 輸入標準化
7．3．2 權(quán)重參數(shù)初始化
7．3．3 批歸一化
7．3．4 超參數(shù)調(diào)試
7．4 模型評估與調(diào)試
7．4．1 模型評估
7．4．2 訓(xùn)練集、驗證集和測試集
7．4．3 偏差與方差
7．4．4 錯誤分析
第8章 卷積神經(jīng)網(wǎng)絡(luò)
8．1 為什么選擇卷積神經(jīng)網(wǎng)絡(luò)
8．2 卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)
8．3 卷積層
8．3．1 卷積
8．3．2 邊緣檢測
8．3．3 填充
8．3．4 步幅
8．3．5 卷積神經(jīng)網(wǎng)絡(luò)卷積
8．3．6 卷積層的作用
8．4 池化層
8．5 全連接層
8．6 卷積神經(jīng)網(wǎng)絡(luò)模型
8．7 典型的卷積神經(jīng)網(wǎng)絡(luò)模型
8．7．1 LeNet-
8．7．2 AlexNet
8．8 卷積神經(jīng)網(wǎng)絡(luò)模型的PyTorch實現(xiàn)
8．8．1 準備數(shù)據(jù)
8．8．2 定義卷積神經(jīng)網(wǎng)絡(luò)模型
8．8．3 損失函數(shù)與梯度優(yōu)化
8．8．4 訓(xùn)練模型
8．8．5 測試模型
8．9 卷積神經(jīng)網(wǎng)絡(luò)模型的TensorFlow實現(xiàn)
8．9．1 準備數(shù)據(jù)
8．9．2 定義卷積神經(jīng)網(wǎng)絡(luò)模型
8．9．3 損失函數(shù)與優(yōu)化算法
8．9．4 訓(xùn)練并測試
第9章 循環(huán)神經(jīng)網(wǎng)絡(luò)
9．1 為什么選擇循環(huán)神經(jīng)網(wǎng)絡(luò)
9．2 循環(huán)神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)
9．3 模型參數(shù)
9．4 梯度消失
9．5 GRU
9．6 LSTM
9．7 多種循環(huán)神經(jīng)網(wǎng)絡(luò)模型
9．8 循環(huán)神經(jīng)網(wǎng)絡(luò)模型的PyTorch實現(xiàn)
9．8．1 準備數(shù)據(jù)
9．8．2 定義循環(huán)神經(jīng)網(wǎng)絡(luò)模型
9．8．3 損失函數(shù)與梯度優(yōu)化
9．8．4 訓(xùn)練模型
9．8．5 測試模型
9．9 循環(huán)神經(jīng)網(wǎng)絡(luò)模型的TensorFlow實現(xiàn)
9．9．1 準備數(shù)據(jù)
9．9．2 定義循環(huán)神經(jīng)網(wǎng)絡(luò)模型
9．9．3 損失函數(shù)與優(yōu)化算法
9．9．4 訓(xùn)練并測試
后記
參考文獻