PyTorch深度學習入門與技術實踐

第1章?深度學習快速入門
1.1?各種深度學習應用
1.2?準備開發(fā)環(huán)境
1.2.1?Linux基礎
1.2.2?Micro編輯器
1.2.3?在Linux系統(tǒng)中安裝Python
1.2.4?選擇Python版本
1.2.5?在Windows系統(tǒng)中安裝Python
1.3?體驗PyTorch
1.3.1?安裝PyTorch
1.3.2?PyTorch中的計算圖
1.3.3　用三階多項式擬合函數(shù)
1.3.4?實現(xiàn)手寫數(shù)字識別
1.4?本章小結
第2章?Python技術基礎
2.1?變量
2.2?注釋
2.3?簡單數(shù)據(jù)類型
2.3.1?數(shù)值
2.3.2?字符串
2.3.3?數(shù)組
2.4?字面值
2.5?控制流
2.5.1?條件語句
2.5.2?循環(huán)語句
2.6?列表
2.7?元組
2.8?集合
2.9?字典
2.10?位數(shù)組
2.11?模塊
2.12?函數(shù)
2.13?print函數(shù)
2.14?正則表達式
2.15?文件操作
2.15.1?讀寫文件
2.15.2?重命名文件
2.15.3?遍歷文件
2.16?with語句
2.17?使用pickle模塊序列化對象
2.18?面向?qū)ο缶幊?br />2.19?命令行參數(shù)
2.20?數(shù)據(jù)庫
2.21?JSON格式
2.22?日志記錄
2.23?異常處理
2.24?本章小結
第3章?PyTorch中的深度學習
3.1?神經(jīng)網(wǎng)絡基礎
3.1.1?實現(xiàn)深度前饋網(wǎng)絡
3.1.2?計算過程
3.2?卷積神經(jīng)網(wǎng)絡
3.3?PyTorch基礎知識
3.3.1?創(chuàng)建張量
3.3.2?隨機張量
3.3.3?零和一
3.3.4?范圍張量
3.3.5?張量數(shù)據(jù)類型
3.3.6?從張量獲取信息
3.3.7?操縱張量
3.3.8?深度學習中最常見的錯誤之一（形狀錯誤）
3.3.9?求最小值、最大值、平均值、總和等
3.3.10?最大值、最小值的所處位置
3.3.11?更改張量數(shù)據(jù)類型
3.3.12?重塑、堆疊、壓縮和解壓
3.3.13?索引（從張量中選擇數(shù)據(jù)）
3.3.14?PyTorch張量和NumPy
3.3.15?再現(xiàn)性（試圖從隨機中提取隨機性）
3.4?transformer架構
3.4.1?編碼器
3.4.2?解碼器
3.4.3?生成概率分布
3.5?為PyTorch模型提供服務
3.6?本章小結
第4章?PyTorch開發(fā)深度學習應用
4.1?文本分類
4.1.1?準備數(shù)據(jù)集
4.1.2?定義網(wǎng)絡
4.1.3?訓練網(wǎng)絡
4.2?開發(fā)聊天機器人
4.3?用Wav2Vec 2.0進行語音識別
4.4?機器翻譯
4.5?本章小結
第5章?分布式PyTorch
5.1?PyTorch分布式概述
5.1.1?數(shù)據(jù)并行訓練
5.1.2?基于RPC的分布式訓練
5.2?數(shù)據(jù)并行
5.3?單機模型并行最佳實踐
5.4?分布式數(shù)據(jù)并行入門
5.5?用PyTorch編寫分布式應用程序
5.6?完全分片數(shù)據(jù)并行入門
5.7?基于完全分片數(shù)據(jù)并行的高級模型訓練
5.8?分布式RPC框架入門
5.8.1?使用RPC和RRef的分布式強化學習
5.8.2?使用分布式Autograd和分布式優(yōu)化器的分布式RNN
5.9?使用分布式RPC框架實現(xiàn)參數(shù)服務器
5.10?基于RPC的分布式流水線并行
5.10.1?步驟1：分區(qū)ResNet50模型
5.10.2?步驟2：將ResNet50模型分片拼接到一個模塊中
5.10.3?步驟3：定義訓練循環(huán)
5.10.4?步驟4：啟動RPC進程
5.11?使用異步執(zhí)行實現(xiàn)批量RPC處理
5.11.1?批量更新參數(shù)服務器
5.11.2?批量處理CartPole求解器
5.12?分布式數(shù)據(jù)并行與分布式RPC框架的結合
5.13?使用流水線并行性訓練transformer模型
5.14?本章小結