Python深度學習

第 一部分　深度學習基礎(chǔ)

第　1章 什么是深度學習　2

1.1　人工智能、機器學習與深度學習　2

1.1.1　人工智能　3

1.1.2　機器學習　3

1.1.3　從數(shù)據(jù)中學習表示　4

1.1.4　深度學習之“深度”　6

1.1.5　用三張圖理解深度學習的工作原理　7

1.1.6　深度學習已經(jīng)取得的進展　9

1.1.7　不要相信短期炒作　9

1.1.8　人工智能的未來　10

1.2　深度學習之前：機器學習簡史　11

1.2.1　概率建?！?1

1.2.2　早期神經(jīng)網(wǎng)絡(luò)　11

1.2.3　核方法　12

1.2.4　決策樹、隨機森林與梯度提升機　13

1.2.5　回到神經(jīng)網(wǎng)絡(luò)　14

1.2.6　深度學習有何不同　14

1.2.7　機器學習現(xiàn)狀　15

1.3　為什么是深度學習，為什么是現(xiàn)在　15

1.3.1　硬件　16

1.3.2　數(shù)據(jù)　17

1.3.3　算法　17

1.3.4　新的投資熱潮　17

1.3.5　深度學習的大眾化　18

1.3.6　這種趨勢會持續(xù)嗎　18

第　2章 神經(jīng)網(wǎng)絡(luò)的數(shù)學基礎(chǔ)　20

2.1　初識神經(jīng)網(wǎng)絡(luò)　20

2.2　神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)表示　23

2.2.1　標量（0D張量）　23

2.2.2　向量（1D張量）　24

2.2.3　矩陣（2D張量）　24

2.2.4　3D張量與更高維張量　24

2.2.5　關(guān)鍵屬性　25

2.2.6　在Numpy中操作張量　26

2.2.7　數(shù)據(jù)批量的概念　27

2.2.8　現(xiàn)實世界中的數(shù)據(jù)張量　27

2.2.9　向量數(shù)據(jù)　27

2.2.10　時間序列數(shù)據(jù)或序列數(shù)據(jù)　28

2.2.11　圖像數(shù)據(jù)　28

2.2.12　視頻數(shù)據(jù)　29

2.3　神經(jīng)網(wǎng)絡(luò)的“齒輪”：張量運算　29

2.3.1　逐元素運算　30

2.3.2　廣播　31

2.3.3　張量點積　32

2.3.4　張量變形　34

2.3.5　張量運算的幾何解釋　34

2.3.6　深度學習的幾何解釋　35

2.4　神經(jīng)網(wǎng)絡(luò)的“引擎”：基于梯度的優(yōu)化　36

2.4.1　什么是導數(shù)　37

2.4.2　張量運算的導數(shù)：梯度　38

2.4.3　隨機梯度下降　38

2.4.4　鏈式求導：反向傳播算法　41

2.5　回顧第 一個例子　41

本章小結(jié)　42

第3章　神經(jīng)網(wǎng)絡(luò)入門　43

3.1　神經(jīng)網(wǎng)絡(luò)剖析　43

3.1.1　層：深度學習的基礎(chǔ)組件　44

3.1.2　模型：層構(gòu)成的網(wǎng)絡(luò)　45

3.1.3　損失函數(shù)與優(yōu)化器：配置學習過程的關(guān)鍵　45

3.2　Keras簡介　46

3.2.1　Keras、TensorFlow、Theano 和CNTK　47

3.2.2　使用Keras 開發(fā)：概述　48

3.3　建立深度學習工作站　49

3.3.1　Jupyter筆記本：運行深度學習實驗的首選方法　49

3.3.2　運行Keras：兩種選擇　50

3.3.3　在云端運行深度學習任務(wù)：優(yōu)點和缺點　50

3.3.4　深度學習的最佳GPU　50

3.4　電影評論分類：二分類問題　51

3.4.1　IMDB 數(shù)據(jù)集　51

3.4.2　準備數(shù)據(jù)　52

3.4.3　構(gòu)建網(wǎng)絡(luò)　52

3.4.4　驗證你的方法　56

3.4.5　使用訓練好的網(wǎng)絡(luò)在新數(shù)據(jù)上生成預測結(jié)果　59

3.4.6　進一步的實驗　59

3.4.7　小結(jié)　59

3.5　新聞分類：多分類問題　59

3.5.1　路透社數(shù)據(jù)集　60

3.5.2　準備數(shù)據(jù)　61

3.5.3　構(gòu)建網(wǎng)絡(luò)　61

3.5.4　驗證你的方法　62

3.5.5　在新數(shù)據(jù)上生成預測結(jié)果　65

3.5.6　處理標簽和損失的另一種方法　65

3.5.7　中間層維度足夠大的重要性　65

3.5.8　進一步的實驗　66

3.5.9　小結(jié)　66

3.6　預測房價：回歸問題　66

3.6.1　波士頓房價數(shù)據(jù)集　67

3.6.2　準備數(shù)據(jù)　67

3.6.3　構(gòu)建網(wǎng)絡(luò)　68

3.6.4　利用K折驗證來驗證你的方法　68

3.6.5　小結(jié)　72

本章小結(jié)　73

第4章　機器學習基礎(chǔ)　74

4.1　機器學習的四個分支　74

4.1.1　監(jiān)督學習　74

4.1.2　無監(jiān)督學習　75

4.1.3　自監(jiān)督學習　75

4.1.4　強化學習　75

4.2　評估機器學習模型　76

4.2.1　訓練集、驗證集和測試集　77

4.2.2　評估模型的注意事項　80

4.3　數(shù)據(jù)預處理、特征工程和特征學習　80

4.3.1　神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)預處理　80

4.3.2　特征工程　81

4.4　過擬合與欠擬合　83

4.4.1　減小網(wǎng)絡(luò)大小　83

4.4.2　添加權(quán)重正則化　85

4.4.3　添加dropout正則化　87

4.5　機器學習的通用工作流程　89

4.5.1　定義問題，收集數(shù)據(jù)集　89

4.5.2　選擇衡量成功的指標　89

4.5.3　確定評估方法　90

4.5.4　準備數(shù)據(jù)　90

4.5.5　開發(fā)比基準更好的模型　90

4.5.6　擴大模型規(guī)模：開發(fā)過擬合的模型　91

4.5.7　模型正則化與調(diào)節(jié)超參數(shù)　92

本章小結(jié)　92

第二部分　深度學習實踐

第5章　深度學習用于計算機視覺　94

5.1　卷積神經(jīng)網(wǎng)絡(luò)簡介　94

5.1.1　卷積運算　96

5.1.2　最大池化運算　101

5.2　在小型數(shù)據(jù)集上從頭開始訓練一個卷積神經(jīng)網(wǎng)絡(luò)　102

5.2.1　深度學習與小數(shù)據(jù)問題的相關(guān)性　103

5.2.2　下載數(shù)據(jù)　103

5.2.3　構(gòu)建網(wǎng)絡(luò)　106

5.2.4　數(shù)據(jù)預處理　107

5.2.5　使用數(shù)據(jù)增強　111

5.3　使用預訓練的卷積神經(jīng)網(wǎng)絡(luò)　115

5.3.1　特征提取　116

5.3.2　微調(diào)模型　124

5.3.3　小結(jié)　130

5.4　卷積神經(jīng)網(wǎng)絡(luò)的可視化　130

5.4.1　可視化中間激活　131

5.4.2　可視化卷積神經(jīng)網(wǎng)絡(luò)的過濾器　136

5.4.3　可視化類激活的熱力圖　142

本章小結(jié)　146

第6章　深度學習用于文本和序列　147

6.1　處理文本數(shù)據(jù)　147

6.1.1　單詞和字符的one-hot編碼　149

6.1.2　使用詞嵌入　151

6.1.3　整合在一起：從原始文本到詞嵌入　155

6.1.4　小結(jié)　162

6.2　理解循環(huán)神經(jīng)網(wǎng)絡(luò)　162

6.2.1　Keras中的循環(huán)層　164

6.2.2　理解LSTM層和GRU層　168

6.2.3　Keras中一個LSTM的具體例子　170

6.2.4　小結(jié)　172

6.3　循環(huán)神經(jīng)網(wǎng)絡(luò)的高級用法　172

6.3.1　溫度預測問題　172

6.3.2　準備數(shù)據(jù)　175

6.3.3　一種基于常識的、非機器學習的基準方法　177

6.3.4　一種基本的機器學習方法　178

6.3.5　第 一個循環(huán)網(wǎng)絡(luò)基準　180

6.3.6　使用循環(huán)dropout來降低過擬合　181

6.3.7　循環(huán)層堆疊　182

6.3.8　使用雙向RNN　184

6.3.9　更多嘗試　187

6.3.10　小結(jié)　187

6.4　用卷積神經(jīng)網(wǎng)絡(luò)處理序列　188

6.4.1　理解序列數(shù)據(jù)的一維卷積　188

6.4.2　序列數(shù)據(jù)的一維池化　189

6.4.3　實現(xiàn)一維卷積神經(jīng)網(wǎng)絡(luò)　189

6.4.4　結(jié)合CNN和RNN來處理長序列　191

6.4.5　小結(jié)　195

本章總結(jié)　195

第7章　高級的深度學習最佳實踐　196

7.1　不用Sequential模型的解決方案：Keras 函數(shù)式API　196

7.1.1　函數(shù)式API簡介　199

7.1.2　多輸入模型　200

7.1.3　多輸出模型　202

7.1.4　層組成的有向無環(huán)圖　204

7.1.5　共享層權(quán)重　208

7.1.6　將模型作為層　208

7.1.7　小結(jié)　209

7.2　使用Keras回調(diào)函數(shù)和TensorBoard來檢查并監(jiān)控深度學習模型　210

7.2.1　訓練過程中將回調(diào)函數(shù)作用于模型　210

7.2.2　TensorBoard簡介：TensorFlow的可視化框架　212

7.2.3　小結(jié)　219

7.3　讓模型性能發(fā)揮到極致　219

7.3.1　高級架構(gòu)模式　219

7.3.2　超參數(shù)優(yōu)化　222

7.3.3　模型集成　223

7.3.4　小結(jié)　224

本章總結(jié)　225

第8章　生成式深度學習　226

8.1　使用LSTM生成文本　227

8.1.1　生成式循環(huán)網(wǎng)絡(luò)簡史　227

8.1.2　如何生成序列數(shù)據(jù)　228

8.1.3　采樣策略的重要性　229

8.1.4　實現(xiàn)字符級的LSTM文本生成　230

8.1.5　小結(jié)　234

8.2　DeepDream　235

8.2.1　用Keras實現(xiàn)DeepDream　236

8.2.2　小結(jié)　241

8.3　神經(jīng)風格遷移　241

8.3.1　內(nèi)容損失　242

8.3.2　風格損失　243

8.3.3　用Keras實現(xiàn)神經(jīng)風格遷移　243

8.3.4　小結(jié)　249

8.4　用變分自編碼器生成圖像　249

8.4.1　從圖像的潛在空間中采樣　249

8.4.2　圖像編輯的概念向量　250

8.4.3　變分自編碼器　251

8.4.4　小結(jié)　256

8.5　生成式對抗網(wǎng)絡(luò)簡介　257

8.5.1　GAN 的簡要實現(xiàn)流程　258

8.5.2　大量技巧　259

8.5.3　生成器　260

8.5.4　判別器　261

8.5.5　對抗網(wǎng)絡(luò)　261

8.5.6　如何訓練DCGAN　262

8.5.7　小結(jié)　264

本章總結(jié)　264

第9章　總結(jié)　265

9.1　重點內(nèi)容回顧　265

9.1.1　人工智能的各種方法　265

9.1.2　深度學習在機器學習領(lǐng)域中的特殊之處　266

9.1.3　如何看待深度學習　266

9.1.4　關(guān)鍵的推動技術(shù)　267

9.1.5　機器學習的通用工作流程　268

9.1.6　關(guān)鍵網(wǎng)絡(luò)架構(gòu)　268

9.1.7　可能性空間　272

9.2　深度學習的局限性　273

9.2.1　將機器學習模型擬人化的風險　273

9.2.2　局部泛化與極端泛化　275

9.2.3　小結(jié)　276

9.3　深度學習的未來　277

9.3.1　模型即程序　277

9.3.2　超越反向傳播和可微層　278

9.3.3　自動化機器學習　279

9.3.4　終身學習與模塊化子程序復用　279

9.3.5　長期愿景　281

9.4　了解一個快速發(fā)展領(lǐng)域的最新進展　281

9.4.1　使用Kaggle練習解決現(xiàn)實世界的問題　281

9.4.2　在arXiv閱讀最新進展　282

9.4.3　探索Keras生態(tài)系統(tǒng)　282

9.5　結(jié)束語　282

附錄A　在Ubuntu上安裝Keras及其依賴　283

附錄B　在EC2 GPU實例上運行Jupyter筆記本　287