Python深度學(xué)習(xí)

第 一部分　深度學(xué)習(xí)基礎(chǔ)

第　1章 什么是深度學(xué)習(xí)　2

1.1　人工智能、機(jī)器學(xué)習(xí)與深度學(xué)習(xí)　2

1.1.1　人工智能　3

1.1.2　機(jī)器學(xué)習(xí)　3

1.1.3　從數(shù)據(jù)中學(xué)習(xí)表示　4

1.1.4　深度學(xué)習(xí)之“深度”　6

1.1.5　用三張圖理解深度學(xué)習(xí)的工作原理　7

1.1.6　深度學(xué)習(xí)已經(jīng)取得的進(jìn)展　9

1.1.7　不要相信短期炒作　9

1.1.8　人工智能的未來(lái)　10

1.2　深度學(xué)習(xí)之前：機(jī)器學(xué)習(xí)簡(jiǎn)史　11

1.2.1　概率建?！?1

1.2.2　早期神經(jīng)網(wǎng)絡(luò)　11

1.2.3　核方法　12

1.2.4　決策樹、隨機(jī)森林與梯度提升機(jī)　13

1.2.5　回到神經(jīng)網(wǎng)絡(luò)　14

1.2.6　深度學(xué)習(xí)有何不同　14

1.2.7　機(jī)器學(xué)習(xí)現(xiàn)狀　15

1.3　為什么是深度學(xué)習(xí)，為什么是現(xiàn)在　15

1.3.1　硬件　16

1.3.2　數(shù)據(jù)　17

1.3.3　算法　17

1.3.4　新的投資熱潮　17

1.3.5　深度學(xué)習(xí)的大眾化　18

1.3.6　這種趨勢(shì)會(huì)持續(xù)嗎　18

第　2章 神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)基礎(chǔ)　20

2.1　初識(shí)神經(jīng)網(wǎng)絡(luò)　20

2.2　神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)表示　23

2.2.1　標(biāo)量（0D張量）　23

2.2.2　向量（1D張量）　24

2.2.3　矩陣（2D張量）　24

2.2.4　3D張量與更高維張量　24

2.2.5　關(guān)鍵屬性　25

2.2.6　在Numpy中操作張量　26

2.2.7　數(shù)據(jù)批量的概念　27

2.2.8　現(xiàn)實(shí)世界中的數(shù)據(jù)張量　27

2.2.9　向量數(shù)據(jù)　27

2.2.10　時(shí)間序列數(shù)據(jù)或序列數(shù)據(jù)　28

2.2.11　圖像數(shù)據(jù)　28

2.2.12　視頻數(shù)據(jù)　29

2.3　神經(jīng)網(wǎng)絡(luò)的“齒輪”：張量運(yùn)算　29

2.3.1　逐元素運(yùn)算　30

2.3.2　廣播　31

2.3.3　張量點(diǎn)積　32

2.3.4　張量變形　34

2.3.5　張量運(yùn)算的幾何解釋　34

2.3.6　深度學(xué)習(xí)的幾何解釋　35

2.4　神經(jīng)網(wǎng)絡(luò)的“引擎”：基于梯度的優(yōu)化　36

2.4.1　什么是導(dǎo)數(shù)　37

2.4.2　張量運(yùn)算的導(dǎo)數(shù)：梯度　38

2.4.3　隨機(jī)梯度下降　38

2.4.4　鏈?zhǔn)角髮?dǎo)：反向傳播算法　41

2.5　回顧第 一個(gè)例子　41

本章小結(jié)　42

第3章　神經(jīng)網(wǎng)絡(luò)入門　43

3.1　神經(jīng)網(wǎng)絡(luò)剖析　43

3.1.1　層：深度學(xué)習(xí)的基礎(chǔ)組件　44

3.1.2　模型：層構(gòu)成的網(wǎng)絡(luò)　45

3.1.3　損失函數(shù)與優(yōu)化器：配置學(xué)習(xí)過(guò)程的關(guān)鍵　45

3.2　Keras簡(jiǎn)介　46

3.2.1　Keras、TensorFlow、Theano 和CNTK　47

3.2.2　使用Keras 開(kāi)發(fā)：概述　48

3.3　建立深度學(xué)習(xí)工作站　49

3.3.1　Jupyter筆記本：運(yùn)行深度學(xué)習(xí)實(shí)驗(yàn)的首選方法　49

3.3.2　運(yùn)行Keras：兩種選擇　50

3.3.3　在云端運(yùn)行深度學(xué)習(xí)任務(wù)：優(yōu)點(diǎn)和缺點(diǎn)　50

3.3.4　深度學(xué)習(xí)的最佳GPU　50

3.4　電影評(píng)論分類：二分類問(wèn)題　51

3.4.1　IMDB 數(shù)據(jù)集　51

3.4.2　準(zhǔn)備數(shù)據(jù)　52

3.4.3　構(gòu)建網(wǎng)絡(luò)　52

3.4.4　驗(yàn)證你的方法　56

3.4.5　使用訓(xùn)練好的網(wǎng)絡(luò)在新數(shù)據(jù)上生成預(yù)測(cè)結(jié)果　59

3.4.6　進(jìn)一步的實(shí)驗(yàn)　59

3.4.7　小結(jié)　59

3.5　新聞分類：多分類問(wèn)題　59

3.5.1　路透社數(shù)據(jù)集　60

3.5.2　準(zhǔn)備數(shù)據(jù)　61

3.5.3　構(gòu)建網(wǎng)絡(luò)　61

3.5.4　驗(yàn)證你的方法　62

3.5.5　在新數(shù)據(jù)上生成預(yù)測(cè)結(jié)果　65

3.5.6　處理標(biāo)簽和損失的另一種方法　65

3.5.7　中間層維度足夠大的重要性　65

3.5.8　進(jìn)一步的實(shí)驗(yàn)　66

3.5.9　小結(jié)　66

3.6　預(yù)測(cè)房?jī)r(jià)：回歸問(wèn)題　66

3.6.1　波士頓房?jī)r(jià)數(shù)據(jù)集　67

3.6.2　準(zhǔn)備數(shù)據(jù)　67

3.6.3　構(gòu)建網(wǎng)絡(luò)　68

3.6.4　利用K折驗(yàn)證來(lái)驗(yàn)證你的方法　68

3.6.5　小結(jié)　72

本章小結(jié)　73

第4章　機(jī)器學(xué)習(xí)基礎(chǔ)　74

4.1　機(jī)器學(xué)習(xí)的四個(gè)分支　74

4.1.1　監(jiān)督學(xué)習(xí)　74

4.1.2　無(wú)監(jiān)督學(xué)習(xí)　75

4.1.3　自監(jiān)督學(xué)習(xí)　75

4.1.4　強(qiáng)化學(xué)習(xí)　75

4.2　評(píng)估機(jī)器學(xué)習(xí)模型　76

4.2.1　訓(xùn)練集、驗(yàn)證集和測(cè)試集　77

4.2.2　評(píng)估模型的注意事項(xiàng)　80

4.3　數(shù)據(jù)預(yù)處理、特征工程和特征學(xué)習(xí)　80

4.3.1　神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)預(yù)處理　80

4.3.2　特征工程　81

4.4　過(guò)擬合與欠擬合　83

4.4.1　減小網(wǎng)絡(luò)大小　83

4.4.2　添加權(quán)重正則化　85

4.4.3　添加dropout正則化　87

4.5　機(jī)器學(xué)習(xí)的通用工作流程　89

4.5.1　定義問(wèn)題，收集數(shù)據(jù)集　89

4.5.2　選擇衡量成功的指標(biāo)　89

4.5.3　確定評(píng)估方法　90

4.5.4　準(zhǔn)備數(shù)據(jù)　90

4.5.5　開(kāi)發(fā)比基準(zhǔn)更好的模型　90

4.5.6　擴(kuò)大模型規(guī)模：開(kāi)發(fā)過(guò)擬合的模型　91

4.5.7　模型正則化與調(diào)節(jié)超參數(shù)　92

本章小結(jié)　92

第二部分　深度學(xué)習(xí)實(shí)踐

第5章　深度學(xué)習(xí)用于計(jì)算機(jī)視覺(jué)　94

5.1　卷積神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介　94

5.1.1　卷積運(yùn)算　96

5.1.2　最大池化運(yùn)算　101

5.2　在小型數(shù)據(jù)集上從頭開(kāi)始訓(xùn)練一個(gè)卷積神經(jīng)網(wǎng)絡(luò)　102

5.2.1　深度學(xué)習(xí)與小數(shù)據(jù)問(wèn)題的相關(guān)性　103

5.2.2　下載數(shù)據(jù)　103

5.2.3　構(gòu)建網(wǎng)絡(luò)　106

5.2.4　數(shù)據(jù)預(yù)處理　107

5.2.5　使用數(shù)據(jù)增強(qiáng)　111

5.3　使用預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)　115

5.3.1　特征提取　116

5.3.2　微調(diào)模型　124

5.3.3　小結(jié)　130

5.4　卷積神經(jīng)網(wǎng)絡(luò)的可視化　130

5.4.1　可視化中間激活　131

5.4.2　可視化卷積神經(jīng)網(wǎng)絡(luò)的過(guò)濾器　136

5.4.3　可視化類激活的熱力圖　142

本章小結(jié)　146

第6章　深度學(xué)習(xí)用于文本和序列　147

6.1　處理文本數(shù)據(jù)　147

6.1.1　單詞和字符的one-hot編碼　149

6.1.2　使用詞嵌入　151

6.1.3　整合在一起：從原始文本到詞嵌入　155

6.1.4　小結(jié)　162

6.2　理解循環(huán)神經(jīng)網(wǎng)絡(luò)　162

6.2.1　Keras中的循環(huán)層　164

6.2.2　理解LSTM層和GRU層　168

6.2.3　Keras中一個(gè)LSTM的具體例子　170

6.2.4　小結(jié)　172

6.3　循環(huán)神經(jīng)網(wǎng)絡(luò)的高級(jí)用法　172

6.3.1　溫度預(yù)測(cè)問(wèn)題　172

6.3.2　準(zhǔn)備數(shù)據(jù)　175

6.3.3　一種基于常識(shí)的、非機(jī)器學(xué)習(xí)的基準(zhǔn)方法　177

6.3.4　一種基本的機(jī)器學(xué)習(xí)方法　178

6.3.5　第 一個(gè)循環(huán)網(wǎng)絡(luò)基準(zhǔn)　180

6.3.6　使用循環(huán)dropout來(lái)降低過(guò)擬合　181

6.3.7　循環(huán)層堆疊　182

6.3.8　使用雙向RNN　184

6.3.9　更多嘗試　187

6.3.10　小結(jié)　187

6.4　用卷積神經(jīng)網(wǎng)絡(luò)處理序列　188

6.4.1　理解序列數(shù)據(jù)的一維卷積　188

6.4.2　序列數(shù)據(jù)的一維池化　189

6.4.3　實(shí)現(xiàn)一維卷積神經(jīng)網(wǎng)絡(luò)　189

6.4.4　結(jié)合CNN和RNN來(lái)處理長(zhǎng)序列　191

6.4.5　小結(jié)　195

本章總結(jié)　195

第7章　高級(jí)的深度學(xué)習(xí)最佳實(shí)踐　196

7.1　不用Sequential模型的解決方案：Keras 函數(shù)式API　196

7.1.1　函數(shù)式API簡(jiǎn)介　199

7.1.2　多輸入模型　200

7.1.3　多輸出模型　202

7.1.4　層組成的有向無(wú)環(huán)圖　204

7.1.5　共享層權(quán)重　208

7.1.6　將模型作為層　208

7.1.7　小結(jié)　209

7.2　使用Keras回調(diào)函數(shù)和TensorBoard來(lái)檢查并監(jiān)控深度學(xué)習(xí)模型　210

7.2.1　訓(xùn)練過(guò)程中將回調(diào)函數(shù)作用于模型　210

7.2.2　TensorBoard簡(jiǎn)介：TensorFlow的可視化框架　212

7.2.3　小結(jié)　219

7.3　讓模型性能發(fā)揮到極致　219

7.3.1　高級(jí)架構(gòu)模式　219

7.3.2　超參數(shù)優(yōu)化　222

7.3.3　模型集成　223

7.3.4　小結(jié)　224

本章總結(jié)　225

第8章　生成式深度學(xué)習(xí)　226

8.1　使用LSTM生成文本　227

8.1.1　生成式循環(huán)網(wǎng)絡(luò)簡(jiǎn)史　227

8.1.2　如何生成序列數(shù)據(jù)　228

8.1.3　采樣策略的重要性　229

8.1.4　實(shí)現(xiàn)字符級(jí)的LSTM文本生成　230

8.1.5　小結(jié)　234

8.2　DeepDream　235

8.2.1　用Keras實(shí)現(xiàn)DeepDream　236

8.2.2　小結(jié)　241

8.3　神經(jīng)風(fēng)格遷移　241

8.3.1　內(nèi)容損失　242

8.3.2　風(fēng)格損失　243

8.3.3　用Keras實(shí)現(xiàn)神經(jīng)風(fēng)格遷移　243

8.3.4　小結(jié)　249

8.4　用變分自編碼器生成圖像　249

8.4.1　從圖像的潛在空間中采樣　249

8.4.2　圖像編輯的概念向量　250

8.4.3　變分自編碼器　251

8.4.4　小結(jié)　256

8.5　生成式對(duì)抗網(wǎng)絡(luò)簡(jiǎn)介　257

8.5.1　GAN 的簡(jiǎn)要實(shí)現(xiàn)流程　258

8.5.2　大量技巧　259

8.5.3　生成器　260

8.5.4　判別器　261

8.5.5　對(duì)抗網(wǎng)絡(luò)　261

8.5.6　如何訓(xùn)練DCGAN　262

8.5.7　小結(jié)　264

本章總結(jié)　264

第9章　總結(jié)　265

9.1　重點(diǎn)內(nèi)容回顧　265

9.1.1　人工智能的各種方法　265

9.1.2　深度學(xué)習(xí)在機(jī)器學(xué)習(xí)領(lǐng)域中的特殊之處　266

9.1.3　如何看待深度學(xué)習(xí)　266

9.1.4　關(guān)鍵的推動(dòng)技術(shù)　267

9.1.5　機(jī)器學(xué)習(xí)的通用工作流程　268

9.1.6　關(guān)鍵網(wǎng)絡(luò)架構(gòu)　268

9.1.7　可能性空間　272

9.2　深度學(xué)習(xí)的局限性　273

9.2.1　將機(jī)器學(xué)習(xí)模型擬人化的風(fēng)險(xiǎn)　273

9.2.2　局部泛化與極端泛化　275

9.2.3　小結(jié)　276

9.3　深度學(xué)習(xí)的未來(lái)　277

9.3.1　模型即程序　277

9.3.2　超越反向傳播和可微層　278

9.3.3　自動(dòng)化機(jī)器學(xué)習(xí)　279

9.3.4　終身學(xué)習(xí)與模塊化子程序復(fù)用　279

9.3.5　長(zhǎng)期愿景　281

9.4　了解一個(gè)快速發(fā)展領(lǐng)域的最新進(jìn)展　281

9.4.1　使用Kaggle練習(xí)解決現(xiàn)實(shí)世界的問(wèn)題　281

9.4.2　在arXiv閱讀最新進(jìn)展　282

9.4.3　探索Keras生態(tài)系統(tǒng)　282

9.5　結(jié)束語(yǔ)　282

附錄A　在Ubuntu上安裝Keras及其依賴　283

附錄B　在EC2 GPU實(shí)例上運(yùn)行Jupyter筆記本　287