JavaScript深度學(xué)習(xí)

第 一部分 動(dòng)機(jī)和基本概念
第　1章 深度學(xué)習(xí)和JavaScript　2
1．1　人工智能、機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)　4
1．1．1　人工智能　4
1．1．2　機(jī)器學(xué)習(xí)：它和傳統(tǒng)編程有何不同　5
1．1．3　神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)　9
1．1．4　進(jìn)行深度學(xué)習(xí)的必要性　12
1．2　為何要結(jié)合JavaScript和機(jī)器學(xué)習(xí)　14
1．2．1　用Node．js進(jìn)行深度學(xué)習(xí)　19
1．2．2　JavaScript生態(tài)系統(tǒng)　20
1．3　為何選用TensorFlow．js　21
1．3．1　TensorFlow、Keras和TensorFlow．js的前世今生　21
1．3．2　為何選用TensorFlow．js　24
1．3．3　TensorFlow．js在全球的應(yīng)用情況　25
1．3．4　本書(shū)中的TensorFlow．js知識(shí)　26
1．4　練習(xí)　27
1．5　小結(jié)　27
第二部分　深入淺出TensorFlow．js
第　2章 TensorFlow．js入門(mén)：從簡(jiǎn)單的線(xiàn)性回歸開(kāi)始　30
2．1　示例1：用TensorFlow．js預(yù)測(cè)下載任務(wù)所需時(shí)間　30
2．1．1　項(xiàng)目概覽：預(yù)測(cè)下載任務(wù)所需時(shí)間　31
2．1．2　關(guān)于代碼清單和控制臺(tái)交互的注意事項(xiàng)　32
2．1．3　創(chuàng)建和格式化數(shù)據(jù)　32
2．1．4　定義簡(jiǎn)單的模型　35
2．1．5　使模型擬合訓(xùn)練集　37
2．1．6　用經(jīng)過(guò)訓(xùn)練的模型進(jìn)行預(yù)測(cè)　39
2．1．7　示例1 小結(jié)　40
2．2　model．fit()內(nèi)部原理剖析：示例1中的梯度下降算法　41
2．2．1　直觀(guān)理解梯度下降算法優(yōu)化　41
2．2．2　探索梯度下降算法的內(nèi)部原理：反向傳播算法　46
2．3　示例2：涉及多個(gè)輸入特征的線(xiàn)性回歸　50
2．3．1　波士頓房?jī)r(jià)數(shù)據(jù)集　50
2．3．2　從GitHub獲取并運(yùn)行波士頓房?jī)r(jià)預(yù)測(cè)項(xiàng)目　51
2．3．3　讀取波士頓房?jī)r(jià)數(shù)據(jù)　53
2．3．4　準(zhǔn)確定義波士頓房?jī)r(jià)問(wèn)題　54
2．3．5　線(xiàn)性回歸前的準(zhǔn)備工作：數(shù)據(jù)標(biāo)準(zhǔn)化　55
2．3．6　對(duì)波士頓房?jī)r(jià)數(shù)據(jù)集進(jìn)行線(xiàn)性回歸　59
2．4　如何理解模型　62
2．4．1　解釋習(xí)得的權(quán)重　62
2．4．2　獲取模型內(nèi)部權(quán)重　64
2．4．3　關(guān)于可解釋性的注意事項(xiàng)　65
2．5　練習(xí)　65
2．6　小結(jié)　65
第3章　添加非線(xiàn)性：升級(jí)加權(quán)和　67
3．1　非線(xiàn)性的定義及其優(yōu)勢(shì)　67
3．1．1　直觀(guān)地理解神經(jīng)網(wǎng)絡(luò)中的非線(xiàn)性　69
3．1．2　超參數(shù)與超參數(shù)優(yōu)化　75
3．2　輸出端的非線(xiàn)性：分類(lèi)任務(wù)的模型　77
3．2．1　二分類(lèi)定義　78
3．2．2　度量二分類(lèi)器的性能：準(zhǔn)確率、精確率、召回率　81
3．2．3　ROC曲線(xiàn)：展示二分類(lèi)問(wèn)題中的取舍關(guān)系　83
3．2．4　二元交叉熵：二分類(lèi)問(wèn)題的損失函數(shù)　87
3．3　多分類(lèi)問(wèn)題　90
3．3．1　對(duì)分類(lèi)數(shù)據(jù)進(jìn)行one-hot編碼　90
3．3．2　歸一化指數(shù)函數(shù)：softmax函數(shù)　92
3．3．3　分類(lèi)交叉熵：多分類(lèi)問(wèn)題的損失函數(shù)　94
3．3．4　混淆矩陣：更細(xì)粒度地分析多分類(lèi)問(wèn)題　95
3．4　練習(xí)　97
3．5　小結(jié)　98
第4章　用convnet 識(shí)別圖像和音頻　99
4．1　從向量到張量：圖像數(shù)據(jù)的表示方法　99
4．2　你的第 一個(gè)convnet　101
4．2．1　conv2d層　103
4．2．2　maxPooling2d層　107
4．2．3　重復(fù)出現(xiàn)的卷積層加池化層組合模式　108
4．2．4　扁平化密集層　109
4．2．5　訓(xùn)練convnet　111
4．2．6　用convnet做預(yù)測(cè)　114
4．3　告別瀏覽器：用Node．js更快地訓(xùn)練模型　117
4．3．1　安裝使用tfjs-node所需的依賴(lài)和模塊　117
4．3．2　在瀏覽器中加載Node．js中保存的模型　122
4．4　口語(yǔ)單詞識(shí)別：對(duì)音頻數(shù)據(jù)使用convnet　124
4．5　練習(xí)　130
4．6　小結(jié)　130
第5章　遷移學(xué)習(xí)：復(fù)用預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)　132
5．1　遷移學(xué)習(xí)簡(jiǎn)介：復(fù)用預(yù)訓(xùn)練模型　132
5．1．1　基于兼容的輸出形狀進(jìn)行遷移學(xué)習(xí)：固化層　134
5．1．2　對(duì)不兼容的輸出形狀進(jìn)行遷移學(xué)習(xí)：用基模型的輸出創(chuàng)建新模型　139
5．1．3　用微調(diào)最大化遷移學(xué)習(xí)的收益：音頻示例　150
5．2　通過(guò)對(duì)convnet進(jìn)行遷移學(xué)習(xí)實(shí)現(xiàn)目標(biāo)檢測(cè)　159
5．2．1　基于合成場(chǎng)景的簡(jiǎn)單目標(biāo)識(shí)別問(wèn)題　160
5．2．2　深入了解如何實(shí)現(xiàn)簡(jiǎn)單的目標(biāo)檢測(cè)　161
5．3　練習(xí)　168
5．4　小結(jié)　169
第三部分　TensorFlow．js高級(jí)深度學(xué)習(xí)
第6章　處理數(shù)據(jù)　172
6．1　用tf．data管理數(shù)據(jù)　173
6．1．1　tf．data．Dataset對(duì)象　173
6．1．2　創(chuàng)建tf．data．Dataset對(duì)象　174
6．1．3　讀取數(shù)據(jù)集對(duì)象中的數(shù)據(jù)　178
6．1．4　操作tfjs-data數(shù)據(jù)集　179
6．2　用model．fitDataset訓(xùn)練模型　183
6．3　獲取數(shù)據(jù)的常見(jiàn)模式　188
6．3．1　處理CSV格式的數(shù)據(jù)　188
6．3．2　用tf．data．webcam()獲取視頻數(shù)據(jù)　193
6．3．3　用tf．data．microphone()獲取音頻數(shù)據(jù)　196
6．4　處理有缺陷的數(shù)據(jù)　198
6．4．1　數(shù)據(jù)理論　199
6．4．2　檢測(cè)并清洗數(shù)據(jù)中的缺陷　202
6．5　數(shù)據(jù)增強(qiáng)　208
6．6　練習(xí)　211
6．7　小結(jié)　211
第7章　可視化數(shù)據(jù)和模型　212
7．1　數(shù)據(jù)可視化　212
7．1．1　用tfjs-vis模塊可視化數(shù)據(jù)　213
7．1．2　綜合性案例研究：用tfjs-vis模塊可視化氣象數(shù)據(jù)　220
7．2　可視化訓(xùn)練后的模型　225
7．2．1　可視化convnet內(nèi)部激活函數(shù)的輸出　226
7．2．2　找到卷積層的敏感點(diǎn)：最大化激活函數(shù)輸出的輸入圖像　229
7．2．3　可視化和解讀convnet的分類(lèi)結(jié)果　233
7．3　延展閱讀和補(bǔ)充資料　234
7．4　練習(xí)　235
7．5　小結(jié)　235
第8章　欠擬合、過(guò)擬合，以及機(jī)器學(xué)習(xí)的通用流程　236
8．1　定義氣溫預(yù)測(cè)問(wèn)題　236
8．2　欠擬合、過(guò)擬合，以及應(yīng)對(duì)措施　240
8．2．1　欠擬合　240
8．2．2　過(guò)擬合　242
8．2．3　用權(quán)重正則化應(yīng)對(duì)過(guò)擬合并可視化其成效　244
8．3　機(jī)器學(xué)習(xí)的通用流程　248
8．4　練習(xí)　250
8．5　小結(jié)　251
第9章　針對(duì)序列和文本的深度學(xué)習(xí)　252
9．1　用RNN對(duì)氣溫預(yù)測(cè)問(wèn)題進(jìn)行第二次嘗試　253
9．1．1　為何密集層無(wú)法為序列中的順序信息建?！?53
9．1．2　RNN層如何為序列中的順序建?！?55
9．2　構(gòu)建針對(duì)文本的深度學(xué)習(xí)模型　263
9．2．1　文本在機(jī)器學(xué)習(xí)中的表示方法：one-hot編碼和multi-hot編碼　264
9．2．2　對(duì)情感分析問(wèn)題的第 一次嘗試　266
9．2．3　一種更高效的文本表示：詞嵌入　267
9．2．4　1D convnet　269
9．3　采用注意力機(jī)制的序列到序列任務(wù)　277
9．3．1　定義序列到序列任務(wù)　277
9．3．2　編碼器 解碼器架構(gòu)和注意力機(jī)制　279
9．3．3　詳解基于注意力機(jī)制的編碼器 解碼器模型　282
9．4　延展閱讀　286
9．5　練習(xí)　286
9．6　小結(jié)　287
第　10章 生成式深度學(xué)習(xí)　289
10．1　用LSTM 生成文本　290
10．1．1　下個(gè)字符預(yù)測(cè)器：一種簡(jiǎn)單的文本生成方法　290
10．1．2　基于LSTM的文本生成器示例　292
10．1．3　混沌值：調(diào)節(jié)生成文本的隨機(jī)程度的閥門(mén)　296
10．2　變分自編碼器：找到圖像的高效、結(jié)構(gòu)化表示　299
10．2．1　經(jīng)典自編碼器和變分自編碼器：基本概念　299
10．2．2　VAE的具體示例：Fashion-MNIST數(shù)據(jù)集示例　302
10．3　用GAN生成圖像　308
10．3．1　GAN背后的基本概念　309
10．3．2　ACGAN的基本組成部分　311
10．3．3　詳解ACGAN的訓(xùn)練流程　315
10．3．4　見(jiàn)證針對(duì)MNIST數(shù)據(jù)集的ACGAN模型的訓(xùn)練和圖像生成　317
10．4　延展閱讀　320
10．5　練習(xí)　320
10．6　小結(jié)　321
第　11章 深度強(qiáng)化學(xué)習(xí)的基本原理　322
11．1　定義強(qiáng)化學(xué)習(xí)問(wèn)題　323
11．2　策略網(wǎng)絡(luò)和策略梯度：平衡倒立擺示例　326
11．2．1　用強(qiáng)化學(xué)習(xí)的框架定義平衡倒立擺問(wèn)題　326
11．2．2　策略網(wǎng)絡(luò)　328
11．2．3　訓(xùn)練策略網(wǎng)絡(luò)：REINFORCE算法　331
11．3　價(jià)值網(wǎng)絡(luò)和Q學(xué)習(xí)：《貪吃蛇》游戲示例　337
11．3．1　用強(qiáng)化學(xué)習(xí)的框架定義貪吃蛇問(wèn)題　337
11．3．2　馬爾可夫決策過(guò)程和Q值　340
11．3．3　深度Q網(wǎng)絡(luò)　343
11．3．4　訓(xùn)練深度Q網(wǎng)絡(luò)　346
11．4　延展閱讀　356
11．5　練習(xí)　356
11．6　小結(jié)　358
第四部分　總結(jié)與結(jié)語(yǔ)
第　12章 模型的測(cè)試、優(yōu)化和部署　360
12．1　測(cè)試TensorFlow．js模型　360
12．1．1　傳統(tǒng)的單元測(cè)試　362
12．1．2　基于黃金值的測(cè)試　364
12．1．3　關(guān)于持續(xù)訓(xùn)練的一些思考　366
12．2　模型優(yōu)化　367
12．2．1　通過(guò)訓(xùn)練后的權(quán)重量化優(yōu)化模型體積　367
12．2．2　基于GraphModel轉(zhuǎn)換的推斷速度優(yōu)化　373
12．3　部署TensorFlow．js模型到不同的平臺(tái)和環(huán)境　378
12．3．1　部署到Web環(huán)境時(shí)的一些額外考量　378
12．3．2　部署到云環(huán)境　379
12．3．3　部署到瀏覽器插件（例如Chrome插件）環(huán)境　380
12．3．4　部署到基于JavaScript的移動(dòng)端應(yīng)用程序　382
12．3．5　部署到基于JavaScript的跨平臺(tái)桌面端應(yīng)用程序　383
12．3．6　部署到微信和其他基于JavaScript的移動(dòng)端插件系統(tǒng)　385
12．3．7　部署到單片機(jī)　386
12．3．8　部署環(huán)境的總結(jié)　388
12．4　延展閱讀　388
12．5　練習(xí)　388
12．6　小結(jié)　389
第　13章 總結(jié)與展望　390
13．1　回顧關(guān)鍵概念　390
13．1．1　AI的各種策略　390
13．1．2　深度學(xué)習(xí)從各種機(jī)器學(xué)習(xí)策略中脫穎而出的原因　391
13．1．3　如何抽象地理解深度學(xué)習(xí)　392
13．1．4　深度學(xué)習(xí)成功的關(guān)鍵因素　392
13．1．5　JavaScript深度學(xué)習(xí)帶來(lái)的新應(yīng)用和新機(jī)遇　393
13．2　回顧深度學(xué)習(xí)的流程和TensorFlow．js中的算法　394
13．2．1　監(jiān)督式深度學(xué)習(xí)的通用流程　394
13．2．2　回顧TensorFlow．js中的模型類(lèi)型和層類(lèi)型　395
13．2．3　在TensorFlow．js中使用預(yù)訓(xùn)練模型　400
13．2．4　可能性空間　402
13．2．5　深度學(xué)習(xí)的局限性　404
13．3　深度學(xué)習(xí)的發(fā)展趨勢(shì)　406
13．4　繼續(xù)探索的一些指引　407
13．4．1　在Kaggle上練習(xí)解決實(shí)際的機(jī)器學(xué)習(xí)問(wèn)題　407
13．4．2　了解arXiv上的最新進(jìn)展　408
13．4．3　探索TensorFlow．js生態(tài)　408
13．5　寄語(yǔ)　408
附錄A　安裝tfjs-node-gpu及其依賴(lài)（圖靈社區(qū)下載）
附錄B　TensorFlow．js張量及運(yùn)算的簡(jiǎn)明教程（圖靈社區(qū)下載）
術(shù)語(yǔ)表（圖靈社區(qū)下載）