機(jī)器學(xué)習(xí)的數(shù)學(xué)原理和算法實(shí)踐

第 1章　補(bǔ)基礎(chǔ)：不怕學(xué)不懂微積分　1
1．1　深入理解導(dǎo)數(shù)的本質(zhì)　2
1．1．1　哲學(xué)層面理解變化　2
1．1．2　生活中處處有函數(shù)　3
1．1．3　從瞬時(shí)速度到導(dǎo)數(shù)　3
1．1．4　從近似運(yùn)動(dòng)來(lái)理解導(dǎo)數(shù)　4
1．1．5　直觀理解復(fù)合函數(shù)求導(dǎo)　6
1．2　理解多元函數(shù)偏導(dǎo)　7
1．2．1　多元函數(shù)偏導(dǎo)數(shù)是什么　7
1．2．2　搞清楚梯度是什么　7
1．3　理解微積分　8
1．3．1　直觀理解積分　8
1．3．2　直觀理解微積分基本定理　10
1．4　泰勒公式太重要了　11
1．4．1　泰勒公式是什么　11
1．4．2　泰勒公式的典型應(yīng)用　11
1．4．3　直觀理解泰勒公式的來(lái)龍去脈　12
1．4．4　微積分基本定理與泰勒公式的關(guān)系　14
第 2章　補(bǔ)基礎(chǔ)：不怕學(xué)不懂線性代數(shù)　15
2．1　直觀理解向量　16
2．1．1　理解向量加法與數(shù)乘　17
2．1．2　理解向量乘法的本質(zhì)　19
2．1．3　理解基向量與線性無(wú)關(guān)　21
2．2　直觀理解矩陣　22
2．2．1　理解矩陣運(yùn)算規(guī)則　22
2．2．2　理解矩陣向量乘法的本質(zhì)　24
2．2．3　深刻理解矩陣乘法的本質(zhì)　29
2．3　理解線性方程組求解的本質(zhì)　30
2．3．1　直觀理解方程組的解　31
2．3．2　如何尋找解的表達(dá)式　34
2．3．3　深刻理解逆矩陣的本質(zhì)　36
2．3．4　直觀理解行列式的本質(zhì)　40
2．4　徹底理解最小二乘法的本質(zhì)　42
2．4．1　如何求解無(wú)解的方程組　43
2．4．2　論證 n 維子空間上的情況　48
2．4．3　搞懂施密特正交化是什么　50
2．4．4　理解最小二乘法的本質(zhì)　53
2．5　直觀理解相似矩陣對(duì)角化　54
2．5．1　相似矩陣是什么　55
2．5．2　如何理解特征值與特征向量　59
2．5．3　直觀理解相似矩陣的對(duì)角化　62
第3章　補(bǔ)基礎(chǔ)：不怕學(xué)不懂概率統(tǒng)計(jì)　64
3．1　什么是概率　64
3．1．1　最簡(jiǎn)單的概率的例子　64
3．1．2　概率論與數(shù)理統(tǒng)計(jì)的關(guān)系　65
3．2　搞懂大數(shù)定律與中心極限定理　65
3．2．1　大數(shù)定律想表達(dá)什么　65
3．2．2　中心極限定理想表達(dá)什么　67
3．2．3　大數(shù)定律與中心極限定理的區(qū)別　70
3．3　理解概率統(tǒng)計(jì)中的重要分布　70
3．3．1　真正搞懂正態(tài)分布　70
3．3．2　真正搞懂泊松分布　74
3．4　理解樸素貝葉斯思想很重要　75
3．4．1　如何理解條件概率　75
3．4．2　如何理解貝葉斯公式　76
3．4．3　貝葉斯公式的應(yīng)用　76
3．4．4　最大似然估計(jì)　77
第4章　全景圖：機(jī)器學(xué)習(xí)路線圖　79
4．1　通俗講解機(jī)器學(xué)習(xí)是什么　79
4．1．1　究竟什么是機(jī)器學(xué)習(xí)　79
4．1．2　機(jī)器學(xué)習(xí)的分類　81
4．2　機(jī)器學(xué)習(xí)所需環(huán)境介紹　82
4．2．1　Python的優(yōu)勢(shì)　83
4．2．2　Python下載、安裝及使用　83
4．3　跟著例子熟悉機(jī)器學(xué)習(xí)全過(guò)程　84
4．4　準(zhǔn)備數(shù)據(jù)包括什么　87
4．4．1　數(shù)據(jù)采集　87
4．4．2　數(shù)據(jù)清洗　88
4．4．3　不均衡樣本處理　88
4．4．4　數(shù)據(jù)類型轉(zhuǎn)換　89
4．4．5　數(shù)據(jù)標(biāo)準(zhǔn)化　90
4．4．6　特征工程　90
4．5　如何選擇算法　92
4．5．1　單一算法模型　92
4．5．2　集成學(xué)習(xí)模型　92
4．5．3　算法選擇路徑　96
4．6　調(diào)參優(yōu)化怎么處理　97
4．6．1　關(guān)于調(diào)參的幾個(gè)常識(shí)　97
4．6．2　模型欠擬合與過(guò)擬合　98
4．6．3　常見算法調(diào)參的內(nèi)容　98
4．6．4　算法調(diào)參的實(shí)踐方法　99
4．7　如何進(jìn)行性能評(píng)估　100
4．7．1　回歸預(yù)測(cè)性能度量　100
4．7．2　分類任務(wù)性能度量　100
第5章　數(shù)據(jù)降維：深入理解PCA的來(lái)龍去脈　102
5．1　PCA是什么　103
5．2　用一個(gè)例子來(lái)理解PCA過(guò)程　103
5．3　如何尋找降維矩陣P　106
5．4　PCA降維的核心思想　107
5．4．1　核心思想一：基變換向量投影　108
5．4．2　核心思想二：協(xié)方差歸零投影　112
5．4．3　核心思想三：最大方差投影　114
5．4．4　PCA降維的關(guān)鍵：協(xié)方差矩陣對(duì)角化　116
5．5　面向零基礎(chǔ)讀者詳解PCA降維　116
5．5．1　計(jì)算矩陣 Y 的協(xié)方差矩陣 Cy　116
5．5．2　矩陣 Y 的協(xié)方差矩陣 Cy 對(duì)角化　118
5．5．3　求解降維矩陣 P　120
5．6　編程實(shí)踐：手把手教你寫代碼　122
5．6．1　背景任務(wù)介紹：鳶尾花數(shù)據(jù)降維　122
5．6．2　代碼展示：手把手教你寫　123
5．6．3　代碼詳解：一步一步講解清楚　123
第6章　凸優(yōu)化核心過(guò)程：真正搞懂梯度下降過(guò)程　126
6．1　通俗講解凸函數(shù)　126
6．1．1　什么是凸集　126
6．1．2　什么是凸函數(shù)　127
6．1．3　機(jī)器學(xué)習(xí)“熱愛(ài)”凸函數(shù)　128
6．2　通俗講解梯度下降　128
6．2．1　梯度是什么　130
6．2．2　梯度下降與參數(shù)求解　130
6．2．3　梯度下降具體過(guò)程演示　131
6．3　編程實(shí)踐：手把手教你寫代碼　132
6．3．1　一元函數(shù)的梯度下降　132
6．3．2　多元函數(shù)的梯度下降　137
第7章　搞懂算法：線性回歸是怎么回事　142
7．1　什么是線性回歸　142
7．2　線性回歸算法解決什么問(wèn)題　143
7．3　線性回歸算法實(shí)現(xiàn)過(guò)程　143
7．4　編程實(shí)踐：手把手教你寫代碼　146
7．4．1　背景任務(wù)介紹：預(yù)測(cè)房?jī)r(jià)情況　146
7．4．2　代碼展示：手把手教你寫　147
7．4．3　代碼詳解：一步一步講解清楚　147
第8章　搞懂算法：邏輯回歸是怎么回事　150
8．1　如何理解邏輯回歸　150
8．2　邏輯回歸算法實(shí)現(xiàn)過(guò)程　151
8．3　編程實(shí)踐：手把手教你寫代碼　155
8．3．1　背景任務(wù)介紹：用邏輯回歸分類預(yù)測(cè)腫瘤　155
8．3．2　代碼展示：手把手教你寫　155
8．3．3　代碼詳解：一步一步講解清楚　156
第9章　搞懂算法：決策樹是怎么回事　159
9．1　典型的決策樹是什么樣的　159
9．2　決策樹算法的關(guān)鍵是什么　160
9．3　信息、信息量與信息熵　161
9．4　信息增益的計(jì)算過(guò)程　163
9．5　剪枝處理是怎么回事　167
9．6　編程實(shí)踐：手把手教你寫代碼　167
9．6．1　背景任務(wù)介紹：用決策樹分類預(yù)測(cè)乳腺癌　167
9．6．2　代碼展示：手把手教你寫　167
9．6．3　代碼詳解：一步一步講解清楚　168
第 10章　搞懂算法：支持向量機(jī)是怎么回事　171
10．1　SVM有什么用　171
10．2　SVM算法原理和過(guò)程是什么　172
10．2．1　分離超平面是什么　172
10．2．2　間隔與支持向量是什么　175
10．3　編程實(shí)踐：手把手教你寫代碼　180
10．3．1　背景任務(wù)介紹：用SVM分類預(yù)測(cè)乳腺癌　180
10．3．2　代碼展示：手把手教你寫　180
10．3．3　代碼詳解：一步一步講解清楚　181
第 11章　搞懂算法：聚類是怎么回事　184
11．1　聚類算法介紹　184
11．1．1　聚類是什么　184
11．1．2 　聚類算法應(yīng)用場(chǎng)景　185
11．2　通俗講解聚類算法過(guò)程　186
11．2．1　相似度如何度量　186
11．2．2　聚類性能如何度量　188
11．2．3　具體算法介紹：K-means算法　188
11．2．4　具體算法介紹：K-means++算法　189
11．3　編程實(shí)踐：手把手教你寫代碼　191
11．3．1　背景任務(wù)介紹：手寫數(shù)字圖像聚類　191
11．3．2　代碼展示：手把手教你寫　191
11．3．3　代碼詳解：一步一步講解清楚　193
第 12章　搞懂算法：樸素貝葉斯是怎么回事　195
12．1　樸素貝葉斯是什么　195
12．1．1　條件概率是什么　195
12．1．2　貝葉斯公式是什么　195
12．2　樸素貝葉斯實(shí)現(xiàn)方法　196
12．2．1　伯努利樸素貝葉斯方法　196
12．2．2　高斯樸素貝葉斯方法　198
12．2．3　多項(xiàng)式樸素貝葉斯方法　199
12．3　編程實(shí)踐：手把手教你寫代碼　200
12．3．1　背景任務(wù)介紹：樸素貝葉斯分類預(yù)測(cè)文本類別　200
12．3．2　代碼展示：手把手教你寫　201
12．3．3　代碼詳解：一步一步講解清楚　201
第 13章　搞懂算法：神經(jīng)網(wǎng)絡(luò)是怎么回事　205
13．1　從一個(gè)具體任務(wù)開始：識(shí)別數(shù)字　206
13．2　理解神經(jīng)元是什么　207
13．2．1　感知器是什么　207
13．2．2　S型神經(jīng)元是什么　208
13．3　理解典型神經(jīng)網(wǎng)絡(luò)多層感知器　210
13．3．1　神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)是什么　210
13．3．2　搞懂MLP的工作原理是什么　211
13．4　MLP的代價(jià)函數(shù)與梯度下降　216
13．4．1　代價(jià)函數(shù)：參數(shù)優(yōu)化的依據(jù)　216
13．4．2　梯度下降法：求解代價(jià)函數(shù)最小值　217
13．5　反向傳播算法的本質(zhì)與推導(dǎo)過(guò)程　219
13．5．1　反向傳播算法：神經(jīng)網(wǎng)絡(luò)的訓(xùn)練算法　219
13．5．2　尋根究底：搞懂反向傳播算法的數(shù)學(xué)原理　221
13．6　編程實(shí)踐：手把手教你寫代碼　224
13．6．1　通過(guò)代碼深入理解反向傳播算法　224
13．6．2　一個(gè)簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)分類算法實(shí)踐　227
第 14章　綜合實(shí)踐：模型優(yōu)化的經(jīng)驗(yàn)技巧　230
14．1　經(jīng)驗(yàn)技巧一：特征處理　230
14．1．1　特征提取：文本數(shù)據(jù)預(yù)處理　230
14．1．2　特征選擇：篩選特征組合　234
14．2　經(jīng)驗(yàn)技巧二：模型配置優(yōu)化　235
14．2．1　模型配置優(yōu)化方法：交叉驗(yàn)證　235
14．2．2　模型配置優(yōu)化方法：超參數(shù)搜索　237
14．3　編程實(shí)踐：手把手教你寫代碼　239
14．3．1　背景任務(wù)介紹：乳腺癌分類預(yù)測(cè)多模型對(duì)比演示　240
14．3．2　算法介紹：本案例算法簡(jiǎn)介　240
14．3．3　代碼展示：手把手教你寫　241
14．3．4　代碼詳解：一步一步講解清楚　244
14．4　經(jīng)驗(yàn)總結(jié)：機(jī)器學(xué)習(xí)經(jīng)驗(yàn)之談　252
14．4．1　機(jī)器學(xué)習(xí)中的誤區(qū)　252
14．4．2　如何學(xué)好機(jī)器學(xué)習(xí)　253