Python機(jī)器學(xué)習(xí)（原書第2版）

譯者序

關(guān)于作者

關(guān)于審校人員

前言

第1章　賦予計(jì)算機(jī)從數(shù)據(jù)中學(xué)習(xí)的能力 1

1.1　構(gòu)建把數(shù)據(jù)轉(zhuǎn)換為知識(shí)的智能機(jī)器 1

1.2　三種不同類型的機(jī)器學(xué)習(xí) 1

1.2.1　用有監(jiān)督學(xué)習(xí)預(yù)測(cè)未來 2

1.2.2　用強(qiáng)化學(xué)習(xí)解決交互問題 3

1.2.3　用無監(jiān)督學(xué)習(xí)發(fā)現(xiàn)隱藏結(jié)構(gòu) 4

1.3　基本術(shù)語與符號(hào) 4

1.4　構(gòu)建機(jī)器學(xué)習(xí)系統(tǒng)的路線圖 6

1.4.1　預(yù)處理—整理數(shù)據(jù) 6

1.4.2　訓(xùn)練和選擇預(yù)測(cè)模型 7

1.4.3　評(píng)估模型和預(yù)測(cè)新樣本數(shù)據(jù) 7

1.5　用Python進(jìn)行機(jī)器學(xué)習(xí) 7

1.5.1　從Python包索引安裝Python和其他包 8

1.5.2　采用Anaconda Python和軟件包管理器 8

1.5.3　科學(xué)計(jì)算、數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)軟件包 8

1.6　小結(jié) 9

第2章　訓(xùn)練簡單的機(jī)器學(xué)習(xí)分類算法 10

2.1　人工神經(jīng)元—機(jī)器學(xué)習(xí)早期歷史一瞥 10

2.1.1　人工神經(jīng)元的正式定義 11

2.1.2　感知器學(xué)習(xí)規(guī)則 12

2.2　在Python中實(shí)現(xiàn)感知器學(xué)習(xí)算法 14

2.2.1　面向?qū)ο蟮母兄鰽PI 14

2.2.2　在鳶尾花數(shù)據(jù)集上訓(xùn)練感知器模型 16

2.3　自適應(yīng)神經(jīng)元和學(xué)習(xí)收斂 20

2.3.1　梯度下降為最小代價(jià)函數(shù) 21

2.3.2　用Python實(shí)現(xiàn)Adaline 22

2.3.3　通過調(diào)整特征大小改善梯度下降 25

2.3.4　大規(guī)模機(jī)器學(xué)習(xí)與隨機(jī)梯度下降 27

2.4　小結(jié) 30

第3章　scikit-learn機(jī)器學(xué)習(xí)分類器一覽 32

3.1　選擇分類算法 32

3.2　了解scikit-learn軟件庫的第一步—訓(xùn)練感知器 32

3.3　基于邏輯回歸的分類概率建模 37

3.3.1　邏輯回歸的直覺與條件概率 37

3.3.2　學(xué)習(xí)邏輯代價(jià)函數(shù)的權(quán)重 39

3.3.3　把轉(zhuǎn)換的Adaline用于邏輯回歸算法 41

3.3.4　用scikit-learn訓(xùn)練邏輯回歸模型 44

3.3.5　通過正則化解決過擬合問題 45

3.4　支持向量機(jī)的最大余量分類 47

3.4.1　最大邊際的直覺 48

3.4.2　用松弛變量處理非線性可分 48

3.4.3　其他的scikit-learn 實(shí)現(xiàn) 50

3.5　用核支持向量機(jī)求解非線性問題 50

3.5.1　處理線性不可分?jǐn)?shù)據(jù)的核方法 50

3.5.2　利用核技巧，發(fā)現(xiàn)高維空間的分離超平面 52

3.6　決策樹學(xué)習(xí) 55

3.6.1　最大限度地獲取信息—獲得最大收益 55

3.6.2　構(gòu)建決策樹 58

3.6.3　通過隨機(jī)森林組合多個(gè)決策樹 61

3.7　K-近鄰—一種懶惰的學(xué)習(xí)算法 63

3.8　小結(jié) 65

第4章　構(gòu)建良好的訓(xùn)練集——預(yù)處理 66

4.1　處理缺失數(shù)據(jù) 66

4.1.1　識(shí)別數(shù)據(jù)中的缺失數(shù)值 66

4.1.2　刪除缺失的數(shù)據(jù) 67

4.1.3　填補(bǔ)缺失的數(shù)據(jù) 68

4.1.4　了解scikit-learn評(píng)估器API 68

4.2　處理分類數(shù)據(jù) 69

4.2.1　名詞特征和序數(shù)特征 69

4.2.2　映射序數(shù)特征 70

4.2.3　分類標(biāo)簽編碼 70

4.2.4　為名詞特征做熱編碼 71

4.3　分裂數(shù)據(jù)集為獨(dú)立的訓(xùn)練集和測(cè)試集 73

4.4　把特征保持在同一尺度上 75

4.5　選擇有意義的特征 76

4.5.1　L1和L2正則化對(duì)模型復(fù)雜度的懲罰 76

4.5.2　L2正則化的幾何解釋 77

4.5.3　L1正則化的稀疏解決方案 78

4.5.4　為序數(shù)特征選擇算法 80

4.6　用隨機(jī)森林評(píng)估特征的重要性 84

4.7　小結(jié) 87

第5章　通過降維壓縮數(shù)據(jù) 88

5.1　用主成分分析實(shí)現(xiàn)無監(jiān)督降維 88

5.1.1　主成分分析的主要步驟 88

5.1.2　逐步提取主成分 89

5.1.3　總方差和解釋方差 91

5.1.4　特征變換 92

5.1.5　scikit-learn的主成分分析 93

5.2　基于線性判別分析的有監(jiān)督數(shù)據(jù)壓縮 96

5.2.1　主成分分析與線性判別分析 96

5.2.2　線性判別分析的內(nèi)部邏輯 97

5.2.3　計(jì)算散布矩陣 97

5.2.4　在新的特征子空間選擇線性判別式 99

5.2.5　將樣本投影到新的特征空間 101

5.2.6　用scikit-learn實(shí)現(xiàn)的LDA 101

5.3　非線性映射的核主成分分析 102

5.3.1　核函數(shù)與核技巧 103

5.3.2　用Python實(shí)現(xiàn)核主成分分析 106

5.3.3　投影新的數(shù)據(jù)點(diǎn) 111

5.3.4　scikit-learn的核主成分分析 113

5.4　小結(jié) 114

第6章　模型評(píng)估和超參數(shù)調(diào)優(yōu)的最佳實(shí)踐 115

6.1　用管道方法簡化工作流 115

6.1.1　加載威斯康星乳腺癌數(shù)據(jù)集 115

6.1.2　集成管道中的轉(zhuǎn)換器和評(píng)估器 116

6.2　使用k折交叉驗(yàn)證評(píng)估模型的性能 118

6.2.1　抵抗方法 118

6.2.2　k折交叉驗(yàn)證 119

6.3　用學(xué)習(xí)和驗(yàn)證曲線調(diào)試算法 122

6.3.1　用學(xué)習(xí)曲線診斷偏差和方差問題 122

6.3.2　用驗(yàn)證曲線解決過擬合和欠擬合問題 124

6.4　通過網(wǎng)格搜索為機(jī)器學(xué)習(xí)模型調(diào)優(yōu) 126

６.4.1　通過網(wǎng)格搜索為超參數(shù)調(diào)優(yōu) 126

6.4.2　以嵌套式交叉驗(yàn)證來選擇算法 127

6.5　比較不同的性能評(píng)估指標(biāo) 128

6.5.1　含混矩陣分析 128

6.5.2　優(yōu)化分類模型的準(zhǔn)確度和召回率 129

6.5.3　繪制受試者操作特性圖 130

6.5.4　多元分類評(píng)分指標(biāo) 133

6.6　處理類的不平衡問題 133

6.7　小結(jié) 135

第7章　綜合不同模型的組合學(xué)習(xí) 136

7.1　集成學(xué)習(xí) 136

7.2　采用多數(shù)票機(jī)制的集成分類器 139

7.2.1　實(shí)現(xiàn)基于多數(shù)票的簡單分類器 139

7.2.2　用多數(shù)票原則進(jìn)行預(yù)測(cè) 143

7.2.3　評(píng)估和優(yōu)化集成分類器 145

7.3　套袋—基于導(dǎo)引樣本構(gòu)建分類器集成 149

7.3.1　套袋簡介 150

7.3.2　應(yīng)用套袋技術(shù)對(duì)葡萄酒數(shù)據(jù)集中的樣本分類 151

7.4　通過自適應(yīng)增強(qiáng)來利用弱學(xué)習(xí)者 153

7.4.1　增強(qiáng)是如何實(shí)現(xiàn)的 154

7.4.2　用scikit-learn實(shí)現(xiàn)AdaBoost 156

7.5　小結(jié) 158

第8章　應(yīng)用機(jī)器學(xué)習(xí)于情感分析 159

8.1　為文本處理預(yù)備好IMDb電影評(píng)論數(shù)據(jù) 159

8.1.1　獲取電影評(píng)論數(shù)據(jù)集 159

8.1.2　把電影評(píng)論數(shù)據(jù)預(yù)處理成更方便格式的數(shù)據(jù) 160

8.2　詞袋模型介紹 161

8.2.1　把詞轉(zhuǎn)換成特征向量 161

8.2.2　通過詞頻逆反文檔頻率評(píng)估單詞相關(guān)性 162

8.2.3　清洗文本數(shù)據(jù) 164

8.2.4　把文檔處理為令牌 165

8.3　訓(xùn)練文檔分類的邏輯回歸模型 166

8.4　處理更大的數(shù)據(jù)集—在線算法和核心學(xué)習(xí) 168

8.5　具有潛在狄氏分配的主題建模 171

8.5.1　使用LDA分解文本文檔 171

8.5.2　LDA與scikit-learn 172

8.6　小結(jié) 174

第9章　將機(jī)器學(xué)習(xí)模型嵌入網(wǎng)絡(luò)應(yīng)用 175

9.1　序列化擬合scikit-learn評(píng)估器 175

9.2　搭建SQLite數(shù)據(jù)庫存儲(chǔ)數(shù)據(jù) 177

9.3　用Flask開發(fā)網(wǎng)絡(luò)應(yīng)用 179

9.3.1　第一個(gè)Flask網(wǎng)絡(luò)應(yīng)用 179

9.3.2　表單驗(yàn)證與渲染 181

9.4　將電影評(píng)論分類器轉(zhuǎn)換為網(wǎng)絡(luò)應(yīng)用 184

9.4.1　文件與文件夾—研究目錄樹 185

9.4.2　實(shí)現(xiàn)主應(yīng)用app.py 186

9.4.3　建立評(píng)論表單 188

9.4.4　創(chuàng)建一個(gè)結(jié)果頁面的模板 189

9.5　在面向公眾的服務(wù)器上部署網(wǎng)絡(luò)應(yīng)用 190

9.5.1　創(chuàng)建PythonAnywhere賬戶 190

9.5.2　上傳電影分類應(yīng)用 191

9.5.3　更新電影分類器 191

9.6　小結(jié) 193

第10章　用回歸分析預(yù)測(cè)連續(xù)目標(biāo)變量 194

10.1　線性回歸簡介 194

10.1.1　簡單線性回歸 194

10.1.2　多元線性回歸 195

10.2　探索住房數(shù)據(jù)集 196

10.2.1　加載住房數(shù)據(jù) 196

10.2.2　可視化數(shù)據(jù)集的重要特點(diǎn) 197

10.2.3　用關(guān)聯(lián)矩陣查看關(guān)系 198

10.3　普通最小二乘線性回歸模型的實(shí)現(xiàn) 200

10.3.1　用梯度下降方法求解回歸參數(shù) 200

10.3.2　通過scikit-learn估計(jì)回歸模型的系數(shù) 203

10.4　利用RANSAC擬合穩(wěn)健的回歸模型 205

10.5　評(píng)估線性回歸模型的性能 206

10.6　用正則化方法進(jìn)行回歸 209

10.7　將線性回歸模型轉(zhuǎn)換為曲線—多項(xiàng)式回歸 210

10.7.1　用scikit-learn增加多項(xiàng)式的項(xiàng) 210

10.7.2　為住房數(shù)據(jù)集中的非線性關(guān)系建模 211

10.8　用隨機(jī)森林處理非線性關(guān)系 214

10.8.1　決策樹回歸 214

10.8.2　隨機(jī)森林回歸 215

10.9　小結(jié) 217

第11章　用聚類分析處理無標(biāo)簽數(shù)據(jù) 218

11.1　用k-均值進(jìn)行相似性分組 218

11.1.1　scikit-learn的k-均值聚類 218

11.1.2　k-均值++—更聰明地設(shè)置初始聚類中心的方法 221

11.1.3　硬聚類與軟聚類 222

11.1.4　用肘法求解最佳聚類數(shù) 223

11.1.5　通過輪廓圖量化聚類質(zhì)量 224

11.2　把集群組織成有層次的樹 228

......