人工智能：原理與實踐

目　　錄
推薦序一
推薦序二
譯者序
前言
第1章　人工智能導(dǎo)論　1
1.1　引言　1
1.2　兩大流派　1
1.3　通用人工智能　9
1.4　代理的概念　10
1.5　人工智能中的演繹推理　12
1.5.1　實例　13
1.5.2　演繹推理的經(jīng)典方法　17
1.5.3　演繹推理的優(yōu)勢和局限　19
1.6　人工智能中的歸納學(xué)習(xí)　19
1.6.1　學(xué)習(xí)的類型　20
1.6.2　無監(jiān)督學(xué)習(xí)任務(wù)　21
1.6.3　監(jiān)督學(xué)習(xí)任務(wù)　23
1.7　人工智能中的生物進化　24
1.8　總結(jié)　25
1.9　拓展閱讀　26
1.10　練習(xí)　26
第2章　搜索狀態(tài)空間　27
2.1　引言　27
2.2　不知情搜索算法　30
2.2.1　案例研究：八個拼圖問題　35
2.2.2　案例研究：在線迷宮搜索　36
2.2.3　通過雙向搜索提高效率　36
2.3　知情搜索：佳優(yōu)先搜索　37
2.3.1　貪婪佳優(yōu)先搜索　39
2.3.2　A*-搜索算法　40
2.4　具有特定于狀態(tài)的損失函數(shù)
的局部搜索　41
2.4.1　爬山　43
2.4.2　禁忌搜索　45
2.4.3　模擬退火　47
2.5　遺傳算法　48
2.6　約束滿足問題　50
2.6.1　作為約束滿足的旅行
推銷員問題　50
2.6.2　作為約束滿足的圖著色　51
2.6.3　數(shù)獨作為約束滿足　51
2.6.4　約束滿足的搜索算法　52
2.6.5　利用特定于狀態(tài)的
損失值　53
2.7　總結(jié)　53
2.8　拓展閱讀　53
2.9　練習(xí)　53
第3章　多代理搜索　55
3.1　引言　55
3.2　不知情搜索：AND-OR
搜索樹　56
3.2.1　處理兩個以上的代理　59
3.2.2　處理非確定性環(huán)境　59
3.3　具有特定于狀態(tài)的損失函數(shù)
的知情搜索樹　60
3.3.1　啟發(fā)式變化　63
3.3.2　適應(yīng)對抗環(huán)境　63
3.3.3　預(yù)存儲子樹　65
3.3.4　設(shè)計評估函數(shù)面臨的挑戰(zhàn)　66
3.3.5　極小極大樹的缺點　67
3.4　alpha-beta剪枝　69
3.5　蒙特卡羅樹搜索：歸納視圖　71
3.5.1　對預(yù)期結(jié)果模型的改進　74
3.5.2　演繹與歸納：小值
和蒙特卡羅樹　77
3.5.3　應(yīng)用于非確定性和部分
可觀測游戲　78
3.6　總結(jié)　79
3.7　拓展閱讀　79
3.8　練習(xí)　80
第4章　命題邏輯　81
4.1　引言　81
4.2　命題邏輯：基礎(chǔ)　82
4.3　命題邏輯定律　86
4.3.1　蘊涵和等價的有用性質(zhì)　88
4.3.2　重言式和可滿足性　89
4.3.3　子句和規(guī)范形式　90
4.4　命題邏輯作為專家系統(tǒng)的
先驅(qū)　91
4.5　命題邏輯中表達式的等價性　92
4.6　知識庫中的證明基礎(chǔ)　94
4.7　矛盾證明法　96
4.8　具有明確子句的有效蘊涵　100
4.8.1　正向鏈接　100
4.8.2　反向鏈接　102
4.8.3　比較正向鏈接和
反向鏈接　103
4.9　總結(jié)　103
4.10　拓展閱讀　104
4.11　練習(xí)　104
第5章　一階邏輯　106
5.1　引言　106
5.2　一階邏輯的基礎(chǔ)　108
5.2.1　量詞的使用　109
5.2.2　一階邏輯中的函數(shù)　112
5.2.3　一階邏輯如何建立在
命題邏輯上　113
5.2.4　標(biāo)準(zhǔn)化問題和范圍擴展　115
5.2.5　否定與量詞的相互作用　116
5.2.6　置換和斯科倫化　117
5.2.7　為什么一階邏輯更具
表現(xiàn)力　119
5.3　填充知識庫　120
5.4　一階邏輯專家系統(tǒng)示例　122
5.5　系統(tǒng)推斷程序　123
5.5.1　矛盾證明法　123
5.5.2　正向鏈接　125
5.5.3　反向鏈接　126
5.6　總結(jié)　126
5.7　拓展閱讀　127
5.8　練習(xí)　127
第6章　機器學(xué)習(xí)：歸納觀點　129
6.1　引言　129
6.2　線性回歸　131
6.2.1　隨機梯度下降　132
6.2.2　基于矩陣的解決方案　133
6.2.3　偏差的使用　134
6.2.4　為什么正則化很重要　134
6.3　小二乘分類　135
6.4　支持向量機　138
6.5　邏輯回歸　140
6.5.1　計算梯度　140
6.5.2　比較支持向量機和
邏輯回歸　140
6.5.3　邏輯回歸作為概率
分類器　142
6.6　多類設(shè)置　143
6.6.1　一對其余，一票反對
一票　143
6.6.2　多項式邏輯回歸　144
6.7　Na?ve Bayes模型　145
6.8　近鄰分類器　147
6.9　決策樹　148
6.9.1　決策樹構(gòu)建的訓(xùn)練階段　148
6.9.2　拆分節(jié)點　151
6.9.3　將決策樹推廣到隨機
森林　152
6.10　基于規(guī)則的分類器　153
6.10.1　順序覆蓋算法　154
6.10.2　將基于規(guī)則的分類器與
專家系統(tǒng)中的邏輯規(guī)則
進行比較　155
6.11　分類的評估　155
6.11.1　分為訓(xùn)練和測試部分　157
6.11.2　絕對準(zhǔn)確度測量　158
6.11.3　排名措施　159
6.12　總結(jié)　162
6.13　拓展閱讀　163
6.14　練習(xí)　163
第7章　神經(jīng)網(wǎng)絡(luò)　164
7.1　引言　164
7.2　計算圖簡介　165
7.2.1　神經(jīng)網(wǎng)絡(luò)作為定向
計算圖　168
7.2.2　softmax激活函數(shù)　169
7.2.3　常見損失函數(shù)　170
7.2.4　非線性如何增加
表達能力　170
7.3　有向無環(huán)圖的優(yōu)化　172
7.3.1　計算圖的挑戰(zhàn)　172
7.3.2　坡度計算的廣泛框架　173
7.3.3　使用暴力計算節(jié)點到
節(jié)點的導(dǎo)數(shù)　174
7.3.4　計算節(jié)點到節(jié)點導(dǎo)數(shù)
的動態(tài)規(guī)劃　177
7.3.5　將節(jié)點到節(jié)點導(dǎo)數(shù)轉(zhuǎn)換
為損失到權(quán)重導(dǎo)數(shù)　181
7.3.6　帶有向量變量的計算圖　183
7.4　應(yīng)用：神經(jīng)網(wǎng)絡(luò)中的反向傳播　185
7.4.1　常用激活函數(shù)的導(dǎo)數(shù)　187
7.4.2　softmax的特殊情況　187
7.4.3　以向量為中心的反向
傳播　188
7.4.4　以向量為中心的反向
傳播示例　190
7.5　計算圖的一般視圖　192
7.6　總結(jié)　194
7.7　拓展閱讀　194
7.8　練習(xí)　194
第8章　特定領(lǐng)域的神經(jīng)架構(gòu)　198
8.1　引言　198
8.2　卷積神經(jīng)網(wǎng)絡(luò)的基本原理　198
8.3　卷積神經(jīng)網(wǎng)絡(luò)的基本架構(gòu)　200
8.3.1　填充　204
8.3.2　步幅　205
8.3.3　典型的設(shè)置　205
8.3.4　ReLU層　206
8.3.5　池化　206
8.3.6　完全連接層　208
8.3.7　層之間的交錯　208
8.3.8　分層特性工程　210
8.4　卷積架構(gòu)的案例研究　211
8.4.1　AlexNet　212
8.4.2　VGG　214
8.4.3　ResNet　216
8.5　遞歸神經(jīng)網(wǎng)絡(luò)的基本原理　218
8.6　遞歸神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)　220
8.6.1　RNN語言建模實例　222
8.6.2　通過時間反向傳播　224
8.6.3　多層迭代網(wǎng)絡(luò)　226
8.7　長短期記憶　227
8.8　特定于領(lǐng)域的架構(gòu)的應(yīng)用　231
8.8.1　自動圖像字幕的應(yīng)用　231
8.8.2　序列到序列學(xué)習(xí)和機器
翻譯　232
8.9　總結(jié)　233
8.10　拓展閱讀　234
8.11　練習(xí)　234
第9章　無監(jiān)督學(xué)習(xí)　235
9.1　引言　235
9.2　降維和矩陣分解　236
9.2.1　對稱矩陣分解　237
9.2.2　奇異值分解　237
9.2.3　非負(fù)矩陣分解　242
9.2.4　神經(jīng)網(wǎng)絡(luò)降維　246
9.3　聚類　250
9.3.1　基于代表的算法　250
9.3.2　自底向上的凝聚方法　252
9.3.3　自頂向下的方法　255
9.3.4　基于概率模型的算法　256
9.3.5　科赫侖自組織映射　259
9.3.6　譜聚類　261
9.4　為什么無監(jiān)督學(xué)習(xí)很重要　262
9.4.1　機器學(xué)習(xí)的特征工程　262
9.4.2　特征工程的徑向基函數(shù)
網(wǎng)絡(luò)　264
9.4.3　半監(jiān)督學(xué)習(xí)　265
9.5　總結(jié)　269
9.6　拓展閱讀　269
9.7　練習(xí)　269
第10章　強化學(xué)習(xí)　271
10.1　引言　271
10.2　無狀態(tài)算法：多臂老虎機　272
10.2.1　Na?ve算法　273
10.2.2　?-?貪心算法　273
10.2.3　上界方法　273
10.3　強化學(xué)習(xí)框架　274
10.4　蒙特卡羅抽樣　276
10.4.1　蒙特卡羅抽樣算法　276
10.4.2　用函數(shù)近似器進行
蒙特卡羅rollout　278
10.4.3　連接到蒙特卡羅樹搜索　279
10.5　自舉法與時間差異學(xué)習(xí)　280
10.5.1　Q-學(xué)習(xí)　280
10.5.2　使用函數(shù)近似器　282
10.5.3　例子：用于電子游戲
設(shè)置的神經(jīng)網(wǎng)絡(luò)細節(jié)　284
10.5.4　策略上與非策略的
方法：SARSA　284
10.5.5　建模狀態(tài)與狀態(tài)–
動作對　286
10.6　策略梯度方法　288
10.6.1　似然比原則　289
10.6.2　將監(jiān)督學(xué)習(xí)與策略梯度
相結(jié)合　290
10.6.3　玩家–評委算法　290
10.6.4　持續(xù)的動作空間　292
10.6.5　策略梯度的利與弊　292
10.7　重溫蒙特卡羅樹搜索　292
10.8　案例研究　294
10.8.1　AlphaGo：圍棋的
冠軍級對弈　294
10.8.2　自學(xué)習(xí)機器人　297
10.8.3　自動駕駛汽車　300
10.9　強化學(xué)習(xí)的弱點　301
10.10　總結(jié)　302
10.11　拓展閱讀　302
10.12　練習(xí)　303
第11章　概率圖模型　304
11.1　引言　304
11.2　貝葉斯網(wǎng)絡(luò)　305
11.3　機器學(xué)習(xí)中的基本概率模型　307
11.4　玻爾茲曼機　309
11.4.1　玻爾茲曼機如何產(chǎn)生
數(shù)據(jù)　311
11.4.2　學(xué)習(xí)玻爾茲曼機的
權(quán)重　311
11.5　受限玻爾茲曼機　312
11.5.1　訓(xùn)練RBM　314
11.5.2　對比發(fā)散算法　315
11.5.3　實際問題和即興　316
11.6　受限玻爾茲曼機的應(yīng)用　317
11.6.1　降維與數(shù)據(jù)重構(gòu)　317
11.6.2　協(xié)同過濾的RBM　319
11.6.3　條件因子分解：一個
簡潔的正則化技巧　321
11.7　總結(jié)　321
11.8　拓展閱讀　322
11.9　練習(xí)　322
第12章　知識圖譜　323
12.1　引言　323
12.2　知識圖譜概述　326
12.2.1　例子：詞網(wǎng)　330
12.2.2　例子：雅虎　331
12.2.3　例子：數(shù)據(jù)庫百科
全書　332
12.2.4　例子：自由基　332
12.2.5　例子：維基數(shù)據(jù)　333
12.2.6　例子：基因本體　333
12.3　如何構(gòu)建知識圖譜　334
12.3.1　知識圖譜的一階邏輯　335
12.3.2　從非結(jié)構(gòu)化數(shù)據(jù)中提取　336
12.3.3　處理不完全性　336
12.4　知識圖譜的應(yīng)用　337
12.4.1　搜索中的知識圖譜　338
12.4.2　聚類知識圖譜　339
12.4.3　實體分類　340
12.4.4　鏈接預(yù)測和關(guān)系分類　341
12.4.5　推薦系統(tǒng)　342
12.5　總結(jié)　342
12.6　拓展閱讀　343
12.7　練習(xí)　343
第13章　綜合推理與學(xué)習(xí)　344
13.1　引言　344
13.2　偏差–方差權(quán)衡　348
13.3　一個泛型演繹–歸納集合　351
13.4　遷移學(xué)習(xí)　354
13.4.1　圖像數(shù)據(jù)　355
13.4.2　文本數(shù)據(jù)　356
13.4.3　跨域遷移學(xué)習(xí)　357
13.5　終身機器學(xué)習(xí)　359
13.6　神經(jīng)符號人工智能　363
13.7　總結(jié)　366
13.8　拓展閱讀　366
13.9　練習(xí)　366
參考文獻　367