決策用強(qiáng)化與系統(tǒng)性機(jī)器學(xué)習(xí)

譯者序
原書前言
原書致謝
關(guān)于作者
第1章強(qiáng)化與系統(tǒng)性機(jī)器學(xué)習(xí)1
1.1簡介1
1.2監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)1
1.3傳統(tǒng)機(jī)器學(xué)習(xí)方法和機(jī)器學(xué)習(xí)發(fā)展歷史3
1.4什么是機(jī)器學(xué)習(xí)？6
1.5機(jī)器學(xué)習(xí)問題6
1.5.1學(xué)習(xí)的目標(biāo)6
1.6學(xué)習(xí)模式7
1.7機(jī)器學(xué)習(xí)技術(shù)和范例9
1.8什么是強(qiáng)化學(xué)習(xí)？11
1.9強(qiáng)化函數(shù)和環(huán)境函數(shù)12
1.10強(qiáng)化學(xué)習(xí)的需求13
1.11強(qiáng)化學(xué)習(xí)和機(jī)器智能14
1.12什么是系統(tǒng)學(xué)習(xí)？14
1.13什么是系統(tǒng)性機(jī)器學(xué)習(xí)？15
1.14系統(tǒng)性機(jī)器學(xué)習(xí)的重點(diǎn)15
1.15強(qiáng)化性機(jī)器學(xué)習(xí)和系統(tǒng)性機(jī)器學(xué)習(xí)16
1.16車輛檢測問題的案例研究16
1.17小結(jié)16
參考文獻(xiàn)17
第2章全系統(tǒng)原理、系統(tǒng)性和多視角的機(jī)器學(xué)習(xí)18
2.1簡介18
2.1.1什么是系統(tǒng)性學(xué)習(xí)？19
2.1.2歷史20
2.2什么是系統(tǒng)性機(jī)器學(xué)習(xí)？21
2.2.1基于事件的學(xué)習(xí)21
2.3廣義系統(tǒng)性機(jī)器學(xué)習(xí)框架23
2.3.1系統(tǒng)定義24
2.4多視角決策和多視角學(xué)習(xí)26
2.4.1基于完整信息的表示32
2.4.2基于部分信息的表示32
2.4.3單視角決策方案圖32
2.4.4雙重視角決策方案圖32
2.4.5多視角決策方案圖32
2.4.6定性信念網(wǎng)絡(luò)和影響圖33
2.5動態(tài)和交互式?jīng)Q策33
2.5.1交互決策圖33
2.5.2決策圖和影響圖中時間的角色34
2.5.3系統(tǒng)性視角的建立34
2.5.4信息整合35
2.5.5建立典型決策方案圖35
2.5.6受限信息35
2.5.7多決策者系統(tǒng)在系統(tǒng)性學(xué)習(xí)中的角色35
2.6系統(tǒng)性學(xué)習(xí)框架39
2.6.1數(shù)學(xué)模型39
2.6.2系統(tǒng)性學(xué)習(xí)的方法39
2.6.3自適應(yīng)系統(tǒng)性學(xué)習(xí)40
2.6.4系統(tǒng)性學(xué)習(xí)框架41
2.7系統(tǒng)分析41
2.8案例學(xué)習(xí)：在酒店行業(yè)中需要系統(tǒng)性學(xué)習(xí)43
2.9小結(jié)44
參考文獻(xiàn)44
第3章強(qiáng)化學(xué)習(xí)45
3.1簡介45
3.2學(xué)習(xí)決策者48
3.3回報和獎勵的計算50
3.3.1方案和連續(xù)任務(wù)50
3.4強(qiáng)化學(xué)習(xí)和自適應(yīng)控制51
3.5動態(tài)系統(tǒng)54
3.5.1離散事件動態(tài)系統(tǒng)54
3.6強(qiáng)化學(xué)習(xí)和控制55
3.7馬爾科夫性質(zhì)和決策過程55
3.8價值函數(shù)56
3.8.1行動和價值56
3.9學(xué)習(xí)最優(yōu)策略（有模型和無模型法）57
3.10動態(tài)規(guī)劃57
3.10.1動態(tài)系統(tǒng)性質(zhì)57
3.11自適應(yīng)動態(tài)規(guī)則58
3.11.1時間差分學(xué)習(xí)59
3.11.2Q學(xué)習(xí)60
3.11.3統(tǒng)一的視圖60
3.12范例——拳擊訓(xùn)練器的強(qiáng)化學(xué)習(xí)61
3.13小結(jié)61
參考文獻(xiàn)61
第4章系統(tǒng)性機(jī)器學(xué)習(xí)和模型62
4.1簡介62
4.2系統(tǒng)學(xué)習(xí)的框架63
4.2.1影響空間64
4.2.2交互作用為中心的模型69
4.2.3以結(jié)果為中心的模型69
4.3捕捉系統(tǒng)視圖70
4.4系統(tǒng)交互的數(shù)學(xué)表達(dá)73
4.5影響函數(shù)74
4.6決策影響分析74
4.6.1時空界限75
4.7小結(jié)80
第5章推理和信息集成82
5.1簡介82
5.2推理機(jī)制和需要83
5.2.1情景推理85
5.2.2推理確定影響85
5.3情景和推理的集成88
5.4統(tǒng)計推理和歸納91
5.4.1直接推理91
5.4.2間接推理91
5.4.3信息推理91
5.4.4歸納92
5.5純似然方法92
5.6貝葉斯范例推理93
5.6.1貝葉斯定理93
5.7基于時域推理93
5.8推理建立系統(tǒng)觀點(diǎn)94
5.8.1信息集成94
5.9小結(jié)96
參考文獻(xiàn)97
第6章自適應(yīng)學(xué)習(xí)98
6.1簡介98
6.2自適應(yīng)學(xué)習(xí)和自適應(yīng)系統(tǒng)98
6.3什么是自適應(yīng)機(jī)器學(xué)習(xí)101
6.4基于方案的適應(yīng)性和學(xué)習(xí)方法101
6.4.1動態(tài)適應(yīng)性和情景感知的學(xué)習(xí)102
6.5系統(tǒng)學(xué)習(xí)和自適應(yīng)學(xué)習(xí)104
6.5.1多學(xué)習(xí)器的使用105
6.5.2系統(tǒng)自適應(yīng)機(jī)器學(xué)習(xí)108
6.5.3自適應(yīng)應(yīng)用的設(shè)計110
6.5.4自適應(yīng)學(xué)習(xí)的需要和適應(yīng)的原因111
6.5.5適應(yīng)類型112
6.5.6自適應(yīng)框架114
6.6競爭學(xué)習(xí)和自適應(yīng)學(xué)習(xí)115
6.6.1適應(yīng)性函數(shù)116
6.6.2決策網(wǎng)絡(luò)118
6.6.3自適應(yīng)學(xué)習(xí)方案119
6.7范例120
6.7.1案例研究：基于自適應(yīng)學(xué)習(xí)的文本120
6.7.2自適應(yīng)學(xué)習(xí)的文檔挖掘121
6.8小結(jié)122
參考文獻(xiàn)122
第7章多視角和全局系統(tǒng)性的學(xué)習(xí)123
7.1簡介123
7.2多視角方案構(gòu)建124
7.3多視角決策和多視角學(xué)習(xí)126
7.3.1視角結(jié)合126
7.3.2影響圖和部分方案決策表示圖127
7.3.3表示決策方案圖（RDSD）130
7.3.4范例：部分方案決策表示圖（PDSRD）表示的不同視角獲取的城市信息131
7.4全局系統(tǒng)性學(xué)習(xí)和多視角途徑134
7.4.1分散信息整合135
7.4.2多視角和全局系統(tǒng)知識表示135
7.4.3什么是多視角方案？135
7.4.4特定方案136
7.5基于多視角途徑的案例研究136
7.5.1交通控制器用多視角途徑137
7.5.2情感檢測用多視角途徑模型138
7.6多視角方法的局限性143
7.7小結(jié)143
參考文獻(xiàn)144
第8章增量學(xué)習(xí)和知識表示145
8.1簡介145
8.2為什么增量學(xué)習(xí)？146
8.3學(xué)習(xí)已經(jīng)學(xué)會的147
8.3.1絕對增量學(xué)習(xí)148
8.3.2選擇增量學(xué)習(xí)149
8.4監(jiān)督增量學(xué)習(xí)157
8.5增量無監(jiān)督學(xué)習(xí)和增量聚類158
8.5.1增量聚類：任務(wù)160
8.5.2增量聚類：方法161
8.5.3閾值161
8.6半監(jiān)督增量學(xué)習(xí)162
8.7增量與系統(tǒng)性學(xué)習(xí)163
8.8增量接近值和學(xué)習(xí)方法164
8.8.1增量學(xué)習(xí)方法1165
8.8.2增量學(xué)習(xí)方法2166
8.8.3計算C值增量166
8.9學(xué)習(xí)與決策模型169
8.10增量分類技術(shù)169
8.11案例分析：增量文檔分類170
8.12小結(jié)171
第9章知識增長：機(jī)器學(xué)習(xí)的視角173
9.1簡介173
9.2短暫的歷史和相關(guān)工作174
9.3知識增長和知識啟發(fā)178
9.3.1策略使用進(jìn)行知識啟發(fā)178
9.3.2基于目標(biāo)的知識啟發(fā)179
9.3.3基于過程的知識啟發(fā)179
9.4生命周期180
9.4.1知識水平181
9.4.2直接知識181
9.4.3間接知識182
9.4.4程序知識182
9.4.5問題182
9.4.6決策182
9.4.7知識生命周期183
9.5增量知識表達(dá)184
9.6案例學(xué)習(xí)和遺忘學(xué)習(xí)186
9.7知識的擴(kuò)充：技術(shù)和方法187
9.7.1知識增量技術(shù)187
9.7.2知識增量方法188
9.7.3提取知識的機(jī)制189
9.8啟發(fā)式學(xué)習(xí)190
9.9系統(tǒng)性機(jī)器學(xué)習(xí)和知識獲取190
9.9.1全方位知識獲取191
9.9.2系統(tǒng)知識管理和先進(jìn)的機(jī)器學(xué)習(xí)192
9.10在復(fù)雜環(huán)境下的知識增量193
9.11案例研究193
9.11.1銀行案例研究193
9.11.2軟件開發(fā)公司194
9.11.3雜貨集市/零售集市195
9.12小結(jié)195
參考文獻(xiàn)196
第10章構(gòu)建學(xué)習(xí)系統(tǒng)197
10.1簡介197
10.2系統(tǒng)性學(xué)習(xí)系統(tǒng)197
10.2.1學(xué)習(xí)單元199
10.2.2知識庫200
10.2.3性能單元200
10.2.4反饋單元200
10.2.5允許測量的系統(tǒng)200
10.3算法選擇201
10.3.1k近鄰（kNN）201
10.3.2支持向量機(jī)（SVM）202
10.3.3質(zhì)心法202
10.4知識表示203
10.4.1實(shí)用方案和案例研究203
10.5學(xué)習(xí)系統(tǒng)的設(shè)計204
10.6讓系統(tǒng)表現(xiàn)得更智能204
10.7案例學(xué)習(xí)205
10.8整體知識框架和強(qiáng)化學(xué)習(xí)的應(yīng)用205
10.8.1智能算法的選擇207
10.9智能決策——部署和知識采集以及重用208
10.10基于案例的學(xué)習(xí)：人體情感檢測系統(tǒng)209
10.11復(fù)雜決策問題的整體視角211
10.12知識表示和資源查找213
10.13組件215
10.13.1范例215
10.14學(xué)習(xí)系統(tǒng)和智能系統(tǒng)的未來216
10.15小結(jié)217
附錄218
附錄A統(tǒng)計學(xué)習(xí)方法218
A.1概率218
A.1.1互斥事件218
A.1.2獨(dú)立事件218
A.2貝葉斯分類219
A.2.1樸素貝葉斯分類220
A.2.2貝葉斯分類器的優(yōu)點(diǎn)和缺點(diǎn)221
A.3回歸221
A.3.1線性222
A.3.2非線性222
A.3.3回歸的其他方法222
A.4粗糙集223
A.4.1不可分辨關(guān)系223
A.4.2集近似224
A.4.3邊界區(qū)域224
A.4.4粗糙集和清晰集224
A.4.5約簡224
A.4.6可有可無和不可缺少的屬性224
A.5支持向量機(jī)224
參考文獻(xiàn)225
附錄B馬爾科夫過程225
B.1馬爾科夫過程225
B.1.1案例226
B.1.2解決步驟226
B.1.3長期227
B.1.4馬爾科夫過程示例228
B.2半馬爾科夫過程231
B.2.1建議231
B.2.2驗證232
B.2.3推論232