數(shù)據(jù)挖掘方法與應(yīng)用

目 錄


第1章 數(shù)據(jù)挖掘概述 1
1.1 數(shù)據(jù)挖掘的產(chǎn)生與發(fā)展 1
1.1.1 數(shù)據(jù)挖掘概念的提出 2
1.1.2 數(shù)據(jù)挖掘系統(tǒng)的發(fā)展 3
1.1.3 當(dāng)前熱點(diǎn)和未來(lái)趨勢(shì) 5
1.2 數(shù)據(jù)挖掘過(guò)程 10
1.2.1 Fayyad過(guò)程模型 10
1.2.2 CRISP-DM過(guò)程模型 11
1.3 數(shù)據(jù)挖掘功能與使用技術(shù) 21
1.3.1 數(shù)據(jù)挖掘功能 21
1.3.2 數(shù)據(jù)挖掘使用技術(shù) 22
1.4 數(shù)據(jù)挖掘應(yīng)用 26
1.4.1 金融領(lǐng)域的數(shù)據(jù)挖掘 26
1.4.2 電信領(lǐng)域的數(shù)據(jù)挖掘 26
1.4.3 零售與電子商務(wù)領(lǐng)域的數(shù)據(jù)挖掘 27
1.4.4 政府政務(wù)領(lǐng)域的數(shù)據(jù)挖掘 27
1.4.5 醫(yī)療領(lǐng)域的數(shù)據(jù)挖掘 28
1.4.6 科學(xué)領(lǐng)域的數(shù)據(jù)挖掘 28
1.5 練習(xí)與拓展 28
第2章 數(shù)據(jù)挖掘工具 30
2.1 Weka 30
2.1.1 Weka簡(jiǎn)述 30
2.1.2 Weka運(yùn)行界面 31
2.2 IBM SPSS Modeler 34
2.2.1 IBM SPSS Modeler簡(jiǎn)述 34
2.2.2 IBM SPSS Modeler主界面及功能 35
2.3 R語(yǔ)言 41
2.3.1 R語(yǔ)言簡(jiǎn)述 41
2.3.2 RStudio 42
2.3.3 R語(yǔ)言與數(shù)據(jù)挖掘 42
2.4 Python語(yǔ)言 45
2.4.1 Python語(yǔ)言簡(jiǎn)述 45
2.4.2 Python與數(shù)據(jù)分析 46
2.4.3 Anaconda 46
2.5 練習(xí)與拓展 50
第3章 數(shù)據(jù)與數(shù)據(jù)平臺(tái) 51
3.1 數(shù)據(jù)類型 51
3.1.1 數(shù)據(jù)形態(tài)與數(shù)據(jù)類型 51
3.1.2 數(shù)據(jù)環(huán)境與數(shù)據(jù)類型 54
3.2 關(guān)系型數(shù)據(jù)庫(kù) 55
3.2.1 關(guān)系型數(shù)據(jù)庫(kù)概述 55
3.2.2 關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng) 56
3.3 NoSQL數(shù)據(jù)庫(kù) 57
3.3.1 鍵值數(shù)據(jù)庫(kù) 57
3.3.2 文檔數(shù)據(jù)庫(kù) 58
3.3.3 列族數(shù)據(jù)庫(kù) 60
3.3.4 圖數(shù)據(jù)庫(kù) 61
3.4 數(shù)據(jù)倉(cāng)庫(kù)與大數(shù)據(jù)平臺(tái) 63
3.4.1 數(shù)據(jù)倉(cāng)庫(kù) 63
3.4.2 大數(shù)據(jù)平臺(tái) 68
3.5 練習(xí)與拓展 74
第4章 數(shù)據(jù)預(yù)處理 75
4.1 數(shù)據(jù)預(yù)處理概述 75
4.1.1 原始數(shù)據(jù)中存在的問(wèn)題 75
4.1.2 數(shù)據(jù)預(yù)處理的主要任務(wù) 77
4.2 數(shù)據(jù)清洗 77
4.2.1 缺失數(shù)據(jù)處理 77
4.2.2 異常數(shù)據(jù)處理 78
4.3 數(shù)據(jù)集成 80
4.3.1 模式匹配及數(shù)值一致化 80
4.3.2 刪除冗余數(shù)據(jù) 81
4.4 數(shù)據(jù)變換 82
4.4.1 定性數(shù)據(jù)數(shù)值化 82
4.4.2 定量數(shù)據(jù)離散化和規(guī)范化 83
4.4.3 不平衡數(shù)據(jù)處理 84
4.5 數(shù)據(jù)歸約 85
4.5.1 屬性的歸約 85
4.5.2 記錄的歸約 87
4.5.3 數(shù)值的歸約 88
4.6 練習(xí)與拓展 89
第5章 關(guān)聯(lián)分析 90
5.1 關(guān)聯(lián)分析概述 90
5.1.1 關(guān)聯(lián)分析基本概念 91
5.1.2 關(guān)聯(lián)規(guī)則挖掘的基本過(guò)程 93
5.2 Apriori算法 94
5.2.1 Apriori性質(zhì) 94
5.2.2 Apriori算法的頻繁項(xiàng)集產(chǎn)生 95
5.3 強(qiáng)關(guān)聯(lián)規(guī)則的悖論 99
5.3.1 強(qiáng)關(guān)聯(lián)規(guī)則不一定是有趣的規(guī)則 99
5.3.2 基于提升度過(guò)濾無(wú)趣的強(qiáng)關(guān)聯(lián)規(guī)則 100
5.3.3 基于支持度、置信度及提升度的關(guān)聯(lián)規(guī)則發(fā)現(xiàn) 100
5.4 基于IBM SPSS Modeler的應(yīng)用 103
5.4.1 事實(shí)表數(shù)據(jù)的應(yīng)用示例 103
5.4.2 事務(wù)表數(shù)據(jù)的應(yīng)用示例 113
5.5 基于R語(yǔ)言的應(yīng)用 123
5.5.1 數(shù)據(jù)初探 123
5.5.2 可視化交易數(shù)據(jù) 125
5.5.3 挖掘關(guān)聯(lián)規(guī)則 127
5.5.4 可視化關(guān)聯(lián)規(guī)則 130
5.6 練習(xí)與拓展 134
第6章 決策樹(shù) 136
6.1 決策樹(shù)概述 136
6.1.1 決策樹(shù)分析相關(guān)概念 137
6.1.2 決策樹(shù)分析核心問(wèn)題 138
6.2 ID3算法 138
6.2.1 信息論的基本概念 138
6.2.2 ID3算法基本原理 139
6.2.3 使用ID3算法建立決策樹(shù) 141
6.3 C5.0算法 143
6.3.1 C5.0算法的決策樹(shù)生長(zhǎng) 144
6.3.2 C5.0算法的決策樹(shù)修剪 149
6.4 基于IBM SPSS Modeler的應(yīng)用 151
6.4.1 數(shù)據(jù)讀取與審核 152
6.4.2 探索性分析 153
6.4.3 數(shù)據(jù)預(yù)處理 158
6.4.4 決策樹(shù)模型構(gòu)建與評(píng)估：基于C5.0算法 163
6.4.5 預(yù)測(cè)結(jié)果 170
6.5 基于R語(yǔ)言的應(yīng)用 171
6.5.1 數(shù)據(jù)探索 172
6.5.2 數(shù)據(jù)分區(qū) 177
6.5.3 模型訓(xùn)練與評(píng)估 178
6.5.4 使用boosting和代價(jià)矩陣調(diào)整模型 181
6.6 練習(xí)與拓展 184
第7章 貝葉斯分類 185
7.1 貝葉斯分類概述 185
7.1.1 貝葉斯定理 186
7.1.2 貝葉斯信念網(wǎng)絡(luò) 186
7.2 樸素貝葉斯分類 188
7.2.1 樸素貝葉斯分類原理 188
7.2.2 樸素貝葉斯分類計(jì)算示例 191
7.2.3 零概率問(wèn)題：拉普拉斯平滑 193
7.3 TAN貝葉斯分類 194
7.3.1 TAN貝葉斯網(wǎng)絡(luò)結(jié)構(gòu) 194
7.3.2 TAN貝葉斯分類過(guò)程 195
7.4 基于IBM SPSS Modeler的應(yīng)用 196
7.4.1 數(shù)據(jù)讀取與審核 198
7.4.2 探索性分析 199
7.4.3 數(shù)據(jù)預(yù)處理 208
7.4.4 TAN貝葉斯分類模型構(gòu)建與評(píng)估 210
7.5 基于R語(yǔ)言的應(yīng)用 214
7.5.1 數(shù)據(jù)探索 214
7.5.2 文本數(shù)據(jù)預(yù)處理 215
7.5.3 劃分?jǐn)?shù)據(jù)集 219
7.5.4 詞云分析 221
7.5.5 模型訓(xùn)練與評(píng)估 223
7.6 練習(xí)與拓展 225
第8章 神經(jīng)網(wǎng)絡(luò) 226
8.1 神經(jīng)網(wǎng)絡(luò)概述 226
8.1.1 生物神經(jīng)元與人工神經(jīng)元 226
8.1.2 激活函數(shù) 227
8.1.3 神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu) 230
8.2 BP神經(jīng)網(wǎng)絡(luò) 232
8.2.1 BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程 232
8.2.2 BP算法描述 237
8.2.3 前饋神經(jīng)網(wǎng)絡(luò)計(jì)算示例 238
8.3 卷積神經(jīng)網(wǎng)絡(luò) 240
8.3.1 卷積層 240
8.3.2 激活層 243
8.3.3 池化層 244
8.3.4 全連接層 244
8.4 基于IBM SPSS Modeler的應(yīng)用 245
8.4.1 數(shù)據(jù)讀取 246
8.4.2 “數(shù)據(jù)審核”節(jié)點(diǎn)預(yù)處理 247
8.4.3 探索性分析 250
8.4.4 分區(qū)與平衡 251
8.4.5 模型構(gòu)建與評(píng)價(jià) 252
8.5 基于R語(yǔ)言的應(yīng)用 260
8.5.1 數(shù)據(jù)初探 260
8.5.2 數(shù)據(jù)轉(zhuǎn)換與分區(qū) 263
8.5.3 模型構(gòu)建與評(píng)價(jià) 263
8.6 練習(xí)與拓展 268
參考文獻(xiàn) 270