Web數據挖掘

第一部分 數據挖掘基礎
第1章 概述3
1.1 什么是萬維網3
1.2 萬維網和互聯(lián)網的歷史簡述4
1.3 Web數據挖掘5
1.3.1 什么是數據挖掘6
1.3.2 什么是Web數據挖掘7
1.4 各章概要8
1.5 如何閱讀本書10
文獻評注10
第2章 關聯(lián)規(guī)則和序列模式12
2.1 關聯(lián)規(guī)則的基本概念12
2.2 Apriori算法14
2.2.1 頻繁項目集生成14
2.2.2 關聯(lián)規(guī)則生成17
2.3 關聯(lián)規(guī)則挖掘的數據格式19
2.4 多最小支持度的關聯(lián)規(guī)則挖掘20
2.4.1 擴展模型21
2.4.2 挖掘算法22
2.4.3 規(guī)則生成26
2.5 分類關聯(lián)規(guī)則挖掘27
2.5.1 問題描述27
2.5.2 挖掘算法28
2.5.3 多最小支持度分類關聯(lián)規(guī)則挖掘31
2.6 序列模式的基本概念31
2.7 基于GSP挖掘序列模式32
2.7.1 GSP算法33
2.7.2 多最小支持度挖掘34
2.8 基于PrefixSpan算法的序列模式挖掘37
2.8.1 PrefixSpan算法38
2.8.2 多最小支持度挖掘39
2.9 從序列模式中產生規(guī)則41
2.9.1 序列規(guī)則41
2.9.2 標簽序列規(guī)則41
2.9.3 分類序列規(guī)則42
文獻評注42
目錄目錄
第3章 監(jiān)督學習45
3.1 基本概念45
3.2 決策樹推理48
3.2.1 學習算法49
3.2.2 混雜度函數50
3.2.3 處理連續(xù)屬性53
3.2.4 其他一些問題54
3.3 評估分類器56
3.3.1 評估方法56
3.3.2 查準率、查全率、F-score和平衡點(Breakeven Point)57
3.4 規(guī)則推理59
3.4.1 序列化覆蓋59
3.4.2 規(guī)則學習： Learn-One-Rule函數61
3.4.3 討論63
3.5 基于關聯(lián)規(guī)則的分類63
3.5.1 使用類關聯(lián)規(guī)則進行分類64
3.5.2 使用類關聯(lián)規(guī)則作為分類屬性66
3.5.3 使用古典的關聯(lián)規(guī)則分類66
3.6 樸素貝葉斯分類67
3.7 樸素貝葉斯文本分類70
3.7.1 概率框架70
3.7.2 樸素貝葉斯模型71
3.7.3 討論73
3.8 支持向量機73
3.8.1 線性支持向量機： 可分的情況74
3.8.2 線性支持向量機： 數據不可分的情況78
3.8.3 非線性支持向量機： 核方法80
3.9 k-近鄰學習82
3.10 分類器的集成83
3.10.1 Bagging83
3.10.2 Boosting84
文獻評注84
第4章 無監(jiān)督學習87
4.1 基本概念87
4.2 k-均值聚類89
4.2.1 k-均值算法89
4.2.2 k-均值算法的硬盤版本91
4.2.3 優(yōu)勢和劣勢92
4.3 聚類的表示95
4.3.1 聚類的一般表示方法95
4.3.2 任意形狀的聚類95
4.4 層次聚類96
4.4.1 單鏈接方法97
4.4.2 全鏈接方法98
4.4.3 平均鏈接方法98
4.4.4 優(yōu)勢和劣勢98
4.5 距離函數99
4.5.1 數值的屬性(Numeric Attributes)99
4.5.2 布爾屬性和符號屬性(Binary and Nominal Attributes)99
4.5.3 文本文檔101
4.6 數據標準化101
4.7 混合屬性的處理103
4.8 采用哪種聚類算法104
4.9 聚類的評估104
4.10 發(fā)現(xiàn)數據區(qū)域和數據空洞106
文獻評注108
第5章 部分監(jiān)督學習110
5.1 從已標注數據和無標注數據中學習110
5.1.1 使用樸素貝葉斯分類器的EM算法111
5.1.2 Co-Training114
5.1.3 自學習115
5.1.4 直推式支持向量機116
5.1.5 基于圖的方法117
5.1.6 討論119
5.2 從正例和無標注數據中學習119
5.2.1 PU學習的應用120
5.2.2 理論基礎121
5.2.3 建立分類器： 兩步方法122
5.2.4 建立分類器： 直接方法127
5.2.5 討論128
附錄： 樸素貝葉斯EM算法的推導129
文獻評注131第二部分 Web挖掘
第6章 信息檢索與Web搜索135
6.1 信息檢索中的基本概念136
6.2 信息檢索模型138
6.2.1 布爾模型138
6.2.2 向量空間模型139
6.2.3 統(tǒng)計語言模型141
6.3 關聯(lián)性反饋142
6.4 評估標準143
6.5 文本和網頁的預處理147
6.5.1 停用詞移除147
6.5.2 詞干提取147
6.5.3 其他文本預處理步驟148
6.5.4 網頁預處理步驟148
6.5.5 副本探測149
6.6 倒排索引及其壓縮150
6.6.1 倒排索引150
6.6.2 使用倒排索引搜索151
6.6.3 索引的建立152
6.6.4 索引的壓縮153
6.7 隱式語義索引157
6.7.1 奇異值分解158
6.7.2 查詢和檢索159
6.7.3 實例160
6.7.4 討論163
6.8 Web搜索163
6.9 元搜索引擎和組合多種排序165
6.9.1 使用相似度分數的合并166
6.9.2 使用排名位置的合并166
6.10 網絡作弊168
6.10.1 內容作弊169
6.10.2 鏈接作弊169
6.10.3 隱藏技術170
6.10.4 抵制作弊171
文獻評注172
第7章 鏈接分析174
7.1 社會關系網分析175
7.1.1 中心性175
7.1.2 權威177
7.2 同引分析和引文耦合178
7.2.1 同引分析178
7.2.2 引文耦合179
7.3 PageRank179
7.3.1 PageRank算法180
7.3.2 PageRank算法的優(yōu)點和缺點185
7.3.3 Timed PageRank185
7.4 HITS186
7.4.1 HITS算法187
7.4.2 尋找其他的特征向量189
7.4.3 同引分析和引文耦合的關系189
7.4.4 HITS算法的優(yōu)點和缺點189
7.5 社區(qū)發(fā)現(xiàn)191
7.5.1 問題定義191
7.5.2 二分核心社區(qū)192
7.5.3 最大流社區(qū)193
7.5.4 基于中介性的電子郵件社區(qū)195
7.5.5 命名實體的重疊社區(qū)196
文獻評注197
第8章 Web爬取199
8.1 一個簡單爬蟲算法199
8.1.1 寬度優(yōu)先爬蟲201
8.1.2 帶偏好的爬蟲201
8.2 實現(xiàn)議題202
8.2.1 網頁獲取202
8.2.2 網頁解析202
8.2.3 刪除無用詞并提取詞干204
8.2.4 鏈接提取和規(guī)范化204
8.2.5 爬蟲陷阱206
8.2.6 網頁庫206
8.2.7 并發(fā)性207
8.3 通用爬蟲208
8.3.1 可擴展性208
8.3.2 覆蓋度、新鮮度和重要度209
8.4 限定爬蟲210
8.5 主題爬蟲212
8.5.1 主題本地性和線索213
8.5.2 最優(yōu)優(yōu)先變種217
8.5.3 自適應219
8.6 評價標準223
8.7 爬蟲道德和沖突226
8.8 最新進展228
文獻評注230
第9章 結構化數據抽取：包裝器生成231
9.1 預備知識231
9.1.1 兩種富含數據的網頁232
9.1.2 數據模型233
9.1.3 數據實例的HTML標記編碼235
9.2 包裝器歸納236
9.2.1 從一張網頁抽取237
9.2.2 學習抽取規(guī)則238
9.2.3 識別提供信息的樣例242
9.2.4 包裝器維護242
9.3 基于實例的包裝器學習243
9.4 自動包裝器生成中的一些問題245
9.4.1 兩個抽取問題246
9.4.2 作為正則表達式的模式246
9.5 字符串匹配和樹匹配247
9.5.1 字符串編輯距離247
9.5.2 樹匹配249
9.6 多重對齊252
9.6.1 中星方法252
9.6.2 部分樹對齊253
9.7 構建DOM樹257
9.8 基于列表頁的抽?。?平坦數據記錄258
9.8.1 有關數據記錄的兩個觀察結果258
9.8.2 挖掘數據區(qū)域259
9.8.3 從數據區(qū)域中識別數據記錄263
9.8.4 數據項對齊與抽取263
9.8.5 利用視覺信息264
9.8.6 一些其他技術264
9.9 基于列表頁的抽?。?嵌套數據記錄265
9.10 基于多張網頁的抽取269
9.10.1 采用前幾節(jié)中的技術270
9.10.2 RoadRunner算法270
9.11 一些其他問題271
9.11.1 從其他網頁中抽取271
9.11.2 析取還是可選272
9.11.3 一個集合類型還是一個元組類型273
9.11.4 標注與整合273
9.11.5 領域相關的抽取273
9.12 討論274
文獻評注274
第10章 信息集成276
10.1 什么是樣式表匹配277
10.2 樣式表匹配的預處理工作278
10.3 樣式表層次的匹配279
10.3.1 基于語言學的算法279
10.3.2 基于樣式表中限制的算法280
10.4 基于領域和實例層次的匹配280
10.5 不同相似度的聯(lián)合282
10.6 1：m匹配283
10.7 其他問題284
10.7.1 重用以前的匹配結果284
10.7.2 大量樣式表的匹配285
10.7.3 樣式表匹配的結果285
10.7.4 用戶交互285
10.8 Web搜索界面的集成285
10.8.1 基于聚類的算法287
10.8.2 基于互關系的方法289
10.8.3 基于實例的方法290
10.9 構建一個全局的搜索界面292
10.9.1 結構上的正確性和合并算法293
10.9.2 詞匯的正確性294
10.9.3 實例的正確性295
文獻評注295
第11章 觀點挖掘296
11.1 意見分類297
11.1.1 基于意見短語的分類297
11.1.2 采用文本分類方法進行意見分類299
11.1.3 基于評分函數進行分類299
11.2 基于特征的觀點挖掘和摘要300
11.2.1 問題定義301
11.2.2 對象特征抽取305
11.2.3 格式1中正面和負面評價部分的特征抽取306
11.2.4 符合格式2和3的評審上的特征抽取308
11.2.5 觀點傾向分類309
11.3 比較性句子和比較關系挖掘310
11.3.1 問題定義311
11.3.2 等級比較性語句的識別312
11.3.3 比較關系的抽取314
11.4 觀點搜索315
11.5 觀點欺詐316
11.5.1 觀點欺詐的目標和行為317
11.5.2 欺詐和欺詐者的種類317
11.5.3 隱藏技巧318
11.5.4 欺詐檢測318
文獻評注320
第12章 Web使用挖掘322
12.1 數據收集和預處理323
12.1.1 數據的來源和類型323
12.1.2 Web使用記錄數據預處理的關鍵元素326
12.2 Web使用記錄挖掘的數據建模331
12.3 Web用法模式的發(fā)現(xiàn)和分析334
12.3.1 會話和訪問者分析334
12.3.2 聚類分析和訪問者分割334
12.3.3 關聯(lián)及相關度分析337
12.3.4 序列和導航模式分析340
12.3.5 基于Web用戶事務的分類和預測342
12.4 討論和展望343
文獻評注344
參考文獻345