自己動(dòng)手做推薦引擎

作者簡(jiǎn)介
技術(shù)評(píng)審員簡(jiǎn)介
前言
第1章　推薦引擎介紹 1
1.1推薦引擎定義 1
1.2推薦系統(tǒng)的必要性 3
1.3大數(shù)據(jù)對(duì)推薦系統(tǒng)的推動(dòng)作用 4
1.4推薦系統(tǒng)類(lèi)型 4
1.4.1協(xié)同過(guò)濾推薦系統(tǒng) 4
1.4.2基于內(nèi)容的推薦系統(tǒng) 5
1.4.3混合推薦系統(tǒng) 6
1.4.4情境感知推薦系統(tǒng) 7
1.5推薦系統(tǒng)技術(shù)的發(fā)展 8
1.5.1Mahout在可擴(kuò)展推薦系統(tǒng)中的應(yīng)用 8
1.5.2Apache Spark在可擴(kuò)展實(shí)時(shí)推薦系統(tǒng)中的應(yīng)用 9
1.6本章小結(jié) 12
第2章　構(gòu)建個(gè)推薦引擎 13
2.1構(gòu)建基礎(chǔ)推薦引擎 14
2.1.1載入并格式化數(shù)據(jù) 15
2.1.2計(jì)算用戶相似度 17
2.1.3為用戶預(yù)測(cè)未知評(píng)級(jí) 18
2.2本章小結(jié) 24
第3章　推薦引擎詳解 25
3.1推薦引擎的發(fā)展 26
3.2基于近鄰算法的推薦引擎 27
3.2.1基于用戶的協(xié)同過(guò)濾 29
3.2.2基于項(xiàng)目的協(xié)同過(guò)濾 30
3.2.3優(yōu)點(diǎn) 32
3.2.4缺點(diǎn) 32
3.3基于內(nèi)容的推薦系統(tǒng) 32
3.3.1用戶畫(huà)像生成 35
3.3.2優(yōu)點(diǎn) 36
3.3.3缺點(diǎn) 36
3.4情境感知推薦系統(tǒng) 37
3.4.1情境定義 38
3.4.2前置過(guò)濾法 40
3.4.3后置過(guò)濾法 40
3.4.4優(yōu)點(diǎn) 41
3.4.5缺點(diǎn) 41
3.5混合推薦系統(tǒng) 41
3.5.1加權(quán)法 42
3.5.2混合法 42
3.5.3層疊法 42
3.5.4特征組合法 42
3.5.5優(yōu)點(diǎn) 43
3.6基于模型的推薦系統(tǒng) 43
3.6.1概率法 44
3.6.2機(jī)器學(xué)習(xí)法 44
3.6.3數(shù)學(xué)法 44
3.6.4優(yōu)點(diǎn) 45
3.7本章小結(jié) 45
第4章　數(shù)據(jù)挖掘技術(shù)在推薦引擎中的應(yīng)用 46
4.1基于近鄰算法的技術(shù) 47
4.1.1歐氏距離 47
4.1.2余弦相似度 48
4.1.3Jaccard相似度 51
4.1.4皮爾遜相關(guān)系數(shù) 51
4.2數(shù)學(xué)建模技術(shù) 53
4.2.1矩陣分解 53
4.2.2交替小二乘法 55
4.2.3奇異值分解 55
4.3機(jī)器學(xué)習(xí)技術(shù) 57
4.3.1線性回歸 57
4.3.2分類(lèi)模型 59
4.4聚類(lèi)技術(shù) 69
4.5降維 71
4.6向量空間模型 75
4.6.1詞頻 75
4.6.2詞頻-逆文檔頻率 76
4.7評(píng)估技術(shù) 78
4.7.1交叉驗(yàn)證 79
4.7.2正則化 80
4.8本章小結(jié) 82
第5章　構(gòu)建協(xié)同過(guò)濾推薦引擎 83
5.1在RStudio上安裝recommenderlab 83
5.2recommenderlab包中可用的數(shù)據(jù)集 85
5.3探討數(shù)據(jù)集 88
5.4使用recommenderlab構(gòu)建基于用戶的協(xié)同過(guò)濾 89
5.4.1準(zhǔn)備訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù) 90
5.4.2創(chuàng)建一個(gè)基于用戶的協(xié)同模型 90
5.4.3在測(cè)試集上進(jìn)行預(yù)測(cè) 92
5.4.4分析數(shù)據(jù)集 93
5.4.5使用k折交叉驗(yàn)證評(píng)估推薦模型 95
5.4.6評(píng)估基于用戶的協(xié)同過(guò)濾 96
5.5構(gòu)建基于項(xiàng)目的推薦模型 99
5.5.1構(gòu)建IBCF推薦模型 100
5.5.2模型評(píng)估 103
5.5.3模型準(zhǔn)確率度量 104
5.5.4模型準(zhǔn)確率繪圖 105
5.5.5IBCF參數(shù)調(diào)優(yōu) 107
5.6使用Python構(gòu)建協(xié)同過(guò)濾 110
5.6.1安裝必要包 110
5.6.2數(shù)據(jù)源 110
5.7數(shù)據(jù)探討 111
5.7.1表示評(píng)級(jí)矩陣 113
5.7.2創(chuàng)建訓(xùn)練集和測(cè)試集 114
5.7.3構(gòu)建UBCF的步驟 115
5.7.4基于用戶的相似度計(jì)算 115
5.7.5預(yù)測(cè)活躍用戶的未知評(píng)級(jí) 116
5.8使用KNN 進(jìn)行基于用戶的協(xié)同過(guò)濾 117
5.9基于項(xiàng)目的推薦 118
5.9.1評(píng)估模型 119
5.9.2KNN訓(xùn)練模型 120
5.9.3評(píng)估模型 120
5.10本章小結(jié) 120
第6章　構(gòu)建個(gè)性化推薦引擎 121
6.1個(gè)性化推薦系統(tǒng) 122
6.2基于內(nèi)容的推薦系統(tǒng) 122
6.2.1構(gòu)建一個(gè)基于內(nèi)容的推薦系統(tǒng) 123
6.2.2使用 R語(yǔ)言構(gòu)建基于內(nèi)容的推薦 123
6.2.3使用Python語(yǔ)言構(gòu)建基于內(nèi)容的推薦 133
6.3情境感知推薦系統(tǒng) 144
6.3.1構(gòu)建情境感知推薦系統(tǒng) 144
6.3.2使用R語(yǔ)言構(gòu)建情境感知推薦 145
6.4本章小結(jié) 150
第7章　使用Spark構(gòu)建實(shí)時(shí)推薦引擎 151
7.1Spark 2.0介紹 152
7.1.1Spark架構(gòu) 152
7.1.2Spark組件 154
7.1.3Spark Core 154
7.1.4Spark的優(yōu)點(diǎn) 156
7.1.5Spark設(shè)置 156
7.1.6SparkSession 157
7.1.7彈性分布式數(shù)據(jù)集 158
7.1.8關(guān)于ML流水線 158
7.2使用交替小二乘法進(jìn)行協(xié)同過(guò)濾 160
7.3使用PySpark構(gòu)建基于模型的推薦系統(tǒng) 162
7.4MLlib推薦引擎模塊 163
7.5推薦引擎方法 164
7.5.1實(shí)現(xiàn) 164
7.5.2基于用戶的協(xié)同過(guò)濾 172
7.5.3模型評(píng)估 173
7.5.4模型選擇和超參數(shù)調(diào)優(yōu) 174
7.6本章小結(jié) 179
第8章　通過(guò)Neo4j構(gòu)建實(shí)時(shí)推薦 180
8.1圖數(shù)據(jù)庫(kù)種類(lèi) 181
8.2Neo4j 183
8.2.1Cypher查詢(xún)語(yǔ)言 184
8.2.2節(jié)點(diǎn)語(yǔ)法 184
8.2.3關(guān)系語(yǔ)法 185
8.2.4構(gòu)建個(gè)圖 185
8.3Neo4j Windows安裝 192
8.4Neo4j Linux安裝 194
8.4.1下載Neo4j 194
8.4.2設(shè)置Neo4j 195
8.4.3命令行啟動(dòng)Neo4j 195
8.5構(gòu)建推薦引擎 197
8.5.1將數(shù)據(jù)加載到Neo4j 197
8.5.2使用Neo4j生成推薦 200
8.5.3使用歐氏距離進(jìn)行協(xié)同過(guò)濾 201
8.5.4使用余弦相似度進(jìn)行協(xié)同過(guò)濾 206
8.6本章小結(jié) 209
第9章　使用Mahout構(gòu)建可擴(kuò)展的推薦引擎 210
9.1Mahout簡(jiǎn)介 211
9.2配置Mahout 211
9.2.1Mahout單機(jī)模式 211
9.2.2Mahout分布式模式 218
9.3Mahout的核心構(gòu)建模塊 220
9.3.1基于用戶的協(xié)同過(guò)濾推薦引擎組件 220
9.3.2使用Mahout構(gòu)建推薦引擎 223
9.3.3數(shù)據(jù)描述 223
9.3.4基于用戶的協(xié)同過(guò)濾 225
9.4基于項(xiàng)目的協(xié)同過(guò)濾 228
9.5協(xié)同過(guò)濾評(píng)估 231
9.6基于用戶的推薦評(píng)估 231
9.7基于項(xiàng)目的推薦評(píng)估 232
9.8SVD推薦系統(tǒng) 235
9.9使用Mahout進(jìn)行分布式推薦 236
9.10可擴(kuò)展系統(tǒng)的架構(gòu) 240
9.11本章小結(jié) 241
第10章　推薦引擎的未來(lái) 242
10.1推薦引擎的未來(lái) 242
10.2推薦系統(tǒng)的發(fā)展階段 243
10.2.1一般的推薦系統(tǒng) 243
10.2.2個(gè)性化推薦系統(tǒng) 244
10.2.3未來(lái)的推薦系統(tǒng) 245
10.2.4下一個(gè)舉措 249
10.2.5使用案例 249
10.3流行方法 251
10.4推薦引擎的時(shí)效性 252
10.4.1A/B測(cè)試 253
10.4.2反饋機(jī)制 254
10.5本章小結(jié) 255