Hadoop/Spark大數(shù)據(jù)機(jī)器學(xué)習(xí)

目錄
前言
第1章 機(jī)器學(xué)習(xí)概述 1
1.1 分類(lèi)與聚類(lèi) 1
1.1.1 分類(lèi) 1
1.1.2 聚類(lèi) 4
1.2 K-近鄰算法與模糊K-近鄰算法 7
1.2.1 K-近鄰算法 7
1.2.2 模糊K-近鄰算法 8
1.3 K-均值算法與模糊K-均值算法 10
1.3.1 K-均值算法 10
1.3.2 模糊K-均值算法 12
1.4 決策樹(shù)算法 13
1.4.1 離散值決策樹(shù)算法 13
1.4.2 連續(xù)值決策樹(shù)算法 25
1.5 神經(jīng)網(wǎng)絡(luò) 31
1.5.1 神經(jīng)元模型 32
1.5.2 梯度下降算法 33
1.5.3 多層感知器模型 35
1.6 極限學(xué)習(xí)機(jī) 40
1.7 支持向量機(jī) 42
1.7.1 線(xiàn)性可分支持向量機(jī) 42
1.7.2 近似線(xiàn)性可分支持向量機(jī) 46
1.7.3 線(xiàn)性不可分支持向量機(jī) 47
1.8 主動(dòng)學(xué)習(xí) 49
第2章 大數(shù)據(jù)與大數(shù)據(jù)處理系統(tǒng) 53
2.1 大數(shù)據(jù)及其特征 53
2.2 Linux操作系統(tǒng)簡(jiǎn)介 54
2.2.1 Linux版本 54
2.2.2 Linux的文件與目錄 56
2.2.3 Linux用戶(hù)與用戶(hù)組 62
2.2.4 Linux系統(tǒng)軟件包管理 65
2.2.5 Linux操作系統(tǒng)的安裝 66
2.3 大數(shù)據(jù)處理系統(tǒng)Hadoop 79
2.3.1 什么是Hadoop 79
2.3.2 Hadoop的特性 82
2.3.3 Hadoop的體系結(jié)構(gòu) 82
2.3.4 Hadoop的運(yùn)行機(jī)制 83
2.3.5 Hadoop 1.0和Hadoop 2.0的區(qū)別 85
2.3.6 Hadoop的安裝及大數(shù)據(jù)處理環(huán)境的架構(gòu) 87
2.4 大數(shù)據(jù)處理系統(tǒng)Spark 95
2.4.1 什么是Spark 95
2.4.2 Spark的運(yùn)行架構(gòu) 96
2.4.3 Spark的工作機(jī)制 97
第3章 Hadoop分布式文件系統(tǒng)HDFS 106
3.1 HDFS概述 106
3.1.1 HDFS的優(yōu)勢(shì) 106
3.1.2 HDFS的局限性 107
3.2 HDFS的系統(tǒng)結(jié)構(gòu) 107
3.3 HDFS的數(shù)據(jù)存儲(chǔ) 111
3.3.1 數(shù)據(jù)塊的存放策略 111
3.3.2 數(shù)據(jù)的讀取策略 112
3.3.3 文件系統(tǒng)元數(shù)據(jù)的持久性 114
3.3.4 HDFS的魯棒性 114
3.4 訪(fǎng)問(wèn)HDFS 116
3.4.1 通過(guò)文件系統(tǒng)Shell訪(fǎng)問(wèn)HDFS 116
3.4.2 通過(guò)文件系統(tǒng)Java API訪(fǎng)問(wèn)HDFS 120
3.5 HDFS讀寫(xiě)數(shù)據(jù)的過(guò)程 132
3.5.1 HDFS讀數(shù)據(jù)的過(guò)程 132
3.5.2 HDFS寫(xiě)數(shù)據(jù)的過(guò)程 133
第4章 Hadoop并行編程框架MapReduce 135
4.1 MapReduce概述 135
4.2 MapReduce的大數(shù)據(jù)處理過(guò)程 136
4.2.1 Map階段 137
4.2.2 Shu2e階段 138
4.2.3 Reduce階段 140
4.3 一個(gè)例子:流量統(tǒng)計(jì) 141
4.4 MapReduce的系統(tǒng)結(jié)構(gòu) 144
4.5 MapReduce的作業(yè)處理過(guò)程 146
4.6 MapReduce算法設(shè)計(jì) 147
4.6.1 大數(shù)據(jù)決策樹(shù)算法設(shè)計(jì) 147
4.6.2 大數(shù)據(jù)極限學(xué)習(xí)機(jī)算法設(shè)計(jì) 150
第5章 Hadoop大數(shù)據(jù)機(jī)器學(xué)習(xí) 152
5.1 基于Hadoop的大數(shù)據(jù)K-近鄰算法 155
5.1.1 大數(shù)據(jù)K-近鄰算法的基本思想 155
5.1.2 大數(shù)據(jù)K-近鄰算法的MapReduce編程實(shí)現(xiàn) 156
5.2 基于Hadoop的大數(shù)據(jù)極限學(xué)習(xí)機(jī) 170
5.2.1 大數(shù)據(jù)極限學(xué)習(xí)機(jī)的基本思想 170
5.2.2 大數(shù)據(jù)極限學(xué)習(xí)機(jī)的MapReduce編程實(shí)現(xiàn) 170
5.3 基于Hadoop的大數(shù)據(jù)主動(dòng)學(xué)習(xí) 191
5.3.1 大數(shù)據(jù)主動(dòng)學(xué)習(xí)的基本思想 191
5.3.2 大數(shù)據(jù)主動(dòng)學(xué)習(xí)的MapReduce編程實(shí)現(xiàn) 192
第6章 Spark大數(shù)據(jù)機(jī)器學(xué)習(xí) 201
6.1 SparkMLlib 201
6.1.1 MLlib決策樹(shù)算法 201
6.1.2 MLlib決策森林算法 204
6.1.3 MLlib K-means算法 207
6.1.4 主成分分析 210
6.2 基于Spark的大數(shù)據(jù)K-近鄰算法 212
6.3 基于Spark的大數(shù)據(jù)主動(dòng)學(xué)習(xí) 218
參考文獻(xiàn) 238