架構(gòu)大數(shù)據(jù)：大數(shù)據(jù)技術(shù)及算法解析

第1章  大數(shù)據(jù)技術(shù)概述 1
1.1  大數(shù)據(jù)的概念 1
1.2  大數(shù)據(jù)的行業(yè)價(jià)值 4
1.3  大數(shù)據(jù)問(wèn)題的爆發(fā) 9
1.4  大數(shù)據(jù)處理流程 12
1.5  大數(shù)據(jù)技術(shù) 13
1.5.1  基礎(chǔ)架構(gòu)支持 14
1.5.2  數(shù)據(jù)采集 14
1.5.3  數(shù)據(jù)存儲(chǔ) 15
1.5.4  數(shù)據(jù)計(jì)算 16
1.5.5  展現(xiàn)與交互 18
1.6  練習(xí)題 19
參考文獻(xiàn) 19
第2章  大數(shù)據(jù)基礎(chǔ)支撐——數(shù)據(jù)中心及云計(jì)算 20
2.1  數(shù)據(jù)中心概述 20
2.1.1  云計(jì)算時(shí)代數(shù)據(jù)中心面臨的問(wèn)題 21
2.1.2  新一代數(shù)據(jù)中心關(guān)鍵技術(shù) 22
2.1.3  業(yè)界發(fā)展動(dòng)態(tài) 24
2.1.4  小結(jié) 25
2.2  云計(jì)算簡(jiǎn)介 25
2.2.1  云計(jì)算定義 26
2.2.2  云計(jì)算主要特征 27
2.2.3  Web服務(wù)、網(wǎng)格和云計(jì)算 28
2.2.4  云計(jì)算應(yīng)用分類(lèi) 29
2.2.5  小結(jié) 31
2.3  大數(shù)據(jù)與云計(jì)算的關(guān)系 32
2.3.1  大數(shù)據(jù)是信息技術(shù)發(fā)展的必然階段 33
2.3.2  云計(jì)算等新興信息技術(shù)正在真正地落地和實(shí)施 34
2.3.3  云計(jì)算等新興技術(shù)是解決大數(shù)據(jù)問(wèn)題的核心關(guān)鍵 34
2.4  云資源調(diào)度與管理 35
2.4.1  云資源管理 36
2.4.2  云資源調(diào)度策略 38
2.4.3  云計(jì)算數(shù)據(jù)中心負(fù)載均衡調(diào)度 40
2.5  開(kāi)源云管理平臺(tái)OpenStack 44
2.5.1  OpenStack的構(gòu)成 45
2.5.2  OpenStack各組件之間的關(guān)系 46
2.5.3  OpenStack的邏輯架構(gòu) 47
2.5.4  小結(jié) 49
2.6  軟件定義網(wǎng)絡(luò) 49
2.6.1  起源與發(fā)展 50
2.6.2  OpenFlow標(biāo)準(zhǔn)和規(guī)范 50
2.6.3  OpenFlow的應(yīng)用 53
2.7  虛擬機(jī)與容器 55
2.7.1  VM虛擬化與Container虛擬化 55
2.7.2  Docker 55
2.8  練習(xí)題 57
參考文獻(xiàn) 57
第3章  云計(jì)算先行者——Google的三駕馬車(chē) 59
3.1  Google的三駕馬車(chē) 59
3.1.1  GFS——一個(gè)可擴(kuò)展的分布式文件系統(tǒng) 59
3.1.2  MapReduce——一種并行計(jì)算的編程模型 64
3.1.3  BigTable——一個(gè)分布式數(shù)據(jù)存儲(chǔ)系統(tǒng) 69
3.2  Google新“三駕馬車(chē)” 77
3.2.1  Caffeine——基于Percolator的搜索索引系統(tǒng) 77
3.2.2  Pregel——高效的分布式圖計(jì)算的計(jì)算框架 80
3.2.3  Dremel——大規(guī)模數(shù)據(jù)的交互式數(shù)據(jù)分析系統(tǒng) 85
3.3  練習(xí)題 89
參考文獻(xiàn) 89
第4章  云存儲(chǔ)系統(tǒng) 91
4.1  云存儲(chǔ)的基本概念 91
4.1.1  云存儲(chǔ)結(jié)構(gòu)模型 91
4.1.2  云存儲(chǔ)與傳統(tǒng)存儲(chǔ)系統(tǒng)的區(qū)別 94
4.2  云存儲(chǔ)關(guān)鍵技術(shù) 95
4.2.1  存儲(chǔ)虛擬化技術(shù) 95
4.2.2  分布式存儲(chǔ)技術(shù) 97
4.3  云存儲(chǔ)系統(tǒng)分類(lèi) 98
4.3.1  分布式文件存儲(chǔ) 99
4.3.2  分布式塊存儲(chǔ) 105
4.3.3  分布式對(duì)象存儲(chǔ) 109
4.3.4  統(tǒng)一存儲(chǔ) 117
4.4  其他相關(guān)技術(shù) 124
4.5  練習(xí)題 127
參考文獻(xiàn) 127
第5章  數(shù)據(jù)采集系統(tǒng) 129
5.1  Flume 130
5.1.1  Flume架構(gòu) 130
5.1.2  Flume核心組件 133
5.1.3  Flume環(huán)境搭建與部署 134
5.2  Scribe 139
5.2.1  Scribe架構(gòu) 139
5.2.2  Scribe中的Store 140
5.2.3  Scribe環(huán)境搭建與部署 141
5.3  Chukwa 144
5.3.1  Chukwa的設(shè)計(jì)目標(biāo) 144
5.3.2  Chukwa架構(gòu) 145
5.3.3  Chukwa 環(huán)境搭建與部署 147
5.4  Kafka 150
5.4.1  Kafka架構(gòu) 150
5.4.2  Kafka存儲(chǔ) 152
5.4.3  Kafka的特點(diǎn) 152
5.4.4  Kafka環(huán)境搭建與部署 154
5.5  練習(xí)題 155
參考文獻(xiàn) 155
第6章  Hadoop與MapReduce 156
6.1  Hadoop平臺(tái) 156
6.1.1  Hadoop概述 156
6.1.2  Hadoop的發(fā)展簡(jiǎn)史 157
6.1.3  Hadoop的功能和作用 158
6.1.4  HDFS 159
6.1.5  HBase 162
6.2  MapReduce 171
6.2.1  第一代MapReduce（MRv1） 172
6.2.2  MapReduce 2.0——Yarn 180
6.3  Hadoop相關(guān)生態(tài)系統(tǒng) 184
6.3.1  交互式數(shù)據(jù)查詢(xún)分析 184
6.3.2  數(shù)據(jù)收集、轉(zhuǎn)換工具 187
6.3.3  機(jī)器學(xué)習(xí)工具 188
6.3.4  集群管理與監(jiān)控 188
6.3.5  其他工具 189
6.4  Hadoop應(yīng)用案例 191
6.5  練習(xí)題 192
參考文獻(xiàn) 192
第7章  Spark——大數(shù)據(jù)統(tǒng)一計(jì)算平臺(tái) 193
7.1  Spark簡(jiǎn)介 193
7.1.1  Spark 193
7.1.2  BDAS 195
7.2  RDD 197
7.2.1  RDD基本概念 197
7.2.2  RDD示例 199
7.2.3  RDD與分布式共享內(nèi)存 200
7.3  Spark SQL 201
7.4  MLlib 203
7.5  GraphX 206
7.6  Spark Streaming 206
7.6.1  基本概念 207
7.6.2  編程模型 208
7.7  Spark的安裝 210
7.7.1  單機(jī)運(yùn)行Spark 210
7.7.2  使用Spark Shell與Spark交互 213
7.8  Shark、Impala、Hive對(duì)比 214
7.9  練習(xí)題 216
參考文獻(xiàn) 216
第8章  Storm流計(jì)算系統(tǒng) 218
8.1  流計(jì)算系統(tǒng) 218
8.1.1  流計(jì)算系統(tǒng)的特點(diǎn) 218
8.1.2  流計(jì)算處理基本流程 219
8.2  Storm流計(jì)算框架 220
8.2.1  Storm簡(jiǎn)介 220
8.2.2  Storm關(guān)鍵術(shù)語(yǔ) 221
8.2.3  Storm架構(gòu)設(shè)計(jì) 223
8.3  Storm編程實(shí)例 225
8.4  Storm應(yīng)用 228
8.4.1  Storm應(yīng)用場(chǎng)景 228
8.4.2  Storm應(yīng)用實(shí)例 228
8.5  其他流計(jì)算框架 229
8.6  練習(xí)題 231
參考文獻(xiàn) 231
第9章  SQL、NoSQL與NewSQL 232
9.1  傳統(tǒng)SQL數(shù)據(jù)庫(kù) 232
9.1.1  關(guān)系模型 232
9.1.2  關(guān)系型數(shù)據(jù)庫(kù)的優(yōu)點(diǎn) 233
9.1.3  關(guān)系型數(shù)據(jù)庫(kù)面臨的問(wèn)題 234
9.2  NoSQL 234
9.2.1  NoSQL與大數(shù)據(jù) 235
9.2.2  NoSQL理論基礎(chǔ) 235
9.2.3  分布式模型 238
9.2.4  NoSQL數(shù)據(jù)庫(kù)分類(lèi) 241
9.3  NewSQL 255
9.3.1  系統(tǒng)分類(lèi) 255
9.3.2  Google Spanner 256
9.3.3  MemSQL 258
9.3.4  VoltDB 260
9.4  練習(xí)題 263
參考文獻(xiàn) 263
第10章  大數(shù)據(jù)與數(shù)據(jù)挖掘 264
10.1  數(shù)據(jù)挖掘的主要功能和常用算法 264
10.1.1  數(shù)據(jù)挖掘的主要功能 264
10.1.2  常用算法 265
10.2  大數(shù)據(jù)時(shí)代的數(shù)據(jù)挖掘 280
10.2.1  傳統(tǒng)數(shù)據(jù)挖掘解決方案 280
10.2.2  分布式數(shù)據(jù)挖掘解決方案 280
10.3  數(shù)據(jù)挖掘相關(guān)工具 282
10.3.1  Mahout 282
10.3.2  語(yǔ)言工具——Python 288
10.4  數(shù)據(jù)挖掘與R語(yǔ)言 289
10.4.1  R語(yǔ)言簡(jiǎn)介 289
10.4.2  R語(yǔ)言在數(shù)據(jù)挖掘上的應(yīng)用 290
10.5  練習(xí)題 294
參考文獻(xiàn) 294
第11章  深度學(xué)習(xí) 298
11.1  深度學(xué)習(xí)介紹 299
11.1.1  深度學(xué)習(xí)的概念 299
11.1.2  深度學(xué)習(xí)的結(jié)構(gòu) 299
11.1.3  從機(jī)器學(xué)習(xí)到深度學(xué)習(xí) 301
11.2  深度學(xué)習(xí)基本方法 302
11.2.1  自動(dòng)編碼器 302
11.2.2  稀疏編碼 304
11.3  深度學(xué)習(xí)模型 305
11.3.1  深度置信網(wǎng)絡(luò) 306
11.3.2  卷積神經(jīng)網(wǎng)絡(luò) 308
11.4  深度學(xué)習(xí)的訓(xùn)練加速 310
11.4.1  GPU加速 310
11.4.2  數(shù)據(jù)并行 311
11.4.3  模型并行 312
11.4.4  計(jì)算集群 313
11.5  深度學(xué)習(xí)應(yīng)用 313
11.5.1  Google 314
11.5.2  百度 314
11.5.3  騰訊Mariana 315
11.6  練習(xí)題 316
參考文獻(xiàn) 316
第12章  電子商務(wù)與社會(huì)化網(wǎng)絡(luò)大數(shù)據(jù)分析 318
12.1  推薦系統(tǒng)簡(jiǎn)介 318
12.1.1  推薦系統(tǒng)的評(píng)判標(biāo)準(zhǔn) 319
12.1.2  推薦系統(tǒng)的分類(lèi) 319
12.1.3  在線(xiàn)推薦系統(tǒng)常用算法介紹 320
12.1.4  相關(guān)算法知識(shí) 323
12.2  計(jì)算廣告 327
12.2.1  計(jì)算廣告簡(jiǎn)介 327
12.2.2  計(jì)算廣告發(fā)展階段 327
12.2.3  計(jì)算廣告相關(guān)算法 330
12.2.4  計(jì)算廣告與大數(shù)據(jù) 332
12.2.5  大數(shù)據(jù)在計(jì)算廣告中的應(yīng)用案例 333
12