Spark內(nèi)核設(shè)計(jì)的藝術(shù)：架構(gòu)設(shè)計(jì)與實(shí)現(xiàn)

定　價(jià)：￥139.00

作　者：	耿嘉安
出版社：	機(jī)械工業(yè)出版社
叢編項(xiàng)：
標(biāo)　簽：	暫缺

購(gòu)買(mǎi)這本書(shū)可以去

ISBN：	9787111584391	出版時(shí)間：	2018-01-01	包裝：
開(kāi)本：	16開(kāi)	頁(yè)數(shù)：	690	字?jǐn)?shù)：

內(nèi)容簡(jiǎn)介

　　全書(shū)分為10章。第1章介紹Spark學(xué)習(xí)環(huán)境的搭建。第2章介紹Spark的基本知識(shí)和架構(gòu)。第3章介紹Spark內(nèi)核底層的基礎(chǔ)設(shè)施。第4章介紹SparkContext的初始化。第5章介紹Spark執(zhí)行環(huán)境SparkEnv。第6章介紹Spark自身的存儲(chǔ)體系。本章不同于其他書(shū)籍將存儲(chǔ)的各個(gè)組件視為不同內(nèi)容，而是將存儲(chǔ)體系的內(nèi)容凝聚起來(lái)。第7章介紹Spark的調(diào)度系統(tǒng)。第8章介紹Spark的計(jì)算引擎。第9章介紹Spark的部署模式。第10章介紹Spark的API。Spark從表面上看與之前版本大的不同是API，所以本章拿個(gè)別API的實(shí)現(xiàn)作為例子，分析其源碼實(shí)現(xiàn)，讓讀者理解新老API之間的異同。

作者簡(jiǎn)介

　　耿嘉安，藝龍大數(shù)據(jù)平臺(tái)架構(gòu)師，前阿里巴巴高級(jí)開(kāi)發(fā)工程師，11年開(kāi)發(fā)經(jīng)驗(yàn)，對(duì)Spark有深入研究，精通大數(shù)據(jù)業(yè)務(wù)、Java架構(gòu)設(shè)計(jì)，擅長(zhǎng)J2EE，有9年Java相關(guān)開(kāi)發(fā)經(jīng)驗(yàn)，關(guān)注Spark、Storm、ODPS。

圖書(shū)目錄

目錄 Contents
本書(shū)贊譽(yù)
前言
第1章　環(huán)境準(zhǔn)備 1
1.1　運(yùn)行環(huán)境準(zhǔn)備 2
1.1.1　安裝JDK 2
1.1.2　安裝Scala 2
1.1.3　安裝Spark 3
1.2　Spark初體驗(yàn) 4
1.2.1　運(yùn)行spark-shell 4
1.2.2　執(zhí)行word count 5
1.2.3　剖析spark-shell 9
1.3　閱讀環(huán)境準(zhǔn)備 14
1.3.1　安裝SBT 15
1.3.2　安裝Git 15
1.3.3　安裝Eclipse Scala IDE插件 15
1.4　Spark源碼編譯與調(diào)試 17
1.5　小結(jié) 23
第2章　設(shè)計(jì)理念與基本架構(gòu) 24
2.1　初識(shí)Spark 25
2.1.1　Hadoop MRv1的局限25
2.1.2　Spark的特點(diǎn) 26
2.1.3 Spark使用場(chǎng)景 28
2.2　Spark基礎(chǔ)知識(shí) 29
2.3　Spark基本設(shè)計(jì)思想 31
2.3.1　Spark模塊設(shè)計(jì) 32
2.3.2　Spark模型設(shè)計(jì) 34
2.4　Spark基本架構(gòu) 36
2.5　小結(jié) 38
第3章　Spark基礎(chǔ)設(shè)施 39
3.1　Spark配置 40
3.1.1　系統(tǒng)屬性中的配置 40
3.1.2　使用SparkConf配置的API 41
3.1.3　克隆SparkConf配置 42
3.2　Spark內(nèi)置RPC框架 42
3.2.1　RPC配置TransportConf 45
3.2.2　RPC客戶(hù)端工廠(chǎng)Transport- ClientFactory 47
3.2.3　RPC服務(wù)端TransportServer 53
3.2.4　管道初始化 56
3.2.5　TransportChannelHandler詳解 57
3.2.6　服務(wù)端RpcHandler詳解 63
3.2.7　服務(wù)端引導(dǎo)程序Transport-ServerBootstrap 68
3.2.8　客戶(hù)端TransportClient詳解 71
3.3　事件總線(xiàn) 78
3.3.1　ListenerBus的繼承體系 79
3.3.2　SparkListenerBus詳解 80
3.3.3　LiveListenerBus詳解 83
3.4　度量系統(tǒng) 87
3.4.1　Source繼承體系 87
3.4.2　Sink繼承體系 89
3.5　小結(jié) 92
第4章　SparkContext的初始化 93
4.1　SparkContext概述 94
4.2　創(chuàng)建Spark環(huán)境 97
4.3　SparkUI的實(shí)現(xiàn) 100
4.3.1　SparkUI概述 100
4.3.2　WebUI框架體系 102
4.3.3　創(chuàng)建SparkUI 107
4.4　創(chuàng)建心跳接收器 111
4.5　創(chuàng)建和啟動(dòng)調(diào)度系統(tǒng)112
4.6　初始化塊管理器BlockManager 114
4.7　啟動(dòng)度量系統(tǒng) 114
4.8　創(chuàng)建事件日志監(jiān)聽(tīng)器115
4.9　創(chuàng)建和啟動(dòng)ExecutorAllocation-Manager 116
4.10　ContextCleaner的創(chuàng)建與啟動(dòng) 120
4.10.1　創(chuàng)建ContextCleaner 120
4.10.2　啟動(dòng)ContextCleaner 120
4.11　額外的SparkListener與啟動(dòng)事件總線(xiàn) 122
4.12　Spark環(huán)境更新 123
4.13　SparkContext初始化的收尾 127
4.14　SparkContext提供的常用方法 128
4.15　SparkContext的伴生對(duì)象130
4.16　小結(jié) 131
第5章　Spark執(zhí)行環(huán)境 132
5.1　SparkEnv概述 133
5.2　安全管理器SecurityManager 133
5.3　RPC環(huán)境 135
5.3.1　RPC端點(diǎn)RpcEndpoint 136
5.3.2　RPC端點(diǎn)引用RpcEndpointRef 139
5.3.3　創(chuàng)建傳輸上下文TransportConf 142
5.3.4　消息調(diào)度器Dispatcher 142
5.3.5　創(chuàng)建傳輸上下文Transport-Context 154
5.3.6　創(chuàng)建傳輸客戶(hù)端工廠(chǎng)Transport-ClientFactory 159
5.3.7　創(chuàng)建TransportServer 160
5.3.8　客戶(hù)端請(qǐng)求發(fā)送 162
5.3.9　NettyRpcEnv中的常用方法 173
5.4　序列化管理器SerializerManager 175
5.5　廣播管理器BroadcastManager 178
5.6　map任務(wù)輸出跟蹤器 185
5.6.1　MapOutputTracker的實(shí)現(xiàn) 187
5.6.2　MapOutputTrackerMaster的實(shí)現(xiàn)原理 191
5.7　構(gòu)建存儲(chǔ)體系 199
5.8　創(chuàng)建度量系統(tǒng) 201
5.8.1　MetricsCon?g詳解 203
5.8.2　MetricsSystem中的常用方法 207
5.8.3　啟動(dòng)MetricsSystem 209
5.9　輸出提交協(xié)調(diào)器 211
5.9.1　OutputCommitCoordinator-Endpoint的實(shí)現(xiàn) 211
5.9.2　OutputCommitCoordinator的實(shí)現(xiàn) 212
5.9.3　OutputCommitCoordinator的工作原理 216
5.10　創(chuàng)建SparkEnv 217
5.11　小結(jié) 217
第6章　存儲(chǔ)體系 219
6.1　存儲(chǔ)體系概述 220
6.1.1　存儲(chǔ)體系架構(gòu) 220
6.1.2　基本概念 222
6.2　Block信息管理器 227
6.2.1　Block鎖的基本概念 227
6.2.2　Block鎖的實(shí)現(xiàn) 229
6.3　磁盤(pán)Block管理器 234
6.3.1　本地目錄結(jié)構(gòu) 234
6.3.2　DiskBlockManager提供的方法 236
6.4　磁盤(pán)存儲(chǔ)DiskStore 239
6.5　內(nèi)存管理器 242
6.5.1　內(nèi)存池模型 243
6.5.2　StorageMemoryPool詳解 244
6.5.3　MemoryManager模型 247
6.5.4　Uni?edMemoryManager詳解 250
6.6　內(nèi)存存儲(chǔ)MemoryStore 252
6.6.1　MemoryStore的內(nèi)存模型 253
6.6.2　MemoryStore提供的方法 255
6.7　塊管理器BlockManager 265
6.7.1　BlockManager的初始化 265
6.7.2　BlockManager提供的方法 266
6.8　BlockManagerMaster對(duì)Block-Manager的管理 285
6.8.1　BlockManagerMaster的職責(zé) 285
6.8.2　BlockManagerMasterEndpoint詳解 286
6.8.3　BlockManagerSlaveEndpoint詳解 289
6.9　Block傳輸服務(wù) 290
6.9.1　初始化NettyBlockTransfer-Service 291
6.9.2　NettyBlockRpcServer詳解 292
6.9.3　Shuf?e客戶(hù)端 296
6.10　DiskBlockObjectWriter詳解 305
6.11　小結(jié) 308
第7章　調(diào)度系統(tǒng) 309
7.1　調(diào)度系統(tǒng)概述 310
7.2　RDD詳解 312
7.2.1　為什么需要RDD 312
7.2.2　RDD