企業(yè)級(jí)大數(shù)據(jù)平臺(tái)構(gòu)建：架構(gòu)與實(shí)現(xiàn)

定　價(jià)：￥69.00

作　者：	朱凱著
出版社：	機(jī)械工業(yè)出版社
叢編項(xiàng)：
標(biāo)　簽：	暫缺

購(gòu)買這本書(shū)可以去

ISBN：	9787111595953	出版時(shí)間：	2018-05-01	包裝：	平裝
開(kāi)本：	16開(kāi)	頁(yè)數(shù)：		字?jǐn)?shù)：

內(nèi)容簡(jiǎn)介

　　這是一部教你如何從0到1架構(gòu)與實(shí)現(xiàn)一個(gè)企業(yè)級(jí)大數(shù)據(jù)平臺(tái)的著作，是作者在大數(shù)據(jù)和系統(tǒng)架構(gòu)領(lǐng)域工作超過(guò)20000小時(shí)的經(jīng)驗(yàn)總結(jié)。作者從橫向視角出發(fā)，手把手教你如何拉通Hadoop體系技術(shù)棧，以此搭建一個(gè)真實(shí)可用、安全可靠的大數(shù)據(jù)平臺(tái)。通過(guò)閱讀本書(shū)，大家一定能找到靈感和思路來(lái)應(yīng)對(duì)實(shí)際工作中面對(duì)的問(wèn)題。本書(shū)在邏輯上分為三大部分：背景篇（第1~2章）：簡(jiǎn)單闡述了企業(yè)級(jí)大數(shù)據(jù)平臺(tái)的重要性，并指出了作為一個(gè)企業(yè)級(jí)大數(shù)據(jù)平臺(tái)應(yīng)當(dāng)具備的能力。接著拋磚引玉介紹了通過(guò)Hadoop生態(tài)體系去構(gòu)建一個(gè)企業(yè)級(jí)大數(shù)據(jù)平臺(tái)可以使用的技術(shù)棧的核心概念，如HDFS、HBase、Spark等。方法篇（第3~6章）：詳細(xì)講解了集群服務(wù)、安全網(wǎng)關(guān)、服務(wù)授權(quán)、Kerberos認(rèn)證、單點(diǎn)登錄和集群用戶整合等各個(gè)方面的背景知識(shí)與配置整合步驟。擴(kuò)展篇（第7~8章）：介紹了如何用編寫(xiě)Restful服務(wù)的形式進(jìn)一步擴(kuò)展平臺(tái)功能的一些思路，以便提高平臺(tái)的易用性和可用性。

作者簡(jiǎn)介

　　朱凱資深大數(shù)據(jù)專家和架構(gòu)師，現(xiàn)就職于遠(yuǎn)光軟件，擔(dān)任大數(shù)據(jù)事業(yè)平臺(tái)部副總經(jīng)理。擁有10年IT從業(yè)經(jīng)驗(yàn)，精通大數(shù)據(jù)、Java、Node.JS等技術(shù)。對(duì)大數(shù)據(jù)領(lǐng)域的主流技術(shù)與解決方案有深入研究，擅長(zhǎng)分布式系統(tǒng)的架構(gòu)設(shè)計(jì)與整合。曾主導(dǎo)過(guò)多款大數(shù)據(jù)平臺(tái)級(jí)產(chǎn)品的規(guī)劃設(shè)計(jì)與研發(fā)工作，一線實(shí)戰(zhàn)經(jīng)驗(yàn)豐富。

圖書(shū)目錄

目　　錄?Contents
推薦序　思者常新，厚積薄發(fā)
前　言
第1章　淺談企業(yè)級(jí)大數(shù)據(jù)平臺(tái)的重要性 1
1.1　缺乏統(tǒng)一大數(shù)據(jù)平臺(tái)的問(wèn)題 2
1.1.1　資源浪費(fèi) 2
1.1.2　數(shù)據(jù)孤島 2
1.1.3　服務(wù)孤島 3
1.1.4　安全存疑 3
1.1.5　缺乏可維護(hù)性和可擴(kuò)展性 3
1.1.6　缺乏可復(fù)制性 4
1.2　構(gòu)建統(tǒng)一大數(shù)據(jù)平臺(tái)的優(yōu)勢(shì) 4
1.3　企業(yè)級(jí)大數(shù)據(jù)平臺(tái)需要具備的基本能力 6
1.3.1　集群管理與監(jiān)控 7
1.3.2　數(shù)據(jù)接入 7
1.3.3　數(shù)據(jù)存儲(chǔ)與查詢 7
1.3.4　數(shù)據(jù)計(jì)算 8
1.3.5　平臺(tái)安全與管理 10
1.4　平臺(tái)輔助工具 12
1.5　本章小結(jié) 13
第2章　企業(yè)級(jí)大數(shù)據(jù)平臺(tái)技術(shù)棧介紹 15
2.1　HDFS 16
2.1.1　概述 16
2.1.2　RAID技術(shù) 17
2.1.3　核心設(shè)計(jì)目標(biāo) 18
2.1.4　命名空間 19
2.1.5　數(shù)據(jù)模型 20
2.1.6　Namenode和Datanode 20
2.1.7　使用場(chǎng)景 21
2.2　Zookeeper 22
2.2.1　概述 22
2.2.2　核心特性 23
2.2.3　命名空間 24
2.2.4　數(shù)據(jù)模型 24
2.2.5　節(jié)點(diǎn)狀態(tài)監(jiān)聽(tīng) 25
2.2.6　原子消息廣播協(xié)議 25
2.2.7　使用場(chǎng)景 32
2.3　HBase 33
2.3.1　概述 33
2.3.2　數(shù)據(jù)模型 34
2.3.3　Regions 34
2.3.4　HBase Master 35
2.3.5　Region Server 36
2.3.6　MemStore與HFile 37
2.3.7　使用場(chǎng)景 37
2.4　YARN 38
2.4.1　概述 38
2.4.2　資源模型和Container 40
2.4.3　ResourceManager 40
2.4.4　ApplicationMaster 40
2.4.5　NodeManager 41
2.4.6　單一集群架構(gòu) 41
2.4.7　工作流程 41
2.4.8　使用場(chǎng)景 43
2.5　Spark 43
2.5.1　概述 43
2.5.2　數(shù)據(jù)模型 45
2.5.3　編程模型和作業(yè)調(diào)度 45
2.5.4　依賴 46
2.5.5　容錯(cuò) 47
2.5.6　集群模式 47
2.5.7　使用場(chǎng)景 48
2.6　本章小結(jié) 49
第3章　使用Ambari安裝Hadoop集群 50
3.1　概述 50
3.2　集群設(shè)計(jì) 52
3.2.1　主控節(jié)點(diǎn) 52
3.2.2　存儲(chǔ)與計(jì)算節(jié)點(diǎn) 53
3.2.3　安全認(rèn)證與管理節(jié)點(diǎn) 54
3.2.4　協(xié)同管理與其他節(jié)點(diǎn) 54
3.3　Ambari的安裝、配置與啟動(dòng) 55
3.3.1　安裝前的準(zhǔn)備 55
3.3.2　安裝Ambari-Server 62
3.3.3　Ambari-Server目錄結(jié)構(gòu) 64
3.3.4　配置Ambari-Server 65
3.3.5　啟動(dòng)Ambari-Server 66
3.4　新建集群 67
3.4.1　設(shè)置集群名稱并配置HDP安裝包 67
3.4.2　配置集群 69
3.5　Ambari控制臺(tái)功能簡(jiǎn)介 77
3.5.1　集群服務(wù)管理 78
3.5.2　集群服務(wù)配置 80
3.5.3　輔助工具 82
3.6　本章小結(jié) 86
第4章　構(gòu)建企業(yè)級(jí)平臺(tái)安全方案 87
4.1　淺談企業(yè)級(jí)大數(shù)據(jù)平臺(tái)面臨的安全隱患 88
4.1.1　缺乏統(tǒng)一的訪問(wèn)控制機(jī)制 88
4.1.2　缺乏統(tǒng)一的資源授權(quán)策略 88
4.1.3　缺乏Hadoop服務(wù)安全保障 89
4.2　初級(jí)安全方案 89
4.2.1　訪問(wèn)控制 89
4.2.2　數(shù)據(jù)授權(quán)與管理 97
4.3　本章小結(jié) 110
第5章　Hadoop服務(wù)安全方案 111
5.1　Kerberos協(xié)議簡(jiǎn)介 111
5.2　使用FreeIPA安裝Kerberos和LDAP 113
5.2.1　安裝FreeIPA 115
5.2.2　IPA-Server管理控制臺(tái)功能介紹 119
5.2.3　IPA CLI功能介紹 122
5.3　開(kāi)啟Ambari的Kerberos安全選項(xiàng) 127
5.3.1　集成前的準(zhǔn)備 127
5.3.2　集成IPA 129
5.3.3　測(cè)試Kerberos認(rèn)證 133
5.4　本章小結(jié) 136
第6章　單點(diǎn)登錄與用戶管理 137
6.1　集成單點(diǎn)登錄 139
6.1.1　CAS簡(jiǎn)介 140
6.1.2　安裝CAS-Server 141
6.1.3　集成Knox網(wǎng)關(guān)與CAS-
　Server 148
6.1.4　集成Ranger與CAS-Server 151
6.1.5　集成Ambari與CAS-Server 152
6.2　實(shí)現(xiàn)統(tǒng)一的用戶管理系統(tǒng) 155
6.3　使用Java程序調(diào)用腳本 161
6.4　創(chuàng)建Ranger擴(kuò)展用戶 166
6.5　本章小結(jié) 169
第7章　搭建平臺(tái)管理端RESTful服務(wù) 170
7.1　搭建RESTful服務(wù)框架 170
7.2　用戶查詢 174
7.2.1　引入LDAP模塊 174
7.2.2　配置LDAP 174
7.2.3　實(shí)現(xiàn)持久層 177
7.2.4　實(shí)現(xiàn)服務(wù)層 181
7.2.5　實(shí)現(xiàn)RESTful服務(wù) 181
7.2.6　整合用戶管理 183
7.3　RESTful服務(wù)安全認(rèn)證 184
7.3.1　用戶登錄服務(wù) 185
7.3.2　使用JWT認(rèn)證 185
7.3.3　創(chuàng)建用戶登錄RESTful服務(wù) 188
7.3.4　認(rèn)證過(guò)濾器 194
7.3.5　測(cè)試服務(wù)安全認(rèn)證 198
7.4　數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)查詢 200
7.4.1　創(chuàng)建JDBC連接 200
7.4.2　Kerberos登錄 202
7.4.3　使用JDBC協(xié)議查詢 202
7.4.4　實(shí)現(xiàn)服務(wù)層與RESTful服務(wù) 206
7.4.5　測(cè)試查詢 207
7.5　數(shù)據(jù)倉(cāng)庫(kù)元數(shù)據(jù)查詢 208
7.5.1　使用query服務(wù)查詢數(shù)倉(cāng)元數(shù)據(jù) 208
7.5.2　引入JdbcTemplate模塊 209
7.5.3　增加Hive元數(shù)據(jù)庫(kù)配置 210
7.5.4　實(shí)現(xiàn)元數(shù)據(jù)持久層 211
7.5.5　實(shí)現(xiàn)元數(shù)據(jù)服務(wù)層與RESTful服務(wù) 216
7.5.6　測(cè)試元數(shù)據(jù)查詢 218
7.6　本章小結(jié) 219
第8章　Spark任務(wù)與調(diào)度服務(wù) 220
8.1　提交Spark任務(wù)的3種方式 220
8.1.1　使用Spark-Submit腳本提交 220
8.1.2　使用Spark Client提交 226
8.1.3　使用YARN RESTful API提交 229
8.2　查詢Spark日志 234
8.3　任務(wù)調(diào)度 236
8.3.1　引入Quartz模塊 237
8.3.2　增加Quartz配置 237
8.3.