Hadoop大數(shù)據(jù)分析技術(shù)

定　價(jià)：￥69.00

作　者：	遲殿委陳鵬程
出版社：	清華大學(xué)出版社
叢編項(xiàng)：
標(biāo)　簽：	暫缺

購(gòu)買這本書(shū)可以去

ISBN：	9787302620990	出版時(shí)間：	2022-11-01	包裝：	平裝-膠訂
開(kāi)本：	16開(kāi)	頁(yè)數(shù)：		字?jǐn)?shù)：

內(nèi)容簡(jiǎn)介

　　伴隨Hadoop的成長(zhǎng)，Hadoop不再是一個(gè)簡(jiǎn)單的數(shù)據(jù)分布式存儲(chǔ)平臺(tái)和工具，已經(jīng)成長(zhǎng)為一個(gè)完整的生態(tài)圈。本書(shū)采用Hadoop 3.2.2版本，系統(tǒng)講解Hadoop生態(tài)系統(tǒng)主流的大數(shù)據(jù)分析技術(shù)。本書(shū)配套示例源碼、PPT課件、教學(xué)大綱與編程環(huán)境。本書(shū)共分11章。內(nèi)容包括Hadoop概述與大數(shù)據(jù)環(huán)境準(zhǔn)備、Hadoop偽分布式集群搭建、HDFS分布式存儲(chǔ)實(shí)戰(zhàn)、MapReduce實(shí)戰(zhàn)、ZooKeeper與高可用集群實(shí)戰(zhàn)、Hive數(shù)據(jù)倉(cāng)庫(kù)實(shí)戰(zhàn)、HBase數(shù)據(jù)庫(kù)實(shí)戰(zhàn)、Flume數(shù)據(jù)采集實(shí)戰(zhàn)、Kafka實(shí)戰(zhàn)、影評(píng)大數(shù)據(jù)分析項(xiàng)目實(shí)戰(zhàn)、旅游酒店評(píng)價(jià)大數(shù)據(jù)分析項(xiàng)目實(shí)戰(zhàn)。本書(shū)可作為Hadoop大數(shù)據(jù)技術(shù)初學(xué)者的入門書(shū)，也可作為Hadoop大數(shù)據(jù)分析工程師的指導(dǎo)手冊(cè)，還可作為高等院校或者高職高專大數(shù)據(jù)專業(yè)的教材或教學(xué)參考書(shū)。

作者簡(jiǎn)介

　　遲殿委，計(jì)算機(jī)軟件與理論專業(yè)碩士，畢業(yè)于南昌大學(xué)，系統(tǒng)架構(gòu)設(shè)計(jì)師。有多年企業(yè)軟件研發(fā)經(jīng)驗(yàn)和豐富的JavaEE培訓(xùn)經(jīng)驗(yàn)，熟練掌握J(rèn)avaEE全棧技術(shù)框架，對(duì)Java核心編程技術(shù)有深刻理解。主要擅長(zhǎng)JavaEE系統(tǒng)架構(gòu)設(shè)計(jì)、大數(shù)據(jù)分析與挖掘。

圖書(shū)目錄

第1章 Hadoop概述與大數(shù)據(jù)環(huán)境準(zhǔn)備 1
1.1 大數(shù)據(jù)定義 2
1.2 Hadoop生態(tài)介紹 2
1.2.1 Hadoop簡(jiǎn)介 2
1.2.2 Hadoop版本簡(jiǎn)介 4
1.2.3 Hadoop生態(tài)系統(tǒng)和組件介紹 6
1.3 Hadoop 3新特性 7
1.4 虛擬機(jī)安裝 9
1.5 安裝Linux操作系統(tǒng) 10
1.6 SSH工具與使用 15
1.7 Linux統(tǒng)一設(shè)置 16
1.8 小結(jié) 18
第2章 Hadoop偽分布式集群搭建 19
2.1 安裝獨(dú)立運(yùn)行的Hadoop 19
2.2 Hadoop偽分布式環(huán)境準(zhǔn)備 22
2.3 Hadoop偽分布式安裝 26
2.4 HDFS操作命令 31
2.5 Java項(xiàng)目訪問(wèn)HDFS 33
2.5.1 創(chuàng)建Maven項(xiàng)目 34
2.5.2 HDFS操作示例 36
2.6 winutils 38
2.7 快速M(fèi)apReduce程序示例 39
2.8 小結(jié) 42
第3章 HDFS分布式存儲(chǔ)實(shí)戰(zhàn) 43
3.1 HDFS的體系結(jié)構(gòu) 43
3.2 NameNode的工作 44
3.2.1 查看鏡像文件 45
3.2.2 查看日志文件 46
3.2.3 日志文件和鏡像文件的操作過(guò)程 47
3.3 SecondaryNameNode 49
3.4 DataNode 50
3.5 HDFS的命令 50
3.6 遠(yuǎn)程過(guò)程調(diào)用 51
3.7 小結(jié) 53
第4章 MapReduce實(shí)戰(zhàn) 55
4.1 MapReduce的運(yùn)算過(guò)程 55
4.2 WordCount示例 57
4.3 自定義Writable 60
4.4 Partitioner分區(qū)編程 64
4.5 自定義排序 66
4.6 Combiner編程 67
4.7 默認(rèn)Mapper和默認(rèn)Reducer 68
4.8 倒排索引 69
4.9 Shuffle 73
4.10 小結(jié) 77
第5章 ZooKeeper與高可用集群實(shí)戰(zhàn) 79
5.1 ZooKeeper簡(jiǎn)介 79
5.1.1 Zxid 80
5.1.2 版本號(hào) 81
5.2 單一節(jié)點(diǎn)安裝ZooKeeper 82
5.3 基本客戶端命令 83
5.4 Java代碼操作ZooKeeper 86
5.5 ZooKeeper集群安裝 91
5.6 znode節(jié)點(diǎn)類型 92
5.7 觀察節(jié)點(diǎn) 93
5.8 配置Hadoop高可用集群 93
5.9 用Java代碼操作集群 102
5.10 小結(jié) 104
第6章 Hive數(shù)據(jù)倉(cāng)庫(kù)實(shí)戰(zhàn) 105
6.1 Hive3的安裝配置 107
6.2 Hive的命令 110
6.3 Hive內(nèi)部表 114
6.4 Hive外部表 116
6.5 Hive表分區(qū) 117
6.5.1 分區(qū)技術(shù)細(xì)節(jié) 117
6.5.2 分區(qū)示例 119
6.6 查詢示例匯總 121
6.7 Hive函數(shù) 122
6.8 Hive自定義函數(shù) 128
6.9 Hive視圖 132
6.10 hiveserver2 132
6.11 使用JDBC連接hiveserver2 134
6.12 小結(jié) 135
第7章 HBase數(shù)據(jù)庫(kù)實(shí)戰(zhàn) 136
7.1 HBase的特點(diǎn) 136
7.2 HBase安裝 139
7.2.1 HBase的單節(jié)點(diǎn)安裝 140
7.2.2 HBase的偽分布式安裝 142
7.2.3 Java客戶端代碼 144
7.3 HBase集群安裝 150
7.4 HBase Shell操作 153
7.4.1 數(shù)據(jù)模型定義 154
7.4.2 數(shù)據(jù)基本操作 156
7.5 協(xié)處理器 160
7.6 Phoenix 162
7.7 小結(jié) 168
第8章 Flume數(shù)據(jù)采集實(shí)戰(zhàn) 169
8.1 Flume的安裝與配置 170
8.2 快速示例 171
8.3 在ZooKeeper中保存Flume的配置文件 172
8.4 Flume的更多Source 176
8.4.1 Avro Source 176
8.4.2 Thrift Source和Thrift Sink 180
8.4.3 Exec Source 183
8.4.4 Spool Source 184
8.4.5 HDFS Sinks 184
8.5 小結(jié) 185
第9章 Kafka實(shí)戰(zhàn) 186
9.1 Kafka的特點(diǎn) 187
9.2 Kafka術(shù)語(yǔ) 188
9.3 Kafka安裝與部署 189
9.3.1 單機(jī)部署 189
9.3.2 集群部署 195
9.4 小結(jié) 198
第10章影評(píng)大數(shù)據(jù)分析項(xiàng)目實(shí)戰(zhàn) 199
10.1 項(xiàng)目介紹 199
10.2 項(xiàng)目需求分析 199
10.3 項(xiàng)目詳細(xì)實(shí)現(xiàn) 203
10.3.1 搭建項(xiàng)目環(huán)境 203
10.3.2 編寫爬蟲(chóng)類 206
10.3.3 編寫分詞類 207
10.3.4 第一個(gè)job的Map階段實(shí)現(xiàn) 210
10.3.5 第一個(gè)job的Reducer階段實(shí)現(xiàn) 210
10.3.6 第二個(gè)job的Map階段實(shí)現(xiàn) 211
10.3.7 第二個(gè)job的自定義排序類階段的實(shí)現(xiàn) 211
10.3.8 第二個(gè)job的自定義分區(qū)階段實(shí)現(xiàn) 212
10.3.9 第二個(gè)job的Reduce階段實(shí)現(xiàn) 212
10.3.10 Run程序主類實(shí)現(xiàn) 213
10.3.11 編寫詞云類 214
10.3.12 效果測(cè)試 215
第11章旅游酒店評(píng)價(jià)大數(shù)據(jù)分析項(xiàng)目實(shí)戰(zhàn) 216
11.1 項(xiàng)目介紹 216
11.2 項(xiàng)目需求分析 217
11.2.1 數(shù)據(jù)集需求 217
11.2.2 功能需求 217
11.3 項(xiàng)目詳細(xì)實(shí)現(xiàn) 218
11.3.1 數(shù)據(jù)集上傳到HDFS 219
11.3.2 Hadoop數(shù)據(jù)清洗 221
11.3.3 構(gòu)建Hive數(shù)據(jù)倉(cāng)庫(kù)表 225
11.3.4 Sqoop數(shù)據(jù)導(dǎo)入與導(dǎo)出 230
11.3.5 數(shù)據(jù)可視化開(kāi)發(fā) 232