實時數(shù)據(jù)處理技術(shù)

定　價：￥39.50

作　者：	卜令瑞，陳永，孫志敏著
出版社：	高等教育出版社
叢編項：
標(biāo)　簽：	暫缺

購買這本書可以去

ISBN：	9787040560800	出版時間：	2022-05-01	包裝：	平裝
開本：		頁數(shù)：	212	字?jǐn)?shù)：

內(nèi)容簡介

　　本書是國家職業(yè)教育大數(shù)據(jù)技術(shù)專業(yè)教學(xué)資源庫配套教材。本書主要介紹Spark分布式計算框架的應(yīng)用，重點(diǎn)是流式模塊Spark Streaming在實際項目中的應(yīng)用，并通過一個實戰(zhàn)項目來輔助讀者學(xué)習(xí)實時數(shù)據(jù)處理場景。全書共分為6章，主要內(nèi)容包括緒論、Scala語言應(yīng)用、Spark Streaming、Spark SQL、數(shù)據(jù)整合和Spark優(yōu)化。本書配有微課視頻、授課用PPT、教學(xué)設(shè)計、課程標(biāo)準(zhǔn)、案例源碼等豐富的數(shù)字化學(xué)習(xí)資源。與本書配套的數(shù)字課程“實時數(shù)據(jù)處理技術(shù)”已在“智慧職教”網(wǎng)站（www.icve.com.cn）上線，學(xué)習(xí)者可以登錄網(wǎng)站進(jìn)行在線學(xué)習(xí)及資源下載，授課教師可以調(diào)用本課程構(gòu)建符合自身教學(xué)特色的SPOC課程，詳見“智慧職教”服務(wù)指南。教師也可發(fā)郵件至編輯郵箱1548103297@qq.com獲取相關(guān)資源。本書內(nèi)容翔實、理實一體，既可作為高職高專院校大數(shù)據(jù)技術(shù)專業(yè)的數(shù)據(jù)處理課程教材，也可作為從事大數(shù)據(jù)相關(guān)工作的技術(shù)人員的入門參考書。

作者簡介

暫缺《實時數(shù)據(jù)處理技術(shù)》作者簡介

圖書目錄

第1章緒論
1．1 實時數(shù)據(jù)處理
1．1．1 大數(shù)據(jù)中的實時業(yè)務(wù)場景
1．1．2 大數(shù)據(jù)實時數(shù)據(jù)處理解決方案
1．1．3 大數(shù)據(jù)實時數(shù)據(jù)處理技術(shù)框架
1．2 Spark實時數(shù)據(jù)處理
1．2．1 Spark技術(shù)簡介
1．2．2 Spark技術(shù)的發(fā)展歷程
1．2．3 Spark技術(shù)模塊
1．2．4 Spark技術(shù)流式處理模塊SparkStreaming
1．3 本章小結(jié)
第2章 Scala語言應(yīng)用
2．1 從-個項目開始
2．2 需求分析
2．3 Scala安裝及使用
2．3．1 Scala語言簡介
2．3．2 Scala的安裝與環(huán)境配置
2．3．3 Scala開發(fā)工具的安裝與配置
2．4 Scala語言基礎(chǔ)
2．4．1 數(shù)據(jù)類型
2．4．2 常量與變量的定義
2．4．3 流程控制
2．5 Scala方法與函數(shù)
2．5．1 遞歸方法
2．5．2 有默認(rèn)值方法
2．5．3 可變長參數(shù)方法
2．5．4 匿名函數(shù)
2．5．5 嵌套方法
2．5．6 偏應(yīng)用表達(dá)式
2．5．7 高階函數(shù)
2．5．8 Scala函數(shù)案例
2．6 Scala集合
2．6．1 數(shù)組
2．6．2 liSt
2．6．3 Set
2．6．4 map
2．6．5 tuple
2．6．6 Scala集合案例
2．7 本章小結(jié)
第3章 SparkStreaming
3．1 SparkStreaming初始化
3．1．1 SparkStreaming簡介
3．1．2 SparkStreaming的特點(diǎn)
3．1．3 SparkStreaming讀取數(shù)據(jù)原理
3．2 SparkStreaming處理數(shù)據(jù)案例
3．2．1 啟動LinuxSocket服務(wù)
3．2．2 生產(chǎn)數(shù)據(jù)
3．2．3 SparkStreaming讀取Socket數(shù)據(jù)
3．2．4 注意事項
3．3 SparkStreaming算子簡介
3．4 Transformations類算子
3．4．1 updateStateByKey算子案例
3．4．2 transform算子案例
3．4．3 reduceByKeyAndWindow算子案例
3．5 OutputOperator類算子
3．5．1 SparkStreaming監(jiān)控目錄數(shù)據(jù)案例
3．5．2 print算子案例
3．5．3 saveAsTextFile算子案例
3．6 本章小結(jié)
第4章 SparkSQL
4．1 SparkSQL概述
4．1．1 SparkSQL演變過程
4．1．2 SparkSQL數(shù)據(jù)類型
4．2 SparkSQL數(shù)據(jù)源
4．2．1 JSON數(shù)據(jù)源及案例
4．2．2 DataSet數(shù)據(jù)源及案例
4．2．3 RDD數(shù)據(jù)源及案例
4．2．4 Parquet數(shù)據(jù)源及案例
4．2．5 MySQL數(shù)據(jù)源及案例
4．3 SparkonHive配置
4．3．1 HiVeOnSpark
4．3．2 SparkonHive
4．3．3 安裝和配置Hive
4．3．4 SparkonHive配置
4．3．5 SparkShell驗證
4．3．6 SparkonHive速度測試案例
4．3．7 SparkonHive案例分析
4．4 本章小結(jié)
第5章數(shù)據(jù)整合
5．1 Flume與Kafka的整合使用
5．1．1 Flume日志采集系統(tǒng)
5．1．2 Flume采集數(shù)據(jù)案例
5．1．3 Kafka分布式消息系統(tǒng)
5．1．4 Flume與Kafka整合配置
5．2 SparkStreaming與Kafka整合
5．2．1 Spark與Kafka版本
5．2．2 SparkStreaming與Kafka整合
5．2．3 參數(shù)設(shè)置
5．2．4 管理消費(fèi)者offset方式
5．3 項目實戰(zhàn)
5．3．1 Flume配置文件
5．3．2 創(chuàng)建MySQL數(shù)據(jù)庫表
5．3．3 編寫業(yè)務(wù)核心代碼
5．3．4 任務(wù)提交
5．3．5 查看結(jié)果
5．4 本章小結(jié)
第6章 Spark優(yōu)化
6．1 資源調(diào)優(yōu)
6．1．1 資源調(diào)優(yōu)簡介
6．1．2 資源調(diào)優(yōu)方式
6．1．3 資源調(diào)優(yōu)案例
6．2 增加并行度
6．2．1 增加并行度簡介
6．2．2 增加并行度方式
6．2．3 增加并行度案例
6．3 代碼調(diào)優(yōu)
6．3．1 代碼調(diào)優(yōu)簡介
6．3．2 代碼調(diào)優(yōu)方式
6．3．3 代碼調(diào)優(yōu)案例
6．4 數(shù)據(jù)傾斜的處理
6．4．1 數(shù)據(jù)傾斜簡介
6．4．2 處理數(shù)據(jù)傾斜的方式
6．4．3 數(shù)據(jù)傾斜案例
6．5 本章小結(jié)
參考文獻(xiàn)