從零開始學Storm

第1章  Storm簡介
1.1  什么是Storm
1.2  Storm的誕生
1.2.1  從Twitter說起
1.2.2  Twitter需要處理大批實時性要求高的大數(shù)據(jù)業(yè)務
1.2.3  Storm幫助Twitter解決實時海量大數(shù)據(jù)處理問題
1.3  Storm的成長
1.3.1  Storm正式開源
1.3.2  Storm的核心技術和基本組成
1.3.3  Storm的項目小組
1.3.4  Storm的技術支持網(wǎng)站
1.4  Storm的優(yōu)勢
1.4.1  集成多種技術
1.4.2  簡單的API
1.4.3  可擴展的
1.4.4  容錯的
1.4.5  保證數(shù)據(jù)處理
1.4.6  可以使用任何語言
1.4.7  部署和操作簡單
1.4.8  自由開源
1.5  Storm的應用現(xiàn)狀和發(fā)展趨勢
1.5.1  應用現(xiàn)狀
1.5.2  發(fā)展趨勢
1.6  如何學習Storm
1.7  本書的章節(jié)安排及學習建議
1.7.1  本書的章節(jié)安排
1.7.2  關于如何閱讀本書的建議
1.8  本章小結


第2章  Storm的基本知識
2.1  概念
2.1.1  元組（Tuple）
2.1.2  流（Stream）
2.1.3  噴口（Spout）
2.1.4  螺栓（Bolt）
2.1.5  拓撲（Topology）
2.1.6  主控節(jié)點與工作節(jié)點
2.1.7  Nimbus進程與Supervisor進程
2.1.8  流分組（Stream grouping）
2.1.9  工作進程（Worker）
2.1.10  任務（Task）
2.1.11  執(zhí)行器（Executor）
2.1.12  可靠性（Reliability）
2.2  Storm的配置
2.2.1  Storm的配置類型
2.2.2  defaults.yaml文件
2.2.3  storm.yaml文件
2.2.4  Config類
2.3  序列化（Serialization）
2.3.1  動態(tài)類型
2.3.2  自定義序列化
2.3.3  Java序列化
2.3.4  特定組件序列化注冊
2.4  容錯機制
2.4.1  Worker進程死亡
2.4.2  節(jié)點死亡
2.4.3  Nimbus或者Supervisor守護進程死亡
2.4.4  Nimbus是否是“單點故障”的
2.5  可靠性機制——保證消息處理
2.5.1  消息被“完全處理”的含義
2.5.2  如果一個消息被完全處理或完全處理失敗會發(fā)生什么
2.5.3  Storm如何保證可靠性
2.5.4  Storm如何實現(xiàn)可靠性
2.5.5  調(diào)節(jié)可靠性
2.6  消息傳輸機制
2.6.1  ZeroMQ
2.6.2  Netty
2.6.3  自定義消息通信機制
2.7  Storm的開發(fā)環(huán)境與生產(chǎn)環(huán)境
2.7.1  開發(fā)環(huán)境與本地模式
2.7.2  生產(chǎn)環(huán)境與遠程模式
2.7.3  開發(fā)環(huán)境與生產(chǎn)環(huán)境的對比
2.8  Storm拓撲的并行度（parallelism）
2.8.1  工作進程、執(zhí)行器和任務
2.8.2  配置拓撲的并行度
2.8.3  拓撲示例
2.8.4  如何改變運行中拓撲的并行度
2.9  Storm命令行客戶端
2.10  Javadoc文檔
2.11  本章小結

第3章  拓撲詳解
3.1  什么是拓撲
3.2  TopologyBuilder
3.3  流分組
3.3.1  什么是流分組
3.3.2  不同的流分組方式
3.4  一個簡單的拓撲
3.5  在本地模式下運行拓撲
3.6  在生產(chǎn)集群上運行拓撲
3.6.1  常見的配置
3.6.2  殺死拓撲
3.6.3  更新運行中的拓撲
3.6.4  監(jiān)控拓撲
3.7  拓撲的常見模式
3.7.1  流連接（Stream Join）
3.7.2  批處理（Batching）
3.7.3  BasicBolt
3.7.4  內(nèi)存中緩存與字段的組合
3.7.5  流的top N
3.7.6  高效保存最近更新緩存對象的TimeCacheMap（已棄用）
3.7.7  分布式RPC的CoordinatedBolt與KeyedFairBolt
3.8  本地模式與StormSubmitter的對比
3.9  多語言協(xié)議（Multi-Language Protocol）
3.10  使用非JVM語言操作Storm
3.10.1  支持的非Java語言
3.10.2  對Storm使用非Java語言
3.10.3  實現(xiàn)非Java DSL的筆記
3.11  Hook
3.12  本章小結

第4章  組件詳解
4.1  基本接口
4.1.1  IComponent接口
4.1.2  ISpout接口
4.1.3  IBolt接口
4.1.4  IRichSpout與IRichBolt接口
4.1.5  IBasicBolt接口
4.1.6  IStateSpout與IRichStateSpout接口
4.2  基本抽象類
4.2.1  BaseComponent抽象類
4.2.2  BaseRichSpout抽象類
4.2.3  BaseRichBolt抽象類
4.2.4  BaseBasicBolt抽象類
4.3  事務接口
4.3.1  IPartitionedTransactionalSpout
4.3.2  IOpaquePartitionedTransactionalSpout
4.3.3  ITransactionalSpout
4.3.4  ICommitterTransactionalSpout
4.3.5  IBatchBolt
4.4  組件之間的相互關系
4.5  本章小結

第5章  Spout詳解
5.1  可靠的與不可靠的消息
5.2  Spout獲取數(shù)據(jù)的方式
5.2.1  直接連接（Direct Connection）
5.2.2  消息隊列（Enqueued Messages）
5.2.3  DRPC（分布式RPC）
5.3  常用的Spout
5.3.1  Kestrel作為Spout的數(shù)據(jù)源
5.3.2  AMQP作為Spout的數(shù)據(jù)源
5.3.3  JMS作為Spout的數(shù)據(jù)源
5.3.4  Redis作為Spout的數(shù)據(jù)源
5.3.5  beanstalkd作為Spout的數(shù)據(jù)源
5.4  學習編寫Spout類
5.5  本章小結

第6章  Bolt詳解
6.1  Bolt概述
6.2  可靠的與不可靠的Bolt
6.2.1  使用Anchoring機制實現(xiàn)可靠的Bolt
6.2.2  使用IBasicBolt接口實現(xiàn)自動確認
6.3  復合流與復合Anchoring
6.3.1  復合流
6.3.2  復合Anchoring
6.4  使用其他語言定義Bolt
6.5  學習編寫B(tài)olt類
6.5.1  可靠的Bolt
6.5.2  不可靠的Bolt
6.6  本章小結

第7章  ZooKeeper詳解
7.1  ZooKeeper簡介
7.2  ZooKeeper的下載和部署
7.2.1  ZooKeeper的下載
7.2.2  ZooKeeper的部署
7.3  ZooKeeper的配置
7.4  ZooKeeper的運行
7.5  ZooKeeper的本地模式實例
7.6  ZooKeeper的數(shù)據(jù)模型
7.6.1  ZNode
7.6.2  ZooKeeper中的時間
7.6.3  ZooKeeper的Stat結構
7.7  ZooKeeper的命令行操作范例
7.8  Storm在ZooKeeper中的目錄結構
7.9  本章小結

第8章  基礎軟件的安裝與使用
8.1  Linux的基本操作
8.1.1  環(huán)境變量
8.1.2  常用命令
8.2  JDK的下載與配置
8.2.1  Sun JDK的下載
8.2.2  在Linux下安裝JDK
8.2.3  在Windows下安裝JDK
8.3  GitHub托管項目的下載
8.4  Maven的下載與配置
8.4.1  Maven的下載
8.4.2  在Linux下部署Maven
8.4.3  在Windows下部署Maven
8.5  其他軟件——Notepad++
8.6  本章小結

第9章  Storm的安裝與配置
9.1  Storm集群的安裝步驟與準備工作
9.1.1  搭建ZooKeeper集群
9.1.2  安裝Storm的本地依賴
9.1.3  下載并解壓Storm發(fā)行版本
9.1.4  配置storm.yaml文件
9.1.5  啟動Storm的守護進程
9.2  本地模式的Storm完整的配置命令
9.3  本章小結

第10章  Storm集群搭建實踐
10.1  準備工作
10.1.1  概述
10.1.2  配置hosts文件
10.1.3  配置靜態(tài)IP
10.1.4  集群SSH無密碼
10.1.5  修改主機名
10.1.6  關閉防火墻
10.1.7  同步時間
10.1.8  安裝JDK
10.2  ZooKeeper集群的搭建
10.2.1  部署第一個節(jié)點
10.2.2  部署第i個節(jié)點
10.2.3  啟動ZooKeeper集群
10.2.4  查看ZooKeeper狀態(tài)
10.2.5  關閉ZooKeeper集群
10.2.6  清理ZooKeeper集群
10.3  Storm集群的搭建
10.3.1  安裝Storm依賴（每個Storm節(jié)點）
10.3.2  部署第一個節(jié)點
10.3.3  部署第i個節(jié)點
10.3.4  啟動Storm守護進程
10.4  本章小結

第11章  準備Storm的開發(fā)環(huán)境
11.1  Storm的開發(fā)環(huán)境
11.1.1  什么是Storm的開發(fā)環(huán)境
11.1.2  如何管理Storm
11.1.3  如何提交拓撲到集群
11.2  Eclipse的下載與配置
11.2.1  Eclipse的下載
11.2.2  Eclipse的配置與運行
11.2.3  Eclipse插件的安裝
11.3  使用Maven管理項目
11.3.1  Maven的下載與配置
11.3.2  配置pom.xml文件
11.3.3  運行Maven命令
11.4  使用Nexus搭建本地Maven私服
11.4.1  下載Nexus
11.4.2  運行Nexus
11.4.3  登錄Nexus后臺
11.4.4  配置Repositories
11.4.5  配置setting.xml文件
11.4.6  修改Eclipse的Maven插件的配置
11.5  使用SVN管理代碼版本
11.5.1  在Windows下搭建SVN服務器
11.5.2  在Linux下搭建SVN服務器
11.5.3  安裝SVN客戶端
11.6  部署單節(jié)點的Storm集群
11.6.1  部署偽分布的ZooKeeper
11.6.2  部署偽分布的Storm集群
11.7  本章小結

第12章  開發(fā)自己的Storm應用
12.1  新建Maven項目
12.2  修改為適合Storm開發(fā)的項目
12.2.1  對包名進行分類管理
12.2.2  修改pom.xml文件
12.3  編寫代碼
12.3.1  編寫Spout類
12.3.2  編寫B(tài)olt類
12.3.3  編寫Topology類
12.4  本地測試運行
12.5  提交到Storm集群運行
12.5.1  使用Maven打包
12.5.2  提交jar包到集群
12.6  本章小結

第13章  storm-starter詳解
13.1  storm-starter項目概述
13.2  storm-starter的下載
13.3  使用Maven進行管理
13.3.1  使用Maven打包storm-starter
13.3.2  使用Maven直接運行WordCountTopology
13.3.3  使用Maven運行單元測試
13.4  在Eclipse中運行
13.4.1  新建Maven項目的方式
13.4.2  導入已存在的項目的方式
13.5  storm-starter的入門例子
13.5.1  ExclamationTopology
13.5.2  WordCountTopology
13.5.3  ReachTopology
13.6  storm-starter的其他例子
13.6.1  BasicDRPCTopology
13.6.2  ManualDRPC
13.6.3  PrintSampleStream
13.6.4  RollingTopWords
13.6.5  SingleJoinExample
13.6.6  TransactionalGlobalCount
13.6.7  TransactionalWords
13.7  本章小結

第14章  研發(fā)與集群管理技巧
14.1  使用daemontools監(jiān)控Storm進程
14.1.1  daemontools簡介
14.1.2  安裝daemontools
14.1.3  編寫監(jiān)控腳本
14.2  使用Monit監(jiān)控Storm
14.2.1  Monit簡介
14.2.2  安裝Monit
14.2.3  配置Monit
14.2.4  啟動Monit
14.2.5  獲取Monit幫助信息
14.3  常用的集群操作命令
14.4  使用Storm的經(jīng)驗與建議
14.5  本章小結

第15章  DRPC詳解
15.1  概述
15.2  DRPCTopologyBuilder
15.2.1  LinearDRPCTopologyBuilder
15.2.2  LinearDRPCTopologyBuilder提供的方法
15.2.3  LinearDRPCTopologyBuilder使用范例
15.2.4  LinearDRPCTopologyBuilder的工作原理
15.2.5  LinearDRPCTopologyBuilder目前已棄用
15.3  本地模式的DRPC
15.4  遠程模式的DRPC
15.5  一個復雜的DRPC例子（計算reach值）
15.6  非線性DRPC
15.7  本章小結

第16章  事務拓撲詳解
16.1  什么是事務拓撲
16.1.1  設計1
16.1.2  設計2
16.1.3  設計3（Storm的設計)
16.2  事務拓撲的設計細節(jié)
16.3  事務拓撲的實現(xiàn)細節(jié)
16.3.1  事務Spout的工作原理 262
16.3.2  “對于給定的事務id不能發(fā)射相同的Batch”的處理
16.3.3  更多的細節(jié)
16.4  事務拓撲API
16.4.1  Bolt
16.4.2  事務Spout
16.4.3  配置
16.5  TransactionalTopologyBuilder
16.5.1  TransactionalTopologyBuilder提供的方法
16.5.2  TransactionalTopologyBuilder類已棄用
16.6  一個簡單的例子
16.7  本章小結

第17章  Trident詳解
17.1  Trident概述
17.1.1  簡單的例子——單詞統(tǒng)計（TridentWordCount）
17.1.2  另一個例子——計算Reach值（TridentReach）
17.1.3  字段和元組
17.1.4  狀態(tài)（State）
17.1.5  Trident拓撲的執(zhí)行
17.2  Trident API
17.2.1  概述
17.2.2  本地分區(qū)操作
17.2.3  重新分區(qū)操作
17.2.4  聚合操作
17.2.5  流分組操作
17.2.6  合并與連接
17.3  Trident的狀態(tài)
17.3.1  Trident狀態(tài)分類
17.3.2  事務Spout（Transactional Spout）
17.3.3  不透明事務Spout（Opaque Transactional Spout）
17.3.4  非事務Spout（Non-transactional Spout）
17.3.5  Spout與State之間的聯(lián)系
17.3.6  State API
17.3.7  persistentAggregate方法
17.3.8  實現(xiàn) MapStates
17.4  Trident Spout
17.4.1  流水線（Pipelining）
17.4.2  Trident Spout的類型
17.5  本章小結

第18章  Storm的內(nèi)部實現(xiàn)
18.1  文件系統(tǒng)分析
18.2  數(shù)據(jù)目錄結構
18.2.1  Nimbus節(jié)點的目錄結構
18.2.2  Supervisor節(jié)點的目錄結構
18.3  代碼庫的結構
18.3.1  storm.thrift
18.3.2  Java接口
18.3.3  實現(xiàn)
18.4  拓撲的生命周期
18.4.1  啟動拓撲
18.4.2  監(jiān)控拓撲
18.4.3  殺死拓撲
18.5  Acking框架的實現(xiàn)
18.5.1  異或計算的基本原理
18.5.2  Acking框架的實現(xiàn)原理
18.5.3  Acker的execute方法
18.5.4  待定元組（pending tuple）和RotatingMap
18.6  Metric
18.7  本章小結

第19章  Storm相關的其他項目
19.1  JStorm項目
19.1.1  項目簡介
19.1.2  下載與部署
19.1.3  源代碼編譯
19.2  storm-deploy項目
19.3  Storm與Kafka
19.3.1  Kafka簡介
19.3.2  Kafka的安裝
19.3.3  啟動服務
19.3.4  測試運行
19.3.5  Storm與Kafka的項目
19.4  storm-kestrel項目 334
19.4.1  storm-kestrel項目簡介
19.4.2  使用storm-kestrel項目
19.4.3  Kestrel服務器和隊列
19.4.4  添加元素到kestrel
19.4.5  從Kestrel中移除元素
19.4.6  持續(xù)添加元素到Kestrel
19.4.7  使用KestrelSpout
19.4.8  執(zhí)行
19.5  本章小結

第20章  企業(yè)應用案例
20.1  Storm席卷眾多互聯(lián)網(wǎng)企業(yè)
20.1.1  Storm的典型應用場景
20.1.2  Storm的三大基本應用
20.2  Storm在Twitter中的應用
20.2.1  Twitter公司簡介
20.2.2  Storm幫助Twitter提升產(chǎn)品性能
20.2.3  MapR在Twitter中的應用簡介
20.3  Storm在阿里巴巴集團的應用
20.3.1  阿里巴巴集團簡介
20.3.2  Storm在阿里巴巴的應用
20.3.3  Storm在淘寶公司的應用
20.3.4  Storm在支付寶公司的應用
20.4  其他應用Storm的知名企業(yè)和項目
20.5  本章小結
參考資料