云計算解密：技術原理及應用實踐

目錄
理 論 篇
第1章 緒論 3
1．1 計算模式演化 3
1．1．1 集中式計算模式 3
1．1．2 桌面計算模式 4
1．1．3 分布式計算模式 4
1．2 分布式計算 4
1．2．1 分布式計算概述 5
1．2．2 分布式計算結構 6
1．2．3 典型分布式計算技術 7
1．3 云計算 12
1．3．1 云計算的產(chǎn)生背景 12
1．3．2 云計算概述 13
1．3．3 云計算與網(wǎng)格計算 19
1．4 云計算的關鍵技術 21
1．4．1 虛擬化 21
1．4．2 資源管理與調(diào)度 21
1．4．3 文件系統(tǒng) 22
1．4．4 數(shù)據(jù)存儲 22
1．4．5 云安全 22
1．4．6 編程模式 23
1．4．7 能耗管理 23
1．5 典型云計算平臺 23
1．5．1 Google云計算平臺 23
1．5．2 Amazon云計算 25
1．5．3 IBM的藍云平臺 26
1．5．4 Microsoft云計算 27
1．5．5 開源云計算平臺 29
參考文獻 32
第2章 并行計算編程模型 35
2．1 并行編程模型概述 35
2．1．1 共享存儲編程模型 36
2．1．2 消息傳遞模型 37
2．1．3 分布并行編程模型 38
2．2 并行編程模型MapReduce 38
2．2．1 MapReduce概述 38
2．2．2 MapReduce編程模型 40
2．2．3 MapReduce的主要設計思想 43
2．2．4 MapReduce執(zhí)行流程 44
2．2．5 MapReduce的核心技術 46
2．2．6 MapReduce技術研究 47
2．3 集群上的MapReduce實現(xiàn)――Hadoop 48
2．3．1 Hadoop項目簡介 48
2．3．2 Hadoop與Google 53
2．3．3 MapReduce運行機制 54
2．3．4 MapReduce執(zhí)行流程 60
2．3．5 MapReduce的核心技術 62
2．3．6 Hadoop YARN簡介 63
2．3．7 典型案例剖析 65
2．3．8 MapReduce新舊API比較 73
2．4 MapReduce模型的其他實現(xiàn) 73
2．4．1 多核上的MapReduce實現(xiàn) 74
2．4．2 GPU上的MapReduce實現(xiàn) 75
參考文獻 76
第3章 分布式文件系統(tǒng) 78
3．1 概述 78
3．1．1 什么是分布式文件系統(tǒng) 78
3．1．2 分布式文件系統(tǒng)的發(fā)展歷史 79
3．1．3 分布式文件系統(tǒng)的體系結構 82
3．1．4 分布式文件系統(tǒng)的關鍵技術 83
3．2 GFS文件系統(tǒng) 84
3．2．1 GFS的設計原則 84
3．2．2 GFS體系結構 87
3．2．3 GFS工作流程 88
3．3 HDFS分布式文件系統(tǒng) 90
3．3．1 HDFS的設計目標 90
3．3．2 HDFS體系結構 91
3．3．3 HDFS故障處理 94
3．3．4 副本管理 94
3．3．5 HDFS工作流程 98
3．3．6 HDFS與GFS 101
3．3．7 HDFS聯(lián)盟介紹 102
3．4 分布式鎖服務Chubby 103
3．4．1 一致性問題 103
3．4．2 Paxos算法簡介 104
3．4．3 Chubby概述 109
3．4．4 Chubby架構 110
3．5 分布式應用協(xié)調(diào)器Zookeeper 112
3．5．1 Zookeeper概述 112
3．5．2 Zookeeper的數(shù)據(jù)結構 113
3．5．3 Zookeeper架構 114
3．5．4 Zookeeper的工作原理 116
3．5．5 Zookeeper應用場景 118
3．6 云存儲 119
3．6．1 概述 119
3．6．2 云存儲的分類 119
3．6．3 云存儲的結構模型 120
3．6．4 典型云存儲系統(tǒng) 121
參考文獻 122
第4章 分布式數(shù)據(jù)存儲系統(tǒng) 124
4．1 概述 124
4．2 NoSQL數(shù)據(jù)庫簡介 125
4．2．1 NoSQL的起源與發(fā)展 125
4．2．2 NoSQL概述 126
4．2．3 NoSQL系統(tǒng)架構 127
4．2．4 NoSQL的數(shù)據(jù)模型 128
4．2．5 NoSQL的理論基礎 131
4．2．6 NoSQL數(shù)據(jù)庫體系結構 134
4．2．7 NoSQL與SQL的比較 135
4．3 面向列存儲系統(tǒng)BigTable 136
4．3．1 概述 136
4．3．2 數(shù)據(jù)模型 137
4．3．3 系統(tǒng)架構 138
4．4 面向列存儲系統(tǒng)HBase 143
4．4．1 HBase概述 143
4．4．2 HBase的數(shù)據(jù)模型 143
4．4．3 HBase架構及實現(xiàn) 146
4．4．4 HBase與BigTable的比較 151
參考文獻 152
技 術 篇
第5章 云數(shù)據(jù)中心節(jié)能技術 157
5．1 數(shù)據(jù)中心概述 157
5．1．1 數(shù)據(jù)中心發(fā)展歷史 157
5．1．2 數(shù)據(jù)中心網(wǎng)絡結構 158
5．1．3 云數(shù)據(jù)中心 160
5．2 云數(shù)據(jù)中心節(jié)能技術 161
5．2．1 硬件設施 162
5．2．2 系統(tǒng)架構 162
5．2．3 軟件方式 163
5．2．4 數(shù)據(jù)中心的能耗模型 166
5．3 網(wǎng)絡感知節(jié)能調(diào)度算法DENS 167
5．3．1 DENS算法原理 167
5．3．2 DENS算法實現(xiàn) 168
5．3．3 改進的DENS算法 169
5．4 基于超圖的存儲優(yōu)化節(jié)能算法 172
5．4．1 問題提出 172
5．4．2 CS方法 172
5．4．3 基于超圖的副本存儲優(yōu)化節(jié)能算法 174
5．4．4 作業(yè)靜態(tài)分配算法 176
5．4．5 動態(tài)副本遷移算法的相關分析 176
5．4．6 異構集群能效分析 177
5．4．7 覆蓋集發(fā)現(xiàn)算法CS-k 178
5．4．8 基于超圖的副本節(jié)能算法描述 178
5．4．9 實驗結果及分析 182
參考文獻 186
第6章 Hadoop集群的作業(yè)調(diào)度 189
6．1 集群與作業(yè)調(diào)度 189
6．1．1 集群簡介 189
6．1．2 作業(yè)調(diào)度系統(tǒng) 192
6．1．3 經(jīng)典作業(yè)調(diào)度算法 193
6．1．4 PBS作業(yè)管理系統(tǒng) 196
6．1．5 云環(huán)境下的作業(yè)調(diào)度 197
6．2 Hadoop的作業(yè)調(diào)度算法 200
6．2．1 Hadoop作業(yè)調(diào)度概述 200
6．2．2 批處理調(diào)度器FIFO 203
6．2．3 公平調(diào)度器 204
6．2．4 計算能力調(diào)度器 205
6．2．5 其他調(diào)度算法 207
6．3 基于伯格模型的公平調(diào)度算法 209
6．3．1 公平性概念 209
6．3．2 伯格模型概述 209
6．3．3 云計算中資源分配的伯格模型 210
6．3．4 基于伯格模型的作業(yè)調(diào)度模型 211
6．3．5 基于伯格模型的作業(yè)調(diào)度算法 217
參考文獻 223
第7章 MapReduce性能優(yōu)化 225
7．1 概述 225
7．1．1 MapReduce性能調(diào)優(yōu) 225
7．1．2 MapReduce的性能優(yōu)化研究 227
7．2 MapReduce性能模型 231
7．2．1 影響性能指標的因素 231
7．2．2 基于I/O成本的性能模型 232
7．3 Crunch概述 241
7．3．1 Crunch簡介 241
7．3．2 設計思路 242
7．3．3 框架結構 245
7．3．4 工作原理 246
7．4 Crunch優(yōu)化 248
7．4．1 問題的提出 248
7．4．2 Profiling 249
7．4．3 基于代價的劃分 252
7．4．4 Reduce優(yōu)化 253
7．4．5 數(shù)據(jù)抽樣 255
7．5 實驗與結果分析 255
7．5．1 實驗設置 256
7．5．2 基于MapReduce的協(xié)同過濾推薦算法 256
7．5．3 驗證算法正確性 259
7．5．4 驗證算法有效性 260
參考文獻 262
實 踐 篇
第8章 云環(huán)境下的圖算法PageRank 267
8．1 圖計算概述 267
8．2 Web挖掘 268
8．2．1 Web挖掘概述 268
8．2．2 Web圖結構分析 270
8．3 淺析PageRank算法 274
8．3．1 PageRank算法簡介 274
8．3．2 PageRank算法分析 276
8．3．3 使用MapReduce思想計算PageRank值 276
8．4 基于MapReduce的PageRank算法 278
8．4．1 PageRank算法的MapReduce實現(xiàn) 278
8．4．2 利用矩陣分塊思想的并行PageRank算法 281
8．4．3 PageRank算法實現(xiàn)的改進 284
8．4．4 實驗及結果分析 288
8．5 基于BSP模型的PageRank算法 291
8．5．1 BSP模型 291
8．5．2 圖計算框架Pregel 293
8．5．3 PageRank的Pregel實現(xiàn) 305
8．5．4 Pregel存在的問題 306
參考文獻 306
第9章 圖計算框架Hama 309
9．1 Hama簡介 309
9．2 Hama核心技術 310
9．2．1 Hama層次結構 310
9．2．2 Hama體系結構 311
9．2．3 Hama代碼組織 313
9．2．4 Hama常用API 315
9．2．5 基于YARN的Hama程序執(zhí)行流程 317
9．3 蒙特卡羅算法的實現(xiàn) 318
9．3．1 用蒙特卡羅算法求圓周率 318
9．3．2 基于Hadoop的蒙特卡羅算法 319
9．3．3 基于Hama的蒙特卡羅算法 321
9．4 Hadoop與Hama的性能比較 323
9．4．1 優(yōu)勢區(qū)間 323
9．4．2 可用區(qū)間 325
9．4．3 劣勢區(qū)間 326
9．4．4 綜合分析 328
參考文獻 328
第10章 基于MapReduce的DNA序列拼接 329
10．1 概述 329
10．1．1 生物信息學現(xiàn)狀 329
10．1．2 序列拼接研究 330
10．2 測序技術 331
10．2．1 第一代DNA測序技術 331
10．2．2 第二代DNA測序技術 332
10．2．3 第三代DNA測序技術 332
10．3 序列拼接技術 332
10．3．1 序列拼接問題 333
10．3．2 序列拼接技術 333
10．4 repeat問題 337
10．4．1 聚類法 337
10．4．2 ARACHNE法 338
10．4．3 路徑相容性法 338
10．5 基于MapReduce的歐拉超路并行算法 339
10．5．1 算法的選擇 340
10．5．2 歐拉超路算法拼接流程 340
10．5．3 歐拉超路算法各步驟的并行化 342
10．5．4 并行歐拉超路算法性能分析 346
參考文獻 350
附錄A 云計算仿真器CloudSim 353
A．1 CloudSim簡介 353
A．2 CloudSim體系結構 354
A．3 CloudSim核心類介紹 356
A．4 CloudSim開發(fā)環(huán)境搭建 357
A．5 仿真步驟 361
A．6 樣例程序分析 363
參考文獻 368
附錄B Hama開發(fā)環(huán)境的搭建 369
B．1 所需軟件 369
B．2 Hadoop和Hama的安裝 369
B．3 搭建Hama編程環(huán)境 377
附錄C 分布式Hadoop平臺搭建 379
C．1 Hadoop系統(tǒng)的安裝方式 379
C．2 硬件和軟件需求 379
C．3 搭建步驟 380
C．4 運行示例程序 382