企業(yè)數(shù)字化基石――阿里巴巴云計算基礎設施實踐

目 錄
第1章 基礎設施架構(gòu)綜述 / 1
1．1 基礎設施的概念 / 1
1．2 基礎設施作為技術(shù)驅(qū)動力 / 3
1．3 基礎設施的技術(shù)價值 / 7
1．3．1 技術(shù)安全 / 8
1．3．2 穩(wěn)定性 / 9
1．3．3 TCO / 10
1．3．4 穩(wěn)定性、性能、成本的平衡 / 11
1．3．5 追求效率、標準化、規(guī)范化 / 11
1．4 基礎設施的核心競爭力特征 / 12
第2章 TCO建模 / 13
2．1 靜態(tài)TCO模型 / 14
2．1．1 數(shù)據(jù)中心CapEx / 15
2．1．2 服務器及網(wǎng)絡設備CapEx / 16
2．1．3 OpEx / 16
2．1．4 產(chǎn)能/TCO / 16
2．2 動態(tài)TCO模型 / 17
2．3 TCO最優(yōu) / 18
第3章 數(shù)據(jù)中心能效 / 22
3．1 數(shù)據(jù)中心電能利用率 / 22
3．2 數(shù)據(jù)中心服務器電能利用率 / 30
3．2．1 服務器電源的能效 / 31
3．2．2 服務器風扇的能效 / 33
3．3 數(shù)據(jù)中心基礎設施使用率 / 35
3．4 小結(jié) / 37
第4章 數(shù)據(jù)中心 / 39
4．1 數(shù)據(jù)中心面臨的挑戰(zhàn) / 39
4．1．1 中國能源供給結(jié)構(gòu)對數(shù)據(jù)中心
的影響 / 39
4．1．2 新政策環(huán)境下數(shù)據(jù)中心面臨的
技術(shù)升級挑戰(zhàn) / 41
4．1．3 云計算業(yè)務給數(shù)據(jù)中心帶來的
機遇與挑戰(zhàn) / 41
4．2 數(shù)據(jù)中心技術(shù)的發(fā)展趨勢 / 43
4．2．1 數(shù)據(jù)中心技術(shù)演進的路線與
趨勢 / 43
4．2．2 阿里巴巴數(shù)據(jù)中心的演進路線
與趨勢 / 46
4．3 數(shù)據(jù)中心能源與供電技術(shù) / 49
4．3．1 數(shù)據(jù)中心能源的選擇與引入 / 49
4．3．2 數(shù)據(jù)中心電氣系統(tǒng)架構(gòu)演進的
趨勢與路線 / 54
4．3．3 數(shù)據(jù)中心電氣關鍵技術(shù)與設備 / 59
4．4 阿里巴巴數(shù)據(jù)中心供電工程
實踐案例 / 68
4．4．1 分布式不間斷供電和集中式
不間斷供電的比較 / 68
4．4．2 240V+PSU集中供電系統(tǒng) / 70
4．4．3 天蝎BBS / 71
4．4．4 服務器BBU / 73
4．4．5 機柜DPS / 74
4．5 數(shù)據(jù)中心制冷技術(shù) / 76
4．5．1 數(shù)據(jù)中心制冷系統(tǒng)架構(gòu)的選擇
與設計 / 76
4．5．2 連續(xù)制冷 / 89
4．5．3 制冷系統(tǒng)的節(jié)能措施 / 91
4．6 面向下一代IT系統(tǒng)的冷卻技術(shù) / 96
4．6．1 液冷技術(shù)簡介 / 96
4．6．2 冷板式液冷技術(shù) / 98
4．6．3 浸沒式液冷技術(shù) / 99
4．6．4 不同冷卻技術(shù)對比 / 100
4．7 數(shù)據(jù)中心制冷技術(shù)的發(fā)展
趨勢 / 102
4．8 阿里巴巴數(shù)據(jù)中心冷卻工程
實踐案例 / 103
4．8．1 千島湖數(shù)據(jù)中心 / 103
4．8．2 張北新風自然冷數(shù)據(jù)中心 / 105
第5章 數(shù)據(jù)中心網(wǎng)絡架構(gòu)和關鍵
技術(shù) / 112
5．1 超大規(guī)模數(shù)據(jù)中心網(wǎng)絡概述 / 112
5．1．1 超大規(guī)模數(shù)據(jù)中心的網(wǎng)絡架構(gòu)
及其技術(shù)演變 / 112
5．1．2 超大規(guī)模數(shù)據(jù)中心網(wǎng)絡的未來
發(fā)展趨勢 / 115
5．2 阿里巴巴數(shù)據(jù)中心網(wǎng)絡 / 118
5．2．1 云計算對數(shù)據(jù)中心網(wǎng)絡的核心
要求 / 118
5．2．2 阿里巴巴數(shù)據(jù)中心網(wǎng)絡架構(gòu)
演進 / 120
5．2．3 阿里巴巴數(shù)據(jù)中心網(wǎng)絡HAIL
架構(gòu)的設計理念 / 122
5．2．4 阿里巴巴數(shù)據(jù)中心網(wǎng)絡HAIL
架構(gòu)簡介 / 130
5．2．5 阿里巴巴數(shù)據(jù)中心交換機 / 131
5．2．6 阿里巴巴 vSwitch / 138
5．2．7 阿里巴巴數(shù)據(jù)中心網(wǎng)絡光互聯(lián)
技術(shù) / 141
5．3 數(shù)據(jù)中心網(wǎng)絡協(xié)議和高性能
網(wǎng)絡 / 142
5．3．1 數(shù)據(jù)中心網(wǎng)絡互聯(lián)協(xié)議 / 142
5．3．2 高性能網(wǎng)絡 RDMA技術(shù) / 145
5．4 可編程芯片和高性能網(wǎng)關
平臺 / 146
5．4．1 基于x86高性能軟件網(wǎng)關平臺
Netframe / 146
5．4．2 基于可編程交換機與SDN技術(shù)
的硬件交換平臺 / 147
5．5 網(wǎng)絡可視化技術(shù) / 148
5．5．1 網(wǎng)絡可視化前端技術(shù) / 149
5．5．2 網(wǎng)絡可視化后端技術(shù) / 150
5．6 城域網(wǎng)光傳輸技術(shù) / 151
5．6．1 城域網(wǎng)架構(gòu)簡介 / 151
5．6．2 光傳輸技術(shù) / 154
第6章 服務器技術(shù) / 159
6．1 服務器簡介 / 159
6．1．1 服務器系統(tǒng)分級 / 160
6．1．2 服務器行業(yè)生態(tài) / 161
6．1．3 服務器應用場景 / 162
6．1．4 服務器面臨的挑戰(zhàn) / 162
6．1．5 服務器設計考慮 / 163
6．2 服務器研發(fā)和技術(shù)體系 / 164
6．2．1 數(shù)據(jù)中心服務器研發(fā)模式 / 165
6．2．2 數(shù)據(jù)中心服務器工程技術(shù)之
主板 / 167
6．2．3 數(shù)據(jù)中心服務器工程技術(shù)之
散熱技術(shù) / 170
6．2．4 服務器結(jié)構(gòu)工程技術(shù) / 174
6．2．5 服務器監(jiān)控及運維體系 / 189
6．2．6 服務器測試及性能評估
體系 / 191
6．3 軟硬件優(yōu)化 / 197
6．4 服務器演進展望 / 198
6．4．1 阿里巴巴的服務器演進 / 198
6．4．2 計算/存儲分離和部件化 / 199
6．4．3 進一步解耦CPU-Storage，
CPU-GPU，CPU-MEM和
架構(gòu)一體化 / 201
6．5 硬件安全體系 / 203
6．5．1 可信計算 / 204
6．5．2 可信執(zhí)行環(huán)境 / 205
6．5．3 內(nèi)存安全 / 208
6．5．4 構(gòu)建完善的硬件安全體系 / 209
第7章 計算硬件技術(shù) / 211
7．1 通用計算 / 212
7．1．1 x86 / 212
7．1．2 Non-IA / 215
7．1．3 Non-IA與x86的比較 / 218
7．1．4 典型業(yè)務與通用計算 / 219
7．2 異構(gòu)計算 / 221
7．2．1 GPU / 221
7．2．2 FPGA / 225
7．2．3 ASIC / 227
7．2．4 CPU、GPU、FPGA、ASIC
簡單比較 / 230
7．3 邊緣計算 / 230
7．4 總線互聯(lián) / 233
7．4．1 QPI/UPI / 233
7．4．2 NV-Link / 234
7．4．3 CAPI / 234
7．4．4 CCIX / 235
7．5 計算與業(yè)務軟硬件結(jié)合 / 236
7．6 小結(jié) / 238
第8章 存儲硬件技術(shù) / 239
8．1 內(nèi)存 / 240
8．1．1 DDR / 240
8．1．2 NVDIMM與UltraDIMM / 241
8．1．3 AEP / 243
8．1．4 HBM與HMC / 243
8．2 HDD / 245
8．2．1 基本原理 / 245
8．2．2 大容量硬盤應用 / 247
8．2．3 HDD的發(fā)展趨勢 / 251
8．3 SSD / 251
8．3．1 NAND Flash / 254
8．3．2 2D/3D NAND / 254
8．3．3 SSD的使用 / 259
8．4 新型存儲介質(zhì) / 261
8．4．1 3D XPoint / 261
8．4．2 ReRAM / 264
8．4．3 NVMe / 265
8．5 新型存儲介質(zhì)應用 / 265
8．6 自研存儲產(chǎn)品AliFlash / 269
8．6．1 雙模式SSD / 269
8．6．2 開放通道模式 / 270
8．6．3 開放通道模式的應用路徑 / 272
8．6．4 AliFlash與業(yè)務軟硬件結(jié)合 / 273
8．7 存儲路徑 / 276
8．7．1 傳統(tǒng)文件系統(tǒng) / 276
8．7．2 KV存儲 / 278
8．7．3 SPDK / 279
8．8 NVMoF / 280
8．9 近存儲計算 / 283
8．9．1 本地近存儲計算 / 283
8．9．2 遠端近存儲計算 / 285
8．10 小結(jié) / 288
第9章 基礎設施智能化運營與
自動化運維 / 289
9．1 基礎設施資源運營智能化 / 290
9．1．1 需求預測 / 291
9．1．2 數(shù)據(jù)中心機架位容量規(guī)劃 / 293
9．1．3 智能制造的發(fā)展趨勢 / 295
9．2 基礎設施資源交付自動化 / 296
9．2．1 通過帶外網(wǎng)絡實現(xiàn)的遠程自動
開關機 / 296
9．2．2 服務器操作系統(tǒng)自動化安裝 / 297
9．2．3 自動化部署遇到的問題及解決
方案 / 300
9．3 基礎設施智能監(jiān)管控 / 300
9．3．1 可用性監(jiān)控分析 / 301
9．3．2 電熱異常感知 / 301
9．3．3 能效優(yōu)化 / 304
9．4 物理機自動化維修 / 305
9．4．1 故障發(fā)現(xiàn) / 305
9．4．2 故障預測 / 307
9．4．3 故障維修 / 307
9．5 集群自動化運維 / 309
9．5．1 集群自動化運維的主要設計
思想 / 309
9．5．2 物理機集群智能自愈系統(tǒng) / 311
9．6 網(wǎng)絡智能變更系統(tǒng) / 314
9．6．1 變更穩(wěn)定性挑戰(zhàn) / 314
9．6．2 解決方案 / 315
9．6．3 網(wǎng)絡智能化變更系統(tǒng) / 316
9．7 無人值守的數(shù)據(jù)中心 / 317
第10章 IDC、網(wǎng)絡、服務器的
一體化 / 319
10．1 基礎設施的最優(yōu)化匹配 / 319
10．1．1 大集群與業(yè)務的最優(yōu)匹配 / 319
10．1．2 IDC建筑、網(wǎng)絡大集群、服務
器的宏觀優(yōu)化 / 320
10．1．3 機架功耗、服務器功耗、網(wǎng)
絡端口利用率的微觀優(yōu)化 / 321
10．2 整機架交付：OCP、天蝎
與AliRack / 322
10．3 面向業(yè)務的一體化解決方案：
HPC、超算、AI / 323
10．4 系統(tǒng)技術(shù)分層與協(xié)作 / 327
10．5 全系統(tǒng)模擬器 / 328
第11章 總結(jié)及展望 / 330
11．1 2022年――世界第一的基礎
設施 / 330
11．2 基礎設施5．0――AI、異構(gòu)、
智能化 / 332
11．3 基礎設施6．0――一體化最優(yōu)
基礎設施架構(gòu) / 332
11．4 五年之后的基礎設施――創(chuàng)新
的機制保障 / 333
11．4．1 NASA與達摩院――阿里巴巴
的科技創(chuàng)新 / 333
11．4．2 AIS的創(chuàng)新機制 / 333
11．4．3 前瞻布局與戰(zhàn)略拖動 / 334
11．5 量子與未來 / 334
11．5．1 量子通信 / 334
11．5．2 量子計算 / 335