品味大數(shù)據(jù)

目錄

序　在路上，學(xué)而時習(xí)之　/　張玉宏

第一章　大數(shù)據(jù)簡史漫談之一——數(shù)字的來源及數(shù)據(jù)思維的發(fā)展
1.1　人類的“數(shù)覺”與計數(shù)系統(tǒng)　
1.2　關(guān)于二進(jìn)制的一點討論　
1.3　數(shù)字的誕生與廣泛應(yīng)用的匹配法　
1.4　數(shù)學(xué)的“問世”與“算法”的祖師爺　
1.5　文字的“出爐”與羅馬語言的來歷　
1.6　古代的數(shù)據(jù)保存之道與文言文的“無奈”精簡　
1.7　古代的“數(shù)據(jù)中心”——圖書館　
1.8　古代計算工具的誕生及其演變　
1.9　統(tǒng)計學(xué)誕生——數(shù)據(jù)思維的漸起　
1.10　美國式的人口普查——大數(shù)據(jù)催生新技術(shù)　
1.11　中國式的人口統(tǒng)計與數(shù)目字管理　
1.12　本章小結(jié)與思考

第二章　大數(shù)據(jù)簡史漫談之二——近代存儲體系發(fā)展中的那些人和事
2.1　數(shù)據(jù)復(fù)制與傳播中的問題及解決方案
2.2　影響人類發(fā)展進(jìn)程的幾次能源革命
2.3　不能遺忘的電氣時代的傳奇——特斯拉
2.4　霍爾瑞斯的穿孔卡　
2.5　現(xiàn)代通用計算機(jī)的奠基者——圖靈和馮·諾伊曼　
2.6　波弗勞姆的磁帶發(fā)明　
2.7　華人王安電腦的磁芯存儲器
2.8　IBM 的傳奇磁存儲世界
2.9　網(wǎng)絡(luò)存儲世界的興起
2.10　本章小結(jié)與思考

第三章　大數(shù)據(jù)簡史漫談之三——數(shù)據(jù)庫的發(fā)展與大數(shù)據(jù)的興起
3.1　近代“數(shù)據(jù)中心”之夢殤
3.2 “窮”則思變之網(wǎng)狀數(shù)據(jù)庫
3.3　濃墨重彩之關(guān)系數(shù)據(jù)庫
3.4　突破數(shù)據(jù)共享封鎖線的領(lǐng)頭人
3.5　高手對決的數(shù)據(jù)倉庫領(lǐng)域兩俠客
3.6　向非結(jié)構(gòu)化進(jìn)發(fā)的數(shù)據(jù)大趨勢
3.7　大數(shù)據(jù)術(shù)語的歷史淵源
3.8　現(xiàn)代大數(shù)據(jù)的誕生
3.9　在混沌和秩序轉(zhuǎn)化中螺旋上升
3.10 本章小結(jié)與思考

第四章　大數(shù)據(jù)的內(nèi)涵
4.1　從數(shù)據(jù)、信息到知識、智慧的飛躍
4.2　大數(shù)據(jù)的多版本定義
4.3　大數(shù)據(jù)——新時代的生產(chǎn)資料
4.4　信息（數(shù)據(jù)）化、第二經(jīng)濟(jì)與數(shù)據(jù)思維的轉(zhuǎn)變
4.5　大數(shù)據(jù)——來自學(xué)術(shù)界的青睞
4.6　大數(shù)據(jù)——來自政府層面的重視
4.7　大數(shù)據(jù)——來自工商業(yè)的熱捧
4.8　大數(shù)據(jù)內(nèi)涵——“豈止于大”
4.8.1　大數(shù)據(jù)之“大”有不同（Volume）
4.8.2　大數(shù)據(jù)之唯“快”不破（Velocity）
4.8.3　大數(shù)據(jù)之五彩繽紛（Variety） 　
4.8.4　大數(shù)據(jù)之價“值”無限（Value）
4.8.5　包括但不限于 4V
4.9　本章小結(jié)與思考

第五章　大數(shù)據(jù)時代的一點哲學(xué)思考
5.1　哲學(xué)與科學(xué)的關(guān)系——為什么計算機(jī)專業(yè)博士也發(fā)個哲學(xué)文憑（Ph.D）
5.2　大、小數(shù)據(jù)的“質(zhì)”不同
5.3　大數(shù)據(jù)的數(shù)理哲學(xué)基礎(chǔ)——同構(gòu)關(guān)系
5.4　大數(shù)據(jù)認(rèn)識主體的變化——“替人消災(zāi)”式的認(rèn)識能免責(zé)嗎
5.5　波普爾的世界 3——秦始皇的長生夢，找錯了空間
5.6　大數(shù)據(jù)認(rèn)識對象的變化——提升普羅大眾的權(quán)重 ：“長尾理論”
5.7　認(rèn)識論對大數(shù)據(jù)研究的指導(dǎo)意義　
5.7.1　科學(xué)始于觀察——證實主義　
5.7.2　證實主義的困頓——來自波普爾的批判
5.7.3　科學(xué)始于問題——波普爾的貢獻(xiàn)　
5.7.4　科學(xué)始于數(shù)據(jù)——大數(shù)據(jù)時代的科學(xué)轉(zhuǎn)機(jī)與思考
5.7.5　大數(shù)據(jù)的悲觀思潮
5.8　本章小結(jié)與思考

第六章　大數(shù)據(jù)研究的第四范式
6.1　谷歌公司的“不務(wù)正業(yè)”
6.2　塞吉·布林的“秘密”病情
6.3　布林病情的“治療”方案　
6.4　詹姆斯·格雷的科學(xué)第四范式　
6.5　科學(xué)研究的其他三個范式　
6.6　本章小結(jié)與思考

第七章　大數(shù)據(jù)，大有為
7.1　洞察帶來價值　
7.2　案例 1 ：谷歌是如何“越俎代庖”地預(yù)測流感的　
7.2.1　流感治療網(wǎng)絡(luò)化　
7.2.2 “無意間”生產(chǎn)的搜索數(shù)據(jù)　
7.2.3　谷歌工程師們的杰作——流感預(yù)測趨勢（GFT）
7.2.4　谷歌的“越俎代庖”為何成功
7.2.5　案例小結(jié) ：數(shù)據(jù)、模型與理論
7.3　案例 2 ：“全數(shù)據(jù)”是如何為葉詩文抱不平的
7.3.1　葉詩文事件的新聞背景
7.3.2　什么是性能分析法
7.3.3　質(zhì)疑的合理性在哪里
7.3.4 “大數(shù)據(jù) = 全數(shù)據(jù)”的威力——為葉詩文抱不平
7.3.5　案例小結(jié)
7.4　案例 3 ：大數(shù)據(jù)是如何對抗癌癥的
7.4.1　癌癥大數(shù)據(jù)的特征是什么
7.4.2　癌癥從哪里來
7.4.3　大數(shù)據(jù)用之于癌癥斗爭，挑戰(zhàn)何在
7.4.4　癌癥診療的基礎(chǔ)大數(shù)據(jù)——獲取難
7.4.5　數(shù)據(jù)化帶來的顛覆式醫(yī)療——執(zhí)行難
7.4.6　哪些機(jī)構(gòu)在用大數(shù)據(jù)對抗癌癥　
7.4.7　癌癥大數(shù)據(jù)的重要源頭——基因組數(shù)據(jù)　
7.4.8　大數(shù)據(jù)對抗癌癥，前景如何
7.4.9　案例小結(jié)
7.5　更多大數(shù)據(jù)應(yīng)用案例
7.6　本章小結(jié)與思考

第八章　大數(shù)據(jù)之坑與小數(shù)據(jù)之美
8.1　引子——哪個 V 才是大數(shù)據(jù)最重要的特征
8.1.1 “大”有不同——Volume（大量） 　
8.1.2　數(shù)據(jù)共征——Velocity（快速）與 Value（價值）
8.1.3　五彩繽“紛”——Variety（多樣）
8.2　大數(shù)據(jù)的力量與陷阱
8.2.1　大數(shù)據(jù)的力量　
8.2.2　大數(shù)據(jù)的陷阱　
8.2.3　今日王謝堂前燕，暫未飛入百姓家——大數(shù)據(jù)還沒那么普及　
8.2.4　你若安好，便是晴天——小數(shù)據(jù)之美
8.3　本章小結(jié)與思考

第九章　12 個小故事，思考大數(shù)據(jù)
9.1　故事 1 ：大數(shù)據(jù)都是騙人的啊——大數(shù)據(jù)預(yù)測得準(zhǔn)嗎
9.2　故事 2 ：顛簸的街道——對不起，“n=all”只是一個幻覺　
9.3　故事 3 ：醉漢路燈下找鑰匙——大數(shù)據(jù)的研究方法可笑嗎
9.4　故事 4 ：園中有金不在金——大數(shù)據(jù)的價值　
9.5　故事 5 ：蓋洛普抽樣的成功——大小之爭，“大”數(shù)據(jù)一定勝過小抽樣嗎
9.6　故事 6 ：點球成金——數(shù)據(jù)流 PK 球探，誰更重要
9.7　故事 7 ：啤酒和尿布——經(jīng)典故事是偽造的，你知道嗎　
9.8　故事 8 ：谷歌流感預(yù)測——預(yù)測是如何失效的
9.9　故事 9 ：Target 超市預(yù)測女孩懷孕——“大數(shù)據(jù)”智慧，還是愚蠢
9.10　故事 10 ：你的一夜情我知道——大數(shù)據(jù)的隱私之痛
9.11　故事 11 ：大數(shù)據(jù)，無須懼——比薩店員更能知道顧客所有的信息嗎
9.12　故事 12 ：撲朔離迷的“因果關(guān)系”——蘇格拉底的“詭辯術(shù)”
9.13　本章小結(jié)與思考

第十章　大數(shù)據(jù)技術(shù)漫談——需要讀懂的 100 篇大數(shù)據(jù)文獻(xiàn)
10.1　大數(shù)據(jù)價值的實現(xiàn)　
10.2　大數(shù)據(jù)分析的關(guān)鍵架構(gòu)層　
10.3　架構(gòu)的演進(jìn)　
10.4　幾個重要的概念　
10.5　文件系統(tǒng)層
10.6　數(shù)據(jù)存儲層
10.7　資源管理器層（Resource Managers）
10.8　調(diào)度器（Schedulers） 　
10.9　協(xié)調(diào)器（Coordination）
10.10　計算框架（Computational Frameworks）
10.11　數(shù)據(jù)分析層（Data Analysis）
10.12　數(shù)據(jù)集成層（Data Integration）
10.13　操作框架層（Operational Frameworks）
10.14　本章小結(jié)與思考

第十一章　牛刀小試之 Hadoop 實戰(zhàn)
11.1　什么是 Hadoop　
11.2　Hadoop 發(fā)展歷程
11.3　Hadoop 集群服務(wù)器的安裝與配置　
11.3.1　安裝 CentOS 7
11.3.2　配置 Java 環(huán)境
11.3.3　啟動和配置 SSH 服務(wù)
11.3.4　安裝 Hadoop
11.3.5　啟動 Hadoop
11.4　運行 Hello World 版 Hadoop 程序——WordCount　
11.5　全分布模式下的 Hadoop 集群構(gòu)建　
11.5.1　Linux 以運行等級 3 啟動　
11.5.2　在 Windows 和 Mac OS 環(huán)境下克隆虛擬機(jī)　
11.5.3　設(shè)置靜態(tài) IP 地址　
11.5.4　修改 hosts 文件　
11.5.5　虛擬機(jī)的同步配置
11.5.6　SSH 的免密碼登錄
11.5.7　全分布模式下安裝 Hadoop　
11.5.8　同步配置文件
11.5.9　創(chuàng)建所需目錄
11.5.10　關(guān)閉防火墻
11.5.11　格式化文件系統(tǒng)
11.5.12　啟動 Hadoop 守護(hù)進(jìn)程
11.5.13　驗證全分布模式
11.5.14　默認(rèn)配置文件所在位置
11.5.15　關(guān)閉 Hadoop
11.5.16　Hadoop 的運行錯誤查找　
11.6　WordCount 代碼詳解
11.6.1　MapReduce 編程模型　
11.6.2　WordCount 的 MapReduce 處理流程
11.6.3　WordCount 源碼解讀
11.7　本章小結(jié)與思考
后　　記