SQL數(shù)據(jù)分析

第1章 理解和描述數(shù)據(jù) 1
1.1 簡介 1
1.2 數(shù)據(jù)世界 1
1.2.1 數(shù)據(jù)類型 1
1.2.2 數(shù)據(jù)分析和統(tǒng)計 2
1.2.3 統(tǒng)計類型 3
1.2.4 操作1：對新數(shù)據(jù)集進(jìn)行分類 4
1.3 描述統(tǒng)計的方法 4
1.3.1 單變量分析 5
1.3.2 數(shù)據(jù)頻率分布 5
1.3.3 練習(xí)1：創(chuàng)建直方圖 5
1.3.4 練習(xí)2：計算附加銷售的四分位數(shù) 10
1.3.5 集中趨勢 12
1.3.6 練習(xí)3：計算附加銷售的集中趨勢 13
1.3.7 離散度 14
1.3.8 練習(xí)4：附加銷售的離散度 15
1.3.9 雙變量分析 16
1.3.10 散點圖 16
1.3.11 練習(xí)5：計算兩個變量的皮爾森相關(guān)系數(shù) 21
1.3.12 操作2：研究經(jīng)銷商銷售數(shù)據(jù) 26
1.3.13 與遺失數(shù)據(jù)協(xié)同工作 27
1.4 統(tǒng)計顯著性檢驗 27
1.5 本章小結(jié) 29
第2章 數(shù)據(jù)分析與SQL基礎(chǔ)知識 31
2.1 簡介 31
2.2 關(guān)系數(shù)據(jù)庫和SQL 31
2.3 SQL中的基本數(shù)量類型 33
2.3.1 數(shù)字 33
2.3.2 字符 33
2.3.3 布爾類型 35
2.3.4 datatime 35
2.3.5 數(shù)據(jù)結(jié)構(gòu)：JSON和數(shù)組 36
2.4 讀取表：SELECT查詢 36
2.4.1 SELECT查詢的基本分析和工作機(jī)制 36
2.4.2 SELECT查詢中的基本關(guān)鍵字 37
2.4.3 練習(xí)6：查詢銷售人員表 42
2.4.4 操作3：查詢客戶表 43
2.5 創(chuàng)建表 44
2.5.1 創(chuàng)建空表 44
2.5.2 練習(xí)7：在SQL中創(chuàng)建表 45
2.5.3 利用SELECT創(chuàng)建表 46
2.6 更新表 46
2.6.1 添加和移除列 46
2.6.2 添加新數(shù)據(jù) 47
2.6.3 更新現(xiàn)有行 48
2.6.4 練習(xí)8：更新SQL中的表 48
2.7 刪除數(shù)據(jù)和表 49
2.7.1 刪除行中的值 49
2.7.2 刪除表中的行 50
2.7.3 刪除表 50
2.7.4 練習(xí)9：不必要的參考表 51
2.7.5 操作4：營銷行為 51
2.8 SQL和數(shù)據(jù)分析 52
2.9 本章小結(jié) 52
第3章 SQL數(shù)據(jù)準(zhǔn)備 55
3.1 簡介 55
3.2 采集數(shù)據(jù) 55
3.2.1 利用JOIN連接表 55
3.2.2 連接類型 57
3.2.3 練習(xí)10：使用連接操作分析經(jīng)銷商數(shù)據(jù) 63
3.2.4 子連接 65
3.2.5 聯(lián)合 65
3.2.6 練習(xí)11：利用UNION關(guān)鍵字生成高級客戶名單 67
3.2.7 公共表表達(dá)式 68
3.3 轉(zhuǎn)換數(shù)據(jù) 69
3.3.1 練習(xí)12：使用CASE WHEN函數(shù)獲取區(qū)域列表 70
3.3.2 操作5：利用SQL技術(shù)構(gòu)建銷售模型 76
3.4 本章小結(jié) 77
第4章 數(shù)據(jù)分析的聚合函數(shù) 79
4.1 簡介 79
4.2 聚合函數(shù) 79
4.3 練習(xí)13：使用聚合函數(shù)分析數(shù)據(jù) 81
4.4 基于GROUP BY的聚合函數(shù) 82
4.4.1 GROUP BY 82
4.4.2 多列GROUP BY 85
4.4.3 練習(xí)14：利用GROUP BY并通過產(chǎn)品類型計算成本 86
4.4.4 集合分組 87
4.4.5 有序集聚合結(jié)果 88
4.5 HAVING子句 89
4.6 練習(xí)15：利用HAVING子句計算和顯示數(shù)據(jù) 90
4.7 使用聚合函數(shù)清理數(shù)據(jù)并檢測數(shù)據(jù)質(zhì)量 91
4.7.1 利用GROUP BY檢索缺失數(shù)據(jù) 91
4.7.2 利用聚合函數(shù)評估數(shù)據(jù)質(zhì)量 93
4.7.3 操作6：利用聚合函數(shù)分析銷售數(shù)據(jù) 93
4.8 本章小結(jié) 94
第5章 數(shù)據(jù)分析的窗口函數(shù) 95
5.1 簡介 95
5.2 窗口函數(shù) 95
5.2.1 窗口函數(shù)的基本知識 96
5.2.2 練習(xí)16：分析客戶數(shù)據(jù)填充率 100
5.2.3 WINDOW關(guān)鍵字 102
5.3 基于窗口函數(shù)的統(tǒng)計信息 103
5.3.1 練習(xí)17：聘用日期排名 104
5.3.2 窗框 105
5.3.3 練習(xí)18：團(tuán)餐活動 107
5.3.4 操作7：利用窗框和窗口函數(shù)分析銷售數(shù)據(jù) 108
5.4 本章小結(jié) 109
第6章 導(dǎo)入和導(dǎo)出數(shù)據(jù) 111
6.1 簡介 111
6.2 COPY命令 111
6.2.1 使用COPY命令 112
6.2.2 利用psql復(fù)制數(shù)據(jù) 113
6.2.3 配置COPY和\\copy 114
6.2.4 使用COPY和\\copy命令將數(shù)據(jù)批量上傳至數(shù)據(jù)庫中 114
6.2.5 練習(xí)19：將數(shù)據(jù)導(dǎo)出至文件中并在Excel中進(jìn)行處理 115
6.3 R和數(shù)據(jù)庫 118
6.3.1 為何使用R 119
6.3.2 開始使用R 119
6.4 Python語言和數(shù)據(jù)庫 121
6.4.1 為何使用Python 121
6.4.2 開始使用Python 122
6.4.3 練習(xí)20：利用Python導(dǎo)出數(shù)據(jù)庫中的數(shù)據(jù) 122
6.4.4 利用SQLAlchemy和Pandas改進(jìn)Python中的Postgres訪問操作 124
6.4.5 為何使用SQLAlchemy 124
6.4.6 使用Jupyter Notebook 125
6.4.7 利用Pandas讀取和寫入數(shù)據(jù)庫 127
6.4.8 利用Pandas執(zhí)行數(shù)據(jù)可視化操作 128
6.4.9 練習(xí)21：在Python中讀取數(shù)據(jù)和可視化數(shù)據(jù) 128
6.4.10 利用Python將數(shù)據(jù)寫入數(shù)據(jù)庫中 130
6.4.11 利用COPY提升Python寫入速度 131
6.4.12 利用Python讀、寫CSV文件 132
6.5 實現(xiàn)導(dǎo)入、導(dǎo)出數(shù)據(jù) 133
6.5.1 減少密碼處理 133
6.5.2 操作8：使用外部數(shù)據(jù)集估計銷售趨勢 134
6.6 本章小結(jié) 135
第7章 利用復(fù)雜數(shù)據(jù)類型進(jìn)行分析 137
7.1 簡介 137
7.2 日期和時間數(shù)據(jù)類型 137
7.2.1 date類型 138
7.2.2 轉(zhuǎn)換日期類型 140
7.2.3 區(qū)間 142
7.2.4 練習(xí)22：分析時序數(shù)據(jù) 143
7.3 在Postgres中執(zhí)行地理空間分析 145
7.3.1 經(jīng)緯度 145
7.3.2 在Postgres中表示經(jīng)緯度 145
7.3.3 練習(xí)23：地理空間分析 147
7.4 使用Postgres中的ARRAY數(shù)據(jù)類型 149
7.5 使用Postgres中的JSON數(shù)據(jù)類型 152
7.5.1 JSONB：預(yù)解析的JSON 154
7.5.2 從JSON或JSONB字段中訪問數(shù)據(jù) 155
7.5.3 創(chuàng)建和修改JSONB字段中的數(shù)據(jù) 157
7.5.4 練習(xí)24：搜索JSONB 157
7.6 利用Postgres進(jìn)行文本分析 159
7.6.1 標(biāo)記文本 159
7.6.2 練習(xí)25：執(zhí)行文本分析 160
7.6.3 執(zhí)行文本搜索 164
7.6.4 優(yōu)化Postgres上的文本搜索 166
7.6.5 操作9：銷售量的搜索和分析 168
7.7 本章小結(jié) 169
第8章 高性能SQL 171
8.1 簡介 171
8.2 數(shù)據(jù)庫掃描方法 172
8.2.1 查詢規(guī)劃機(jī)制 172
8.2.2 掃描和順序掃描 173
8.2.3 練習(xí)26：解釋查詢規(guī)劃 174
8.2.4 操作10：查詢規(guī)劃 178
8.2.5 索引掃描 178
8.2.6 B樹索引 179
8.2.7 練習(xí)27：創(chuàng)建索引掃描 180
8.2.8 操作11：實現(xiàn)索引掃描 185
8.2.9 哈希索引 186
8.2.10 練習(xí)28：生成多個哈希索引以改進(jìn)性能 186
8.2.11 操作12：實現(xiàn)哈希索引 190
8.2.12 高效的索引應(yīng)用 191
8.3 高效的連接操作 192
8.3.1 練習(xí)29：內(nèi)連接應(yīng)用 193
8.3.2 操作13：實現(xiàn)連接操作 198
8.4 函數(shù)和觸發(fā)器 199
8.4.1 函數(shù)定義 200
8.4.2 練習(xí)30：定義無參函數(shù) 201
8.4.3 操作14：定義最大銷售額函數(shù) 203
8.4.4 練習(xí)31：定義包含參數(shù)的函數(shù) 204
8.4.5 \\df和\\sf命令 206
8.4.6 操作15：定義包含參數(shù)的函數(shù) 206
8.4.7 觸發(fā)器 207
8.4.8 練習(xí)32：創(chuàng)建觸發(fā)器以更新字段 208
8.4.9 操作16：創(chuàng)建觸發(fā)器并記錄平均購買量 213
8.4.10 刪除查詢 214
8.4.11 練習(xí)33：取消耗時較長的查詢 214
8.4.12 操作17：終止一個耗時的查詢 216
8.5 本章小結(jié) 216
第9章 利用SQL獲取洞察結(jié)果 219
9.1 簡介 219
9.2 案例研究 219
9.2.1 科學(xué)方法 219
9.2.2 練習(xí)34：基于SQL技術(shù)的初步數(shù)據(jù)收集 220
9.2.3 練習(xí)35：析取銷售信息 222
9.2.4 操作18：銷售的量化計算 226
9.2.5 練習(xí)36：上市時間分析 227
9.2.6 操作19：分析銷售價格假設(shè)中的差異 234
9.2.7 練習(xí)37：通過電子郵件點擊率分析銷售增長 236
9.2.8 練習(xí)38：分析電子郵件營銷活動的表現(xiàn)結(jié)果 243
9.2.9 結(jié)論 247
9.2.10 現(xiàn)場測試 248
9.3 本章小結(jié) 248
附錄 251
第1章 理解和描述數(shù)據(jù) 251
操作1：對新數(shù)據(jù)集進(jìn)行分類 251
操作2：研究經(jīng)銷商銷售數(shù)據(jù) 251
第2章 數(shù)據(jù)分析與SQL基礎(chǔ)知識 253
操作3：查詢客戶表 253
操作4：營銷行為 255
第3章 SQL數(shù)據(jù)準(zhǔn)備 256
操作5：利用SQL技術(shù)構(gòu)建銷售模型 256
第4章 數(shù)據(jù)分析的聚合函數(shù) 257
操作6：利用聚合函數(shù)分析銷售數(shù)據(jù) 257
第5章 數(shù)據(jù)分析的窗口函數(shù) 259
操作7：利用窗框和窗口函數(shù)分析銷售數(shù)據(jù) 259
第6章 導(dǎo)入和導(dǎo)出數(shù)據(jù) 262
操作8：使用外部數(shù)據(jù)集估計銷售趨勢 262
第7章 利用復(fù)雜數(shù)據(jù)類型進(jìn)行分析 269
操作9：銷售量的搜索和分析 269
第8章 高性能SQL 272
操作10：查詢規(guī)劃 272
操作11：實現(xiàn)索引掃描 274
操作12：實現(xiàn)哈希索引 276
操作13：實現(xiàn)連接操作 278
操作14：定義最大銷售額函數(shù) 280
操作15：定義包含參數(shù)的函數(shù) 281
操作16：創(chuàng)建觸發(fā)器并記錄平均購買量 282
操作17：終止一個耗時的查詢 283
第9章 利用SQL獲取洞察結(jié)果 284
操作18：銷售的量化計算 284
操作19：分析銷售價格假設(shè)中的差異 286