Python數(shù)據(jù)清洗

第1章 將表格數(shù)據(jù)導(dǎo)入Pandas中 1
1.1 技術(shù)要求 1
1.2 導(dǎo)入CSV文件 2
1.2.1 準(zhǔn)備工作 2
1.2.2 實(shí)戰(zhàn)操作 3
1.2.3 原理解釋 5
1.2.4 擴(kuò)展知識 6
1.2.5 參考資料 7
1.3 導(dǎo)入Excel文件 7
1.3.1 準(zhǔn)備工作 8
1.3.2 實(shí)戰(zhàn)操作 8
1.3.3 原理解釋 13
1.3.4 擴(kuò)展知識 13
1.3.5 參考資料 14
1.4 從SQL數(shù)據(jù)庫中導(dǎo)入數(shù)據(jù) 14
1.4.1 準(zhǔn)備工作 15
1.4.2 實(shí)戰(zhàn)操作 15
1.4.3 原理解釋 19
1.4.4 擴(kuò)展知識 21
1.4.5 參考資料 21
1.5 導(dǎo)入SPSS、Stata和SAS數(shù)據(jù) 21
1.5.1 準(zhǔn)備工作 22
1.5.2 實(shí)戰(zhàn)操作 22
1.5.3 原理解釋 28
1.5.4 擴(kuò)展知識 29
1.5.5 參考資料 30
1.6 導(dǎo)入R數(shù)據(jù) 30
1.6.1 準(zhǔn)備工作 30
1.6.2 實(shí)戰(zhàn)操作 31
1.6.3 原理解釋 33
1.6.4 擴(kuò)展知識 34
1.6.5 參考資料 34
1.7 保留表格數(shù)據(jù) 35
1.7.1 準(zhǔn)備工作 36
1.7.2 實(shí)戰(zhàn)操作 36
1.7.3 原理解釋 39
1.7.4 擴(kuò)展知識 39
第2章 將HTML和JSON導(dǎo)入Pandas中 41
2.1 技術(shù)要求 41
2.2 導(dǎo)入簡單的JSON數(shù)據(jù) 41
2.2.1 準(zhǔn)備工作 42
2.2.2 實(shí)戰(zhàn)操作 42
2.2.3 原理解釋 47
2.2.4 擴(kuò)展知識 48
2.3 通過API導(dǎo)入更復(fù)雜的JSON數(shù)據(jù) 48
2.3.1 準(zhǔn)備工作 49
2.3.2 實(shí)戰(zhàn)操作 50
2.3.3 原理解釋 52
2.3.4 擴(kuò)展知識 53
2.3.5 參考資料 53
2.4 從網(wǎng)頁中導(dǎo)入數(shù)據(jù) 53
2.4.1 準(zhǔn)備工作 54
2.4.2 實(shí)戰(zhàn)操作 55
2.4.3 原理解釋 58
2.4.4 擴(kuò)展知識 59
2.5 持久保存JSON數(shù)據(jù) 59
2.5.1 準(zhǔn)備工作 60
2.5.2 實(shí)戰(zhàn)操作 60
2.5.3 原理解釋 62
2.5.4 擴(kuò)展知識 63
第3章 衡量數(shù)據(jù)好壞 65
3.1 技術(shù)要求 66
3.2 初步了解數(shù)據(jù) 66
3.2.1 準(zhǔn)備工作 66
3.2.2 實(shí)戰(zhàn)操作 67
3.2.3 原理解釋 70
3.2.4 擴(kuò)展知識 71
3.2.5 參考資料 71
3.3 選擇和組織列 71
3.3.1 準(zhǔn)備工作 72
3.3.2 實(shí)戰(zhàn)操作 72
3.3.3 原理解釋 77
3.3.4 擴(kuò)展知識 77
3.3.5 參考資料 78
3.4 選擇行 79
3.4.1 準(zhǔn)備工作 79
3.4.2 實(shí)戰(zhàn)操作 79
3.4.3 原理解釋 86
3.4.4 擴(kuò)展知識 87
3.4.5 參考資料 87
3.5 生成分類變量的頻率 87
3.5.1 準(zhǔn)備工作 88
3.5.2 實(shí)戰(zhàn)操作 88
3.5.3 原理解釋 91
3.5.4 擴(kuò)展知識 92
3.6 生成連續(xù)變量的摘要統(tǒng)計信息 92
3.6.1 準(zhǔn)備工作 92
3.6.2 實(shí)戰(zhàn)操作 93
3.6.3 原理解釋 95
3.6.4 參考資料 96
第4章 識別缺失值和離群值 97
4.1 技術(shù)要求 97
4.2 尋找缺失值 97
4.2.1 準(zhǔn)備工作 98
4.2.2 實(shí)戰(zhàn)操作 98
4.2.3 原理解釋 101
4.2.4 參考資料 101
4.3 用一個變量識別離群值 102
4.3.1 準(zhǔn)備工作 102
4.3.2 實(shí)戰(zhàn)操作 102
4.3.3 原理解釋 109
4.3.4 擴(kuò)展知識 109
4.3.5 參考資料 110
4.4 識別雙變量關(guān)系中的離群值和意外值 110
4.4.1 準(zhǔn)備工作 111
4.4.2 實(shí)戰(zhàn)操作 112
4.4.3 原理解釋 118
4.4.4 擴(kuò)展知識 119
4.4.5 參考資料 119
4.5 檢查變量關(guān)系中的邏輯不一致情況 119
4.5.1 準(zhǔn)備工作 119
4.5.2 實(shí)戰(zhàn)操作 120
4.5.3 原理解釋 126
4.5.4 參考資料 126
4.6 使用線性回歸來確定具有重大影響的數(shù)據(jù)點(diǎn) 126
4.6.1 準(zhǔn)備工作 127
4.6.2 實(shí)戰(zhàn)操作 127
4.6.3 原理解釋 129
4.6.4 擴(kuò)展知識 130
4.7 使用k近鄰算法找到離群值 130
4.7.1 準(zhǔn)備工作 130
4.7.2 實(shí)戰(zhàn)操作 131
4.7.3 原理解釋 133
4.7.4 擴(kuò)展知識 133
4.7.5 參考資料 134
4.8 使用隔離森林算法查找異常 134
4.8.1 準(zhǔn)備工作 134
4.8.2 實(shí)戰(zhàn)操作 134
4.8.3 原理解釋 137
4.8.4 擴(kuò)展知識 138
4.8.5 參考資料 138
第5章 使用可視化方法識別意外值 139
5.1 技術(shù)要求 139
5.2 使用直方圖檢查連續(xù)變量的分布 140
5.2.1 準(zhǔn)備工作 140
5.2.2 實(shí)戰(zhàn)操作 141
5.2.3 原理解釋 146
5.2.4 擴(kuò)展知識 147
5.3 使用箱形圖識別連續(xù)變量的離群值 147
5.3.1 準(zhǔn)備工作 148
5.3.2 實(shí)戰(zhàn)操作 148
5.3.3 原理解釋 153
5.3.4 擴(kuò)展知識 153
5.3.5 參考資料 153
5.4 使用分組的箱形圖發(fā)現(xiàn)特定組中的意外值 154
5.4.1 準(zhǔn)備工作 154
5.4.2 實(shí)戰(zhàn)操作 154
5.4.3 原理解釋 159
5.4.4 擴(kuò)展知識 159
5.4.5 參考資料 160
5.5 使用小提琴圖檢查分布形狀和離群值 160
5.5.1 準(zhǔn)備工作 160
5.5.2 實(shí)戰(zhàn)操作 161
5.5.3 原理解釋 165
5.5.4 擴(kuò)展知識 166
5.5.5 參考資料 166
5.6 使用散點(diǎn)圖查看雙變量關(guān)系 166
5.6.1 準(zhǔn)備工作 167
5.6.2 實(shí)戰(zhàn)操作 167
5.6.3 原理解釋 172
5.6.4 擴(kuò)展知識 173
5.6.5 參考資料 173
5.7 使用折線圖檢查連續(xù)變量的趨勢 173
5.7.1 準(zhǔn)備工作 173
5.7.2 實(shí)戰(zhàn)操作 173
5.7.3 原理解釋 178
5.7.4 擴(kuò)展知識 179
5.7.5 參考資料 179
5.8 根據(jù)相關(guān)性矩陣生成熱圖 179
5.8.1 準(zhǔn)備工作 180
5.8.2 實(shí)戰(zhàn)操作 180
5.8.3 原理解釋 182
5.8.4 擴(kuò)展知識 183
5.8.5 參考資料 183
第6章 使用Series操作清洗和探索數(shù)據(jù) 185
6.1 技術(shù)要求 186
6.2 從Pandas Series中獲取值 186
6.2.1 準(zhǔn)備工作 186
6.2.2 實(shí)戰(zhàn)操作 187
6.2.3 原理解釋 190
6.3 顯示Pandas Series的摘要統(tǒng)計信息 190
6.3.1 準(zhǔn)備工作 191
6.3.2 實(shí)戰(zhàn)操作 191
6.3.3 原理解釋 193
6.3.4 擴(kuò)展知識 195
6.3.5 參考資料 195
6.4 更改Series值 195
6.4.1 準(zhǔn)備工作 195
6.4.2 實(shí)戰(zhàn)操作 195
6.4.3 原理解釋 198
6.4.4 擴(kuò)展知識 199
6.4.5 參考資料 199
6.5 有條件地更改Series值 199
6.5.1 準(zhǔn)備工作 199
6.5.2 實(shí)戰(zhàn)操作 200
6.5.3 原理解釋 203
6.5.4 擴(kuò)展知識 205
6.5.5 參考資料 206
6.6 評估和清洗字符串Series數(shù)據(jù) 206
6.6.1 準(zhǔn)備工作 206
6.6.2 實(shí)戰(zhàn)操作 206
6.6.3 原理解釋 210
6.6.4 擴(kuò)展知識 211
6.7 處理日期 211
6.7.1 準(zhǔn)備工作 211
6.7.2 實(shí)戰(zhàn)操作 212
6.7.3 原理解釋 216
6.7.4 參考資料 217
6.8 識別和清洗缺失的數(shù)據(jù) 217
6.8.1 準(zhǔn)備工作 217
6.8.2 實(shí)戰(zhàn)操作 217
6.8.3 原理解釋 221
6.8.4 擴(kuò)展知識 221
6.8.5 參考資料 221
6.9 使用k近鄰算法填充缺失值 222
6.9.1 準(zhǔn)備工作 222
6.9.2 實(shí)戰(zhàn)操作 222
6.9.3 原理解釋 223
6.9.4 擴(kuò)展知識 224
6.9.5 參考資料 224
第7章 聚合時修復(fù)混亂數(shù)據(jù) 225
7.1 技術(shù)要求 226
7.2 使用itertuples遍歷數(shù)據(jù) 226
7.2.1 準(zhǔn)備工作 226
7.2.2 實(shí)戰(zhàn)操作 227
7.2.3 原理解釋 229
7.2.4 擴(kuò)展知識 230
7.3 使用NumPy數(shù)組按組計算匯總 231
7.3.1 準(zhǔn)備工作 231
7.3.2 實(shí)戰(zhàn)操作 231
7.3.3 原理解釋 233
7.3.4 擴(kuò)展知識 234
7.3.5 參考資料 234
7.4 使用groupby組織數(shù)據(jù) 234
7.4.1 準(zhǔn)備工作 234
7.4.2 實(shí)戰(zhàn)操作 234
7.4.3 原理解釋 237
7.4.4 擴(kuò)展知識 237
7.5 通過groupby使用更復(fù)雜的聚合函數(shù) 237
7.5.1 準(zhǔn)備工作 238
7.5.2 實(shí)戰(zhàn)操作 238
7.5.3 原理解釋 242
7.5.4 擴(kuò)展知識 243
7.5.5 參考資料 244
7.6 結(jié)合groupby使用用戶定義的函數(shù) 244
7.6.1 準(zhǔn)備工作 244
7.6.2 實(shí)戰(zhàn)操作 244
7.6.3 原理解釋 247
7.6.4 擴(kuò)展知識 247
7.6.5 參考資料 248
7.7 使用groupby更改DataFrame的分析單位 248
7.7.1 準(zhǔn)備工作 249
7.7.2 實(shí)戰(zhàn)操作 249
7.7.3 原理解釋 250
第8章 組合DataFrame 251
8.1 技術(shù)要求 252
8.2 垂直組合DataFrame 252
8.2.1 準(zhǔn)備工作 252
8.2.2 實(shí)戰(zhàn)操作 253
8.2.3 原理解釋 256
8.2.4 參考資料 256
8.3 進(jìn)行一對一合并 256
8.3.1 準(zhǔn)備工作 258
8.3.2 實(shí)戰(zhàn)操作 258
8.3.3 原理解釋 262
8.3.4 擴(kuò)展知識 263
8.4 按多列進(jìn)行一對一合并 263
8.4.1 準(zhǔn)備工作 263
8.4.2 實(shí)戰(zhàn)操作 263
8.4.3 原理解釋 266
8.4.4 擴(kuò)展知識 266
8.5 進(jìn)行一對多合并 266
8.5.1 準(zhǔn)備工作 267
8.5.2 實(shí)戰(zhàn)操作 267
8.5.3 原理解釋 271
8.5.4 擴(kuò)展知識 271
8.5.5 參考資料 271
8.6 進(jìn)行多對多合并 271
8.6.1 準(zhǔn)備工作 272
8.6.2 實(shí)戰(zhàn)操作 272
8.6.3 原理解釋 276
8.6.4 擴(kuò)展知識 277
8.7 開發(fā)合并例程 277
8.7.1 準(zhǔn)備工作 277
8.7.2 實(shí)戰(zhàn)操作 278
8.7.3 原理解釋 279
8.7.4 參考資料 280
第9章 規(guī)整和重塑數(shù)據(jù) 281
9.1 技術(shù)要求 282
9.2 刪除重復(fù)的行 282
9.2.1 準(zhǔn)備工作 282
9.2.2 實(shí)戰(zhàn)操作 283
9.2.3 原理解釋 285
9.2.4 擴(kuò)展知識 286
9.2.5 參考資料 286
9.3 修復(fù)多對多關(guān)系 286
9.3.1 準(zhǔn)備工作 287
9.3.2 實(shí)戰(zhàn)操作 287
9.3.3 原理解釋 291
9.3.4 擴(kuò)展知識 292
9.3.5 參考資料 292
9.4 使用stack和melt將數(shù)據(jù)由寬變長 292
9.4.1 準(zhǔn)備工作 293
9.4.2 實(shí)戰(zhàn)操作 293
9.4.3 原理解釋 297
9.5 使用wide_to_long處理多列 297
9.5.1 準(zhǔn)備工作 297
9.5.2 實(shí)戰(zhàn)操作 297
9.5.3 原理解釋 299
9.5.4 擴(kuò)展知識 299
9.6 使用unstack和pivot將數(shù)據(jù)由長變寬 300
9.6.1 準(zhǔn)備工作 300
9.6.2 實(shí)戰(zhàn)操作 300
9.6.3 原理解釋 302
第10章 用戶定義的函數(shù)和類 303
10.1 技術(shù)要求 303
10.2 用于查看數(shù)據(jù)的函數(shù) 303
10.2.1 準(zhǔn)備工作 304
10.2.2 實(shí)戰(zhàn)操作 304
10.2.3 原理解釋 307
10.2.4 擴(kuò)展知識 308
10.3 用于顯示摘要統(tǒng)計信息和頻率的函數(shù) 308
10.3.1 準(zhǔn)備工作 308
10.3.2 實(shí)戰(zhàn)操作 309
10.3.3 原理解釋 313
10.3.4 擴(kuò)展知識 313
10.3.5 參考資料 313
10.4 識別離群值和意外值的函數(shù) 314
10.4.1 準(zhǔn)備工作 314
10.4.2 實(shí)戰(zhàn)操作 315
10.4.3 原理解釋 319
10.4.4 擴(kuò)展知識 319
10.4.5 參考資料 319
10.5 聚合或合并數(shù)據(jù)的函數(shù) 319
10.5.1 準(zhǔn)備工作 320
10.5.2 實(shí)戰(zhàn)操作 320
10.5.3 原理解釋 325
10.5.4 擴(kuò)展知識 325
10.5.5 參考資料 326
10.6 包含更新Series值邏輯的類 326
10.6.1 準(zhǔn)備工作 326
10.6.2 實(shí)戰(zhàn)操作 326
10.6.3 原理解釋 330
10.6.4 擴(kuò)展知識 331
10.6.5 參考資料 331
10.7 處理非表格數(shù)據(jù)結(jié)構(gòu)的類 331
10.7.1 準(zhǔn)備工作 332
10.7.2 實(shí)戰(zhàn)操作 333
10.7.3 原理解釋 336
10.7.4 擴(kuò)展知識 336