SQL數(shù)據(jù)分析

目錄
前言 .1
第1 章 用SQL 來做數(shù)據(jù)分析 7
1.1 什么是數(shù)據(jù)分析 . 7
1.2 為什么用SQL 10
1.2.1 SQL 是什么 10
1.2.2 SQL 的優(yōu)勢 13
1.2.3 SQL 與R 和Python 的對比 14
1.2.4 SQL 作為數(shù)據(jù)分析流程中的一部分 . 16
1.3 數(shù)據(jù)庫類型以及如何使用 19
1.3.1 行存儲數(shù)據(jù) 20
1.3.2 列存儲數(shù)據(jù) 22
1.3.3 其他的數(shù)據(jù)結(jié)構(gòu)類型 23
1.4 總結(jié) 25
第2 章 為數(shù)據(jù)分析做準(zhǔn)備 26
2.1 數(shù)據(jù)類型 27
2.1.1 數(shù)據(jù)庫的數(shù)據(jù)類型 . 27
2.1.2 結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù) 29
2.1.3 定量和定性數(shù)據(jù) . 30
2.1.4 第一方、第二方和第三方數(shù)據(jù) 31
2.1.5 稀疏數(shù)據(jù). 32
2.2 SQL 查詢結(jié)構(gòu) 33
2.3 數(shù)據(jù)剖析：分布 36
2.3.1 直方圖和頻率 37
2.3.2 分箱 40
2.3.3 n-Tiles 43
2.4 數(shù)據(jù)剖析：數(shù)據(jù)質(zhì)量 . 46
2.4.1 檢測重復(fù)數(shù)據(jù) 47
2.4.2 用GROUP BY 和DISTINCT 來處理重復(fù)數(shù)據(jù) 49
2.5 準(zhǔn)備：數(shù)據(jù)清理 50
2.5.1 通過CASE 轉(zhuǎn)換來清理數(shù)據(jù) 51
2.5.2 數(shù)據(jù)類型轉(zhuǎn)換 54
2.5.3 處理空值：coalesce, nulliff, nvl 函數(shù) 57
2.5.4 缺失的數(shù)據(jù) 61
2.6 準(zhǔn)備：數(shù)據(jù)構(gòu)形 66
2.6.1 你需要怎樣的輸出：BI，可視化，統(tǒng)計，機(jī)器學(xué)習(xí) 67
2.6.2 用CASE 語句進(jìn)行數(shù)據(jù)透視 68
2.6.3 用UNION 語句來取消數(shù)據(jù)透視 70
2.6.4 pivot（透視）和unpivot（取消透視）函數(shù) 73
2.7 總結(jié) 75
第3 章 時間序列分析 .76
3.1 日期、日期時間和時間操作 77
3.1.1 時區(qū)轉(zhuǎn)換. 78
3.1.2 日期和時間戳的格式轉(zhuǎn)換 . 80
3.1.3 日期相關(guān)的計算 . 85
3.1.4 時間相關(guān)的計算 . 88
3.1.5 連接不同來源的數(shù)據(jù) 90
3.2 零售銷售數(shù)據(jù)集 91
3.3 對數(shù)據(jù)進(jìn)行趨勢分析 . 92
3.3.1 簡單的趨勢 93
3.3.2 比較時間序列的組成部分 . 95
3.3.3 計算占總數(shù)的百分比 . 104
3.3.4 運用索引以查看隨時間變化的百分比 108
3.4 滾動時間窗口 . 113
3.4.1 計算滾動時間窗口 115
3.4.2 稀疏數(shù)據(jù)的滾動時間窗口 121
3.4.3 計算累計值 . 124
3.5 季節(jié)性分析 127
3.5.1 同期比較：YoY 和MoM . 129
3.5.2 同期比較：與去年的同月進(jìn)行對比 132
3.5.3 與多個以前的周期做對比 137
3.6 總結(jié) . 140
第 4 章 同期群分析 141
4.1 同期群：一種有用的分析框架 142
4.2 立法者數(shù)據(jù)集 . 145
4.3 留存 . 146
4.3.1 基本留存曲線的 SQL 148
4.3.2 調(diào)整時間序列以提高留存率的準(zhǔn)確性 152
4.3.3 從時間序列數(shù)據(jù)構(gòu)建同期群 158
4.3.4 從單獨的表構(gòu)建同期群 164
4.3.5 處理稀疏同期群 168
4.3.6 用除第一個日期以外的其他日期定義同期群 173
4.4 相關(guān)同期群分析 176
4.4.1 生存 177
4.4.2 返回或重復(fù)購買行為 . 181
4.4.3 累積計算 187
4.5 透過同期群看橫斷面分析 . 191
4.6 總結(jié) . 200
第 5 章 文本分析 201
5.1 為什么使用 SQL 進(jìn)行文本分析 . 201
5.1.1 什么是文本分析 202
5.1.2 為什么 SQL 是文本分析的好選擇 202
5.1.3 什么情況下 SQL 不是一個好的選擇 . 204
5.2 UFO 目擊數(shù)據(jù)集 205
5.3 文本特征 206
5.4 解析文本 208
5.5 文本轉(zhuǎn)換 214
5.6 在較大的文本塊中查找元素 223
5.6.1 通配符匹配：LIKE，ILIKE 223
5.6.2 精確匹配：IN，NOT IN . 229
5.6.3 正則表達(dá)式 . 232
5.7 構(gòu)建與重塑文本 250
5.7.1 拼接 250
5.7.2 重塑文本 254
5.8 總結(jié) . 258
第6 章 異常檢測 259
6.1 SQL 異常檢測的能力和限制 260
6.2 數(shù)據(jù)集 261
6.3 檢測異常值 262
6.3.1 通過排序查找異常 263
6.3.2 通過計算百分比和標(biāo)準(zhǔn)偏差發(fā)現(xiàn)異常 266
6.3.3 通過作圖可視化查找異常 274
6.4 異常的形式 283
6.4.1 異常值 283
6.4.2 異常的計數(shù)或頻率 287
6.4.3 數(shù)據(jù)缺失引起的異常 . 292
6.5 處理異常 294
6.5.1 探查 294
6.5.2 刪除 295
6.5.3 替代值替換 . 297
6.5.4 縮放 299
6.6 總結(jié) . 301
第 7 章 實驗分析 302
7.1 用 SQL 進(jìn)行實驗分析的優(yōu)勢與局限性 . 303
7.2 數(shù)據(jù)集 305
7.3 實驗的類型 307
7.3.1 二元結(jié)果實驗：卡方檢驗 307
7.3.2 具有連續(xù)結(jié)果的實驗：t 檢驗 310
7.4 實驗的挑戰(zhàn)和拯救有缺陷的實驗的方法 312
7.4.1 變體分配 312
7.4.2 異常值 314
7.4.3 時間盒 315
7.4.4 重復(fù)暴露實驗 317
7.5 當(dāng)無法進(jìn)行控制實驗時：替代分析 . 318
7.5.1 前/ 后分析 319
7.5.2 自然實驗分析 321
7.5.3 閾值附近的群體分析 . 322
7.6 總結(jié) . 323
第8 章 創(chuàng)建用于分析的復(fù)雜數(shù)據(jù)集 324
8.1 何時對復(fù)雜數(shù)據(jù)集使用 SQL 324
8.1.1 使用 SQL 的優(yōu)點 . 325
8.1.2 什么時候構(gòu)建ETL . 326
8.1.3 何時將邏輯放入其他工具中 328
8.2 代碼組織 329
8.2.1 注釋 330
8.2.2 大寫，縮進(jìn)，括號和其他格式技巧 331
8.2.3 存儲代碼 334
8.3 組織計算 335
8.3.1 理解SQL 子句的計算順序 . 335
8.3.2 子查詢 339
8.3.3 臨時表 341
8.3.4 公共表表達(dá)式 343
8.3.5 grouping sets 344
8.4 管理數(shù)據(jù)集大小和隱私問題 349
8.4.1 使用 % 、mod 進(jìn)行抽樣 . 349
8.4.2 降低維數(shù) 351
8.4.3 PII 和數(shù)據(jù)隱私 . 355
8.5 總結(jié) . 357
第9 章 結(jié)論 358
9.1 漏斗分析 358
9.2 流失、中止和其他離開的定義 360
9.3 購物籃分析 365
9.4 資源 . 367
9.4.1 書籍和博客 . 368
9.4.2 數(shù)據(jù)集 369
9.5 最終的想法 370