數(shù)據(jù)分析技術(shù)：使用SQL和Excel工具（第2版）

第1章 數(shù)據(jù)挖掘者眼中的SQL 1
1.1 數(shù)據(jù)庫(kù)、SQL和大數(shù)據(jù) 2
1.1.1 什么是大數(shù)據(jù)？ 2
1.1.2 關(guān)系型數(shù)據(jù)庫(kù) 3
1.1.3 Hadoop和Hive 3
1.1.4 NoSQL和其他類型的數(shù)據(jù)庫(kù) 3
1.1.5 SQL 4
1.2 繪制數(shù)據(jù)結(jié)構(gòu) 4
1.2.1 什么是數(shù)據(jù)模型？ 5
1.2.2 什么是表？ 5
1.2.3 什么是實(shí)體-關(guān)系圖表？ 8
1.2.4 郵政編碼表 9
1.2.5 訂閱數(shù)據(jù)集 10
1.2.6 訂單數(shù)據(jù)集 11
1.2.7 關(guān)于命名的提示 12
1.3 使用數(shù)據(jù)流描述數(shù)據(jù)分析 12
1.3.1 什么是數(shù)據(jù)流？ 13
1.3.2 數(shù)據(jù)流、SQL和關(guān)系代數(shù) 16
1.4 SQL查詢 16
1.4.1 做什么，而不是怎么去做 16
1.4.2 SELECT語(yǔ)句 17
1.4.3 一個(gè)基礎(chǔ)的SQL查詢 17
1.4.4 一個(gè)基本的SQL求和查詢 19
1.4.5 聯(lián)接表的意義 20
1.4.6 SQL的其他重要功能 26
1.5 子查詢和公用表表達(dá)式 29
1.5.1 用于命名變量的子查詢 29
1.5.2 處理統(tǒng)計(jì)信息的子查詢 32
1.5.3 子查詢和IN 33
1.5.4 用于UNION ALL的子查詢 37
1.6 小結(jié) 38
第2章 表中有什么？開(kāi)始數(shù)據(jù)探索 39
2.1 什么是數(shù)據(jù)探索？ 40
2.2 Excel中的繪圖 40
2.2.1 基礎(chǔ)圖表：柱形圖 41
2.2.2 單元格中的條形圖 45
2.2.3 柱形圖的有用變化形式 47
2.2.4 其他類型的圖表 50
2.3 迷你圖 53
2.4 列中包含的值 55
2.4.1 直方圖 55
2.4.2 計(jì)數(shù)的直方圖 58
2.4.3 計(jì)數(shù)的累積直方圖 60
2.4.4 數(shù)字值的直方圖(頻率) 60
2.5 探索更多的值——*小值、*大
值和模式 64
2.5.1 *小值和*大值 64
2.5.2 *常見(jiàn)的值(模式) 65
2.6 探索字符串值 66
2.6.1 長(zhǎng)度的直方圖 66
2.6.2 起始或結(jié)尾包含空白字符
的字符串 66
2.6.3 處理大小寫問(wèn)題 67
2.6.4 字符串中存儲(chǔ)的字符是
什么？ 67
2.7 探索兩個(gè)列中的值 69
2.7.1 每個(gè)州的平均銷售額
是多少？ 70
2.7.2 在一個(gè)單獨(dú)的訂單中，產(chǎn)品重復(fù)
出現(xiàn)的頻率是多少？ 70
2.7.3 哪個(gè)州的American Express
用戶*多？ 73
2.8 由一個(gè)列的數(shù)據(jù)擴(kuò)展到所有列
的數(shù)據(jù)匯總 73
2.8.1 針對(duì)單列的匯總 74
2.8.2 返回表中所有列的查詢 76
2.8.3 使用SQL生成匯總編碼 76
2.9 小結(jié) 78
第3章 不同之處是如何不同？ 79
3.1 基本的統(tǒng)計(jì)學(xué)概念 80
3.1.1 虛擬假設(shè) 80
3.1.2 可信度和概率 81
3.1.3 正態(tài)分布 82
3.2 平均值的區(qū)別有多大？ 85
3.2.1 方法 85
3.2.2 子集平均值的標(biāo)準(zhǔn)差 85
3.2.3 三個(gè)方法 87
3.3 對(duì)表做抽樣 89
3.3.1 隨機(jī)抽樣 89
3.3.2 可重復(fù)的隨機(jī)樣本 90
3.3.3 分層比例抽樣 91
3.3.4 平衡的樣本 92
3.4 計(jì)數(shù)的可能性 93
3.4.1 有多少男性成員？ 96
3.4.2 有多少加利福尼亞人？ 98
3.4.3 虛擬假設(shè)和可信度 99
3.4.4 有多少客戶仍然是活躍
客戶？ 100
3.4.5 比率或數(shù)字？ 103
3.5 概率和它們的統(tǒng)計(jì) 104
3.5.1 概率的標(biāo)準(zhǔn)差 104
3.5.2 概率的置信區(qū)間 105
3.5.3 概率的不同 106
3.5.4 保守的下限值 107
3.6 卡方檢驗(yàn) 107
3.6.1 期望值 108
3.6.2 卡方計(jì)算 108
3.6.3 卡方分布 109
3.6.4 SQL中的卡方檢驗(yàn) 111
3.6.5 州和產(chǎn)品之間的特殊關(guān)系 112
3.7 月份和支付類型與不同產(chǎn)品
類型的特殊關(guān)系 114
3.7.1 多維卡方 114
3.7.2 使用SQL查詢 115
3.7.3 結(jié)果 115
3.8 小結(jié) 116
第4章 發(fā)生的地點(diǎn)在何處？ 119
4.1 緯度和經(jīng)度 120
4.1.1 緯度和經(jīng)度的定義 120
4.1.2 度數(shù)、分鐘和秒 121
4.1.3 兩個(gè)位置之間的距離 122
4.1.4 包含郵政編碼的圖片 128
4.2 人口統(tǒng)計(jì) 131
4.2.1 極端情況：*富有的和*貧
窮的人 132
4.2.2 分別在使用訂單和不使用訂
單的情況下比較郵政編碼 137
4.3 地理等級(jí) 142
4.3.1 州中*富有的郵政編碼 142
4.3.2 州中擁有*多訂單的郵政
編碼 143
4.3.3 地理數(shù)據(jù)中有趣的層級(jí)
結(jié)構(gòu) 145
4.3.4 計(jì)算郡的財(cái)富 148
4.3.5 財(cái)富值的分布 150
4.3.6 在郡中，哪個(gè)郵政編碼是相對(duì)
*富有的？ 151
4.3.7 擁有*高的相對(duì)訂單占有
份額的郡 152
4.4 在Excel中繪制地圖 155
4.4.1 為什么繪制地圖？ 155
4.4.2 不能繪圖 156
4.4.3 網(wǎng)絡(luò)地圖 156
4.4.4 郵政編碼散點(diǎn)圖之上的州
邊界 157
4.5 小結(jié) 159
第5章 關(guān)于時(shí)間 161
5.1 數(shù)據(jù)庫(kù)中的日期和時(shí)間 162
5.2 開(kāi)始調(diào)研日期 166
5.2.1 確認(rèn)日期中沒(méi)有時(shí)間 166
5.2.2 根據(jù)日期比較計(jì)數(shù) 167
5.2.3 訂單數(shù)和訂單大小 172
5.2.4 星期 175
5.3 兩個(gè)日期之間有多長(zhǎng)？ 178
5.3.1 以天為單位的持續(xù)時(shí)間 178
5.3.2 以星期為單位的持續(xù)時(shí)間 180
5.3.3 以月為單位的持續(xù)時(shí)間 180
5.3.4 有多少個(gè)星期一？ 181
5.3.5 下一個(gè)周年紀(jì)念日(或生日)
是什么時(shí)候？ 184
5.4 跨年比較 188
5.4.1 以天為單位比較 188
5.4.2 以星期為單位比較 189
5.4.3 以月為單位比較 190
5.5 以天計(jì)算活躍客戶數(shù)量 196
5.5.1 某天的活躍客戶數(shù)量 196
5.5.2 每天的活躍客戶數(shù)量 196
5.5.3 有多少不同類型的客戶？ 198
5.5.4 不同任期時(shí)段的客戶數(shù)量 198
5.5.5 只使用SQL計(jì)算活躍客戶 201
5.6 Excel中的簡(jiǎn)單圖表動(dòng)畫 203
5.6.1 從訂單生成日期到運(yùn)貨
日期 203
5.6.2 訂單延時(shí)在每年中的變化 205
5.7 小結(jié) 208
第6章 客戶的持續(xù)時(shí)間有多久？使用
生存分析理解客戶和他們的
價(jià)值 209
6.1 生存分析 210
6.1.1 平均壽命 211
6.1.2 醫(yī)學(xué)研究 212
6.1.3 關(guān)于風(fēng)險(xiǎn)率的示例 212
6.2 風(fēng)險(xiǎn)計(jì)算 213
6.2.1 數(shù)據(jù)調(diào)研 214
6.2.2 風(fēng)險(xiǎn)率 216
6.2.3 客戶可視化：時(shí)間與任期 217
6.2.4 截尾 219
6.3 生存率和保留率 220
6.3.1 生存率的點(diǎn)的估計(jì) 220
6.3.2 計(jì)算任意任期的生存率 221
6.3.3 在SQL中計(jì)算生存率 222
6.3.4 簡(jiǎn)單的客戶保留率計(jì)算 225
6.3.5 保留率和生存率的區(qū)別 226
6.3.6 風(fēng)險(xiǎn)率和生存率的簡(jiǎn)單
示例 227
6.4 對(duì)比不同的客戶分組 230
6.4.1 市場(chǎng)總結(jié) 230
6.4.2 市場(chǎng)分層 231
6.4.3 生存率比例 234
6.4.4 條件生存率 234
6.5 隨時(shí)間變化的生存率 236
6.5.1 特定風(fēng)險(xiǎn)率隨時(shí)間的變化 236
6.5.2 按照起始年份分類的客戶
生存率 238
6.5.3 之前的生存率什么樣？ 239
6.6 由生存率衍生出來(lái)的重要
指標(biāo) 241
6.6.1 估算生存點(diǎn) 241
6.6.2 客戶任期的中間值 242
6.6.3 客戶生命周期的中間值 242
6.6.4 風(fēng)險(xiǎn)率的置信度 243
6.7 使用生存率計(jì)算客戶價(jià)值 245
6.7.1 估算收入 246
6.7.2 對(duì)個(gè)體的未來(lái)收入的估算 247
6.7.3 當(dāng)前客戶分組的收入估算 249
6.7.4 所有客戶未來(lái)收入的估算 251
6.8 預(yù)測(cè) 253
6.8.1 對(duì)已有客戶的預(yù)測(cè) 254
6.8.2 對(duì)新開(kāi)始者的預(yù)測(cè) 258
6.9 小結(jié) 259
第7章 影響生存率的因素：客戶
任期 261
7.1 哪些因素是重要的，何時(shí)
重要？ 262
7.1.1 方法說(shuō)明 262
7.1.2 使用平均值比較數(shù)字因素 264
7.1.3 風(fēng)險(xiǎn)比例 268
7.2 左截?cái)?271
7.2.1 認(rèn)識(shí)左截?cái)?271
7.2.2 左截?cái)嗟挠绊?273
7.2.3 如何從理論上解決左截?cái)?br />問(wèn)題 274
7.2.4 估算一個(gè)任期的風(fēng)險(xiǎn)率 275
7.2.5 估算所有任期的風(fēng)險(xiǎn)率 276
7.2.6 在SQL中計(jì)算 277
7.3 時(shí)間窗 278
7.3.1 一個(gè)商業(yè)問(wèn)題 278
7.3.2 時(shí)間窗=左截?cái)?右截尾 278
7.4 競(jìng)爭(zhēng)風(fēng)險(xiǎn) 283
7.4.1 競(jìng)爭(zhēng)風(fēng)險(xiǎn)的示例 283
7.4.2 競(jìng)爭(zhēng)風(fēng)險(xiǎn)的“風(fēng)險(xiǎn)率” 284
7.4.3 競(jìng)爭(zhēng)風(fēng)險(xiǎn)的“生存率” 286
7.4.4 隨著時(shí)間的變化，客戶身上
發(fā)生了什么？ 287
7.5 事件前后 291
7.5.1 三種情況 291
7.5.2 使用生存率預(yù)測(cè)來(lái)理解一次
性事件 293
7.5.3 比較前后風(fēng)險(xiǎn)率 294
7.5.4 基于對(duì)列的方法 294
7.5.5 基于對(duì)列的方法：完全隊(duì)列 295
7.5.6 事件影響的直接估計(jì) 297
7.6 小結(jié) 301
第8章 多次購(gòu)買以及其他重復(fù)事件 303
8.1 標(biāo)識(shí)客戶 304
8.1.1 誰(shuí)是那個(gè)客戶？ 304
8.1.2 其他客戶信息 313
8.1.3 每一年出現(xiàn)多少新客戶？ 316
8.2 RFM分析 325
8.2.1 維度 325
8.2.2 計(jì)算RFM單元格 329
8.2.3 RFM的有用程度 330
8.3 隨著時(shí)間的變化，哪些家庭的
購(gòu)買金額在增長(zhǎng)？ 334
8.3.1 *早值和*晚值的比較 334
8.3.2 *年和*后一年的值的
比較 341
8.3.3 *佳擬合線的趨勢(shì) 343
8.4 距離下一次事件的時(shí)間 344
8.4.1 計(jì)算背后的想法 344
8.4.2 使用SQL計(jì)算下一次購(gòu)買
日期 345
8.4.3 從下一次購(gòu)買日期到時(shí)間至
事件的分析 346
8.4.4 時(shí)間到事件分析的分層 347
8.5 小結(jié) 347
第9章 購(gòu)物車?yán)镉惺裁矗抠?gòu)物車
分析 349
9.1 探索產(chǎn)品 349
9.1.1 產(chǎn)品的散點(diǎn)圖 350
9.1.2 產(chǎn)品組的運(yùn)輸年份 351
9.1.3 訂單中的重復(fù)產(chǎn)品 353
9.1.4 單位數(shù)量的直方圖 358
9.1.5 在一個(gè)訂單中，哪個(gè)產(chǎn)品可能
出現(xiàn)多次購(gòu)買的情況？ 359
9.1.6 改變價(jià)格 361
9.2 產(chǎn)品和客戶價(jià)值 362
9.2.1 訂單大小的一致性 362
9.2.2 與一次性客戶關(guān)聯(lián)的產(chǎn)品 365
9.2.3 與*好的客戶相關(guān)的產(chǎn)品 368
9.2.4 剩余價(jià)值 370
9.3 產(chǎn)品的地理分布 372
9.3.1 每一個(gè)州中*常見(jiàn)的產(chǎn)品 372
9.3.2 哪些產(chǎn)品廣受歡迎，哪些產(chǎn)品
只在本地受歡迎？ 373
9.4 哪些客戶購(gòu)買了指定產(chǎn)品？ 375
9.4.1 哪些客戶擁有*受歡迎的
產(chǎn)品？ 375
9.4.2 客戶擁有哪個(gè)產(chǎn)品？ 376
9.4.3 哪些客戶有3個(gè)特定的
產(chǎn)品？ 381
9.4.4 普遍的嵌套集合的查詢 384
9.5 小結(jié) 385
第10章 關(guān)聯(lián)規(guī)則 387
10.1 項(xiàng)集 388
10.1.1 兩個(gè)產(chǎn)品的組合 388
10.1.2 更常見(jiàn)的項(xiàng)集 391
10.1.3 家庭，而不是訂單 396
10.2 *簡(jiǎn)單的關(guān)聯(lián)規(guī)則 399
10.2.1 關(guān)聯(lián)和規(guī)則 400
10.2.2 零項(xiàng)關(guān)聯(lián)規(guī)則 400
10.2.3 概率的分布情況 401
10.2.4 零項(xiàng)關(guān)聯(lián)告訴了我們
什么？ 402
10.3 單項(xiàng)關(guān)聯(lián)規(guī)則 402
10.3.1 單項(xiàng)關(guān)聯(lián)規(guī)則的價(jià)值 402
10.3.2 生成所有的單項(xiàng)規(guī)則 404
10.3.3 包含評(píng)估信息的單項(xiàng)
規(guī)則 405
10.3.4 基于產(chǎn)品組的單項(xiàng)規(guī)則 406
10.4 雙項(xiàng)關(guān)聯(lián) 407
10.4.1 計(jì)算雙項(xiàng)關(guān)聯(lián) 408
10.4.2 使用卡方找到*佳規(guī)則 409
10.4.3 異質(zhì)相關(guān) 413
10.5 擴(kuò)展關(guān)聯(lián)規(guī)則 416
10.5.1 多項(xiàng)關(guān)聯(lián) 416
10.5.2 一個(gè)查詢中的多項(xiàng)關(guān)聯(lián) 418
10.5.3 使用產(chǎn)品屬性的規(guī)則 418
10.5.4 左右兩側(cè)項(xiàng)集內(nèi)容不同
的規(guī)則 419
10.5.5 之前和之后：有序關(guān)聯(lián)
規(guī)則 419
10.6 小結(jié) 422
第11章 SQL數(shù)據(jù)挖掘模型 423
11.1 定向數(shù)據(jù)挖掘介紹 424
11.1.1 定向模型 424
11.1.2 建模中的數(shù)據(jù) 425
11.1.3 建模應(yīng)用示例 427
11.1.4 模型評(píng)估 429
11.2 相似性模型 429
11.2.1 模型是什么？ 430
11.2.2 *好的郵政編碼是
哪個(gè)？ 430
11.2.3 基礎(chǔ)的相似性模型 431
11.2.4 使用Z分?jǐn)?shù)計(jì)算相似性
模型 433
11.2.5 鄰近模型示例 434
11.3 *受歡迎產(chǎn)品的查找模型 435
11.3.1 *受歡迎的產(chǎn)品 435
11.3.2 計(jì)算*受歡迎的產(chǎn)品組 436
11.3.3 評(píng)估查找模型 437
11.3.4 使用調(diào)試查找模型做
預(yù)測(cè) 437
11.3.5 使用二元分類 439
11.4 用于訂單大小的查找模型 440
11.4.1 *基本的模型：無(wú)維度
模型 440
11.4.2 添加一個(gè)維度 441
11.4.3 添加額外的維度 443
11.4.4 檢查不穩(wěn)定性 443
11.4.5 使用平均值圖表評(píng)估
模型 444
11.5 用于響應(yīng)率的查找模型 445
11.5.1 將整體概率作為一個(gè)
模型 445
11.5.2 探索不同的維度 446
11.5.3 模型的精準(zhǔn)度 447
11.5.4 ROC圖表和AUC 450
11.5.5 加入更多的維度 453
11.6 樸素貝葉斯模型(證據(jù)模型) 455
11.6.1 概率的一些概念 455
11.6.2 計(jì)算樸素貝葉斯模型 457
11.6.3 樸素貝葉斯模型：評(píng)分和
提升度 463
11.6.4 樸素貝葉斯模型和查找
模型的比較 465
11.7 小結(jié) 466
第12章 *佳擬合線：線性回歸
模型 467
12.1 *佳擬合線 468
12.1.1 任期和支付金額 468
12.1.2 *佳擬合線的屬性 469
12.1.3 小心數(shù)據(jù) 473
12.1.4 圖表中的趨勢(shì)線 474
12.1.5 使用LINEST()函數(shù)的
*佳擬合 479
12.2 使用R2衡量擬合程度 483
12.2.1 R2值 483
12.2.2 R2的局限性 484
12.2.3 R2的含義 484
12.3 直接計(jì)算*佳擬合線系數(shù) 485
12.3.1 計(jì)算系數(shù) 485
12.3.2 在SQL中計(jì)算*佳
擬合線 486
12.3.3 價(jià)格彈性 487
12.4 加權(quán)的線性回歸 492
12.4.1 在*年停止的客戶 492
12.4.2 加權(quán)的*佳擬合 493
12.4.3 圖表中的加權(quán)*佳
擬合線 494
12.4.4 SQL中的加權(quán)*佳
擬合線 495
12.4.5 使用Solver的加權(quán)*佳
擬合線 496
12.5 多個(gè)輸入 498
12.5.1 Excel中的多維回歸 498
12.5.2 建立包含三個(gè)變量的
模型 500
12.5.3 使用Solver處理多維
回歸 501
12.5.4 逐個(gè)選擇輸入變量 501
12.5.5 SQL中的多維回歸 502
12.6 小結(jié) 503
第13章 為進(jìn)一步分析數(shù)據(jù)創(chuàng)建客戶
簽名 505
13.1 什么是客戶簽名？ 506
13.1.1 什么是客戶？ 506
13.1.2 客戶簽名的源數(shù)據(jù) 507
13.1.3 使用客戶簽名 510
13.2 設(shè)計(jì)客戶簽名 511
13.2.1 調(diào)試和預(yù)測(cè) 511
13.2.2 字段的角色 511
13.2.3 時(shí)間段 512
13.3 建立客戶簽名的操作 515
13.3.1 驅(qū)動(dòng)表 515
13.3.2 查找數(shù)據(jù) 518
13.3.3 *初的交易 520
13.3.4 旋轉(zhuǎn) 521
13.3.5 總結(jié) 528
13.4 抽取特征 530
13.4.1 地理位置信息 530
13.4.2 日期時(shí)間列 531
13.4.3 字符串中的模式 532
13.5 總結(jié)客戶行為 534
13.5.1 計(jì)算時(shí)間序列的斜率 534
13.5.2 周末消費(fèi)者 537
13.5.3 下降的使用行為 540
13.6 小結(jié) 541
第14章 性能問(wèn)題：高效使用SQL 543
14.1 查詢引擎和性能 544
14.1.1 用于理解性能的時(shí)間
復(fù)雜度 544
14.1.2 一個(gè)簡(jiǎn)單的示例 545
14.1.3 與性能相關(guān)的思考 547
14.1.4 性能的含義和測(cè)量 549
14.1.5 性能提升入門 549
14.2 高效使用索引 553
14.2.1 什么是索引？ 553
14.2.2 索引的簡(jiǎn)單示例 557
14.2.3 索引的限制 560
14.2.4 高效使用復(fù)合索引 562
14.3 何時(shí)使用OR是低效的？ 566
14.3.1 有時(shí)UNION ALL比OR
更好 566
14.3.2 有時(shí)LEFT OUTER JOIN比
OR更高效 567
14.3.3 有時(shí)多個(gè)條件表達(dá)式
更好 568
14.4 贊成和反對(duì)：表達(dá)一件事情的
不同方法 569
14.4.1 在Orders表中，哪些州
沒(méi)有被識(shí)別？ 569
14.4.2 一個(gè)關(guān)于GROUP BY的
難題 571
14.4.3 小心COUNT(*)=0 573
14.5 窗口函數(shù) 576
14.5.1 窗口函數(shù)適用于什么
地方？ 576
14.5.2 窗口函數(shù)的靈活使用 576
14.6 小結(jié) 582
附錄 數(shù)據(jù)庫(kù)之間的等價(jià)結(jié)構(gòu) 583