數(shù)據(jù)工程之道：設(shè)計(jì)和構(gòu)建健壯的數(shù)據(jù)系統(tǒng)

前言1
第一部分 基礎(chǔ)和構(gòu)建塊7
第1章 數(shù)據(jù)工程概述9
1.1 什么是數(shù)據(jù)工程9
1.2 數(shù)據(jù)工程技能和活動(dòng)18
1.3 組織內(nèi)部的數(shù)據(jù)工程師26
1.4 總結(jié)34
1.5 補(bǔ)充資料34
第2章 數(shù)據(jù)工程生命周期36
2.1 什么是數(shù)據(jù)工程生命周期36
2.2 數(shù)據(jù)工程生命周期中的主要底層設(shè)計(jì)49
2.3 總結(jié)66
2.4 補(bǔ)充資料67
第3章 設(shè)計(jì)好的數(shù)據(jù)架構(gòu)68
3.1 什么是數(shù)據(jù)架構(gòu)68
3.2 好的數(shù)據(jù)架構(gòu)的原則73
3.3 主要架構(gòu)概念81
3.4 數(shù)據(jù)架構(gòu)的示例和類型91
3.5 誰(shuí)參與了數(shù)據(jù)架構(gòu)的設(shè)計(jì)102
3.6 總結(jié)102
3.7 補(bǔ)充資料103
第4章 根據(jù)數(shù)據(jù)生命周期選擇技術(shù)107
4.1 團(tuán)隊(duì)大小和能力108
4.2 加速市場(chǎng)化109
4.3 互操作性109
4.4 成本優(yōu)化和商業(yè)價(jià)值110
4.5 現(xiàn)在與未來(lái)：不變的與暫時(shí)的技術(shù)112
4.6 部署位置114
4.7 構(gòu)建與購(gòu)買122
4.8 單體與模塊化128
4.9 無(wú)服務(wù)器與服務(wù)器131
4.10 優(yōu)化、性能和基準(zhǔn)戰(zhàn)爭(zhēng)135
4.11 底層設(shè)計(jì)及其對(duì)技術(shù)選擇的影響137
4.12 總結(jié)139
4.13 補(bǔ)充資料139
第二部分 深入數(shù)據(jù)工程生命周期141
第5章 源系統(tǒng)中的數(shù)據(jù)生成143
5.1 數(shù)據(jù)源：數(shù)據(jù)是如何生成的？144
5.2 源系統(tǒng)：主要觀點(diǎn)144
5.3 源系統(tǒng)實(shí)際細(xì)節(jié)152
5.4 你和誰(shuí)一起工作166
5.5 數(shù)據(jù)底層設(shè)計(jì)及其對(duì)源系統(tǒng)的影響167
5.6 總結(jié)171
5.7 補(bǔ)充資料172
第6章 存儲(chǔ)173
6.1 數(shù)據(jù)存儲(chǔ)的原材料174
6.2 數(shù)據(jù)存儲(chǔ)系統(tǒng)180
6.3 數(shù)據(jù)工程存儲(chǔ)抽象195
6.4 存儲(chǔ)的重要思想和趨勢(shì)198
6.5 你和誰(shuí)一起工作206
6.6 底層設(shè)計(jì)207
6.7 總結(jié)209
6.8 補(bǔ)充資料209
第7章 獲取210
7.1 什么是數(shù)據(jù)獲取210
7.2 數(shù)據(jù)獲取階段的關(guān)鍵工程考慮因素212
7.3 批量獲取的考慮因素220
7.4 消息和流獲取的考慮因素223
7.5 獲取數(shù)據(jù)的方式225
7.6 你和誰(shuí)一起工作236
7.7 底層設(shè)計(jì)237
7.8 總結(jié)241
7.9 補(bǔ)充資料242
第8章 查詢、建模和轉(zhuǎn)換243
8.1 查詢244
8.2 數(shù)據(jù)建模257
8.3 轉(zhuǎn)換276
8.4 你和誰(shuí)一起工作293
8.5 底層設(shè)計(jì)294
8.6 總結(jié)298
8.7 補(bǔ)充資料298
第9章 為分析、機(jī)器學(xué)習(xí)和反向ETL提供數(shù)據(jù)服務(wù)300
9.1 提供數(shù)據(jù)服務(wù)的常見(jiàn)關(guān)注點(diǎn)301
9.2 分析306
9.3 機(jī)器學(xué)習(xí)310
9.4 數(shù)據(jù)工程師需要理解的機(jī)器學(xué)習(xí)知識(shí)310
9.5 為分析和機(jī)器學(xué)習(xí)提供數(shù)據(jù)服務(wù)的方法312
9.6 反向ETL318
9.7 你和誰(shuí)一起工作319
9.8 底層設(shè)計(jì)320
9.9 總結(jié)324
9.10 補(bǔ)充資料324
第三部分 安全、隱私和數(shù)據(jù)工程的未來(lái)327
第10章 安全和隱私329
10.1 人員330
10.2 流程330
10.3 技術(shù)333
10.4 總結(jié)336
10.5 補(bǔ)充資料336
第11章 數(shù)據(jù)工程的未來(lái)337
11.1 常青的數(shù)據(jù)工程生命周期337
11.2 復(fù)雜性的下降和易用的數(shù)據(jù)工具的興起338
11.3 云數(shù)據(jù)操作系統(tǒng)及其高互通性339
11.4 “企業(yè)級(jí)”數(shù)據(jù)工程340
11.5 數(shù)據(jù)工程師的頭銜和職責(zé)將發(fā)生的變化341
11.6 超越現(xiàn)代數(shù)據(jù)棧，邁向?qū)崟r(shí)數(shù)據(jù)棧341
11.7 總結(jié)345
附錄A 序列化和壓縮技術(shù)的細(xì)節(jié)347
附錄B 云網(wǎng)絡(luò)353