Doris實時數倉實戰(zhàn)

第一部分　基礎

第1章　Doris概述　3

1.1　Doris的前世今生　3

1.1.1　Doris應需而生　3

1.1.2　Doris架構重組　5

1.1.3　Doris引擎升級　6

1.1.4　Doris擁抱開源　7

1.2　Doris的特點　7

1.2.1　極簡架構　7

1.2.2　使用簡單　9

1.2.3　功能豐富　11

1.2.4　開源開放　13

1.3　Doris核心設計　13

1.3.1　存儲引擎　13

1.3.2　查詢引擎　15

1.3.3　查詢優(yōu)化器　17

1.3.4　向量化執(zhí)行引擎　19

1.4　Doris應用場景　20

1.5　Doris的競爭對手　23

1.5.1　Doris的“前浪”

— Greenplum　24

1.5.2　Doris的“表哥”

— Kylin　24

1.5.3　Doris的“知音”

— ClickHouse　25

1.5.4　Doris的“傷痕”

— StarRocks　25

第2章　Doris的安裝與部署　27

2.1　集群規(guī)劃和環(huán)境準備　27

2.1.1　環(huán)境要求　27

2.1.2　硬件要求　28

2.1.3　節(jié)點規(guī)劃　28

2.1.4　通信端口　29

2.1.5　IP地址綁定　30

2.2　Doris源碼編譯　30

2.2.1　環(huán)境準備　30

2.2.2　通過Git下載Doris源碼　31

2.2.3　拉取Docker編譯環(huán)境　32

2.2.4　啟動編譯環(huán)境　32

2.2.5　進入Docker進行編譯　33

2.2.6?編譯Broker　33

2.3　安裝和部署　34

2.3.1?安裝前的準備　35

2.3.2?安裝FE　36

2.3.3?安裝BE　39

2.3.4　安裝Broker　41

2.4　數據庫訪問和常用命令　41

2.4.1?訪問Doris數據庫　41

2.4.2　Doris常用命令　44

2.4.3　Doris用戶管理　45

第3章　Doris數據對象　47

3.1　數據類型　47

3.1.1　數值類型　48

3.1.2?日期時間類型　48

3.1.3?字符串類型　48

3.1.4?其他擴展類型　48

3.2　OLAP表定義　51

3.2.1　列定義　51

3.2.2　鍵描述　51

3.2.3　分布描述　52

3.2.4　鍵值對　53

3.3　分區(qū)表定義　55

3.3.1　Range分區(qū)　56

3.3.2　List分區(qū)　57

3.4　外部表定義　58

3.4.1　MySQL表引擎　58

3.4.2　Broker表引擎　59

3.4.3　Hive表引擎　61

3.4.4　Iceberg表引擎　61

3.5　表的基本操作　62

3.5.1　修改表　62

3.5.2　刪除表　65

3.5.3?清空表　65

3.6　視圖　66

3.6.1?創(chuàng)建視圖　66

3.6.2　修改視圖　67

3.6.3?刪除視圖　67

3.7　函數　67

3.7.1　日期函數　67

3.7.2　正則匹配函數　68

3.7.3　BITMAP函數　68

3.7.4　JSON函數　69

3.7.5?表函數　70

3.7.6?窗口函數　71

第4章　Doris數據模型詳解　73

4.1　數據模型及原理　73

4.1.1　Duplicate模型　73

4.1.2　Aggregate模型　74

4.1.3　Unique模型　75

4.2　數據模型實戰(zhàn)　76

4.3　數據模型應用場景　79

4.4　表數據存儲　80

4.5　分區(qū)與分桶　84

4.6　DDL語句執(zhí)行過程　85

第二部分　進階

第5章　數據導入實戰(zhàn)　91

5.1　INSERT INTO　91

5.1.1　用法詳解　92

5.1.2　應用舉例　93

5.2　Stream Load　94

5.2.1　執(zhí)行原理　94

5.2.2　用法詳解　96

5.2.3　應用舉例　100

5.3　Broker Load　102

5.3.1　執(zhí)行原理　102

5.3.2　用法詳解　103

5.3.3　應用舉例　105

5.4　Routine Load　108

5.4.1　執(zhí)行原理　109

5.4.2　用法詳解　110

5.4.3　應用舉例　112

5.5　Binlog Load　115

5.5.1　基本原理　115

5.5.2　用法詳解　116

5.5.3　應用舉例　118

5.6　DataX　122

5.6.1　DataX執(zhí)行原理　122

5.6.2　DataX DorisWriter插件　124

5.6.3　應用舉例　126

5.7　Spark Load　129

5.7.1　執(zhí)行原理　129

5.7.2　用法詳解　130

5.7.3　應用舉例　131

第6章　Doris數據查詢　134

6.1　簡單查詢　136

6.1.1　簡單的SQL語法　136

6.1.2　WITH特性　140

6.1.3　IN語句和EXISTS語句　143

6.2　多表關聯(lián)　145

6.2.1　JOIN操作類型　145

6.2.2　JOIN算法實現　152

6.2.3　分布式JOIN優(yōu)化策略　152

6.3　開窗查詢　155

6.4　BITMAP精準去重　160

6.5　HLL近似去重　164

6.6　GROUPING SETS多維組合　165

第7章　Doris查詢優(yōu)化　168

7.1　執(zhí)行計劃　168

7.2　查詢優(yōu)化器　173

7.3　索引　176

7.4　物化視圖　179

7.5　ROLLUP　183

7.6　向量化查詢引擎　185

7.7　查詢優(yōu)化總結　186

第三部分　拓展

第8章　Doris流數據　193

8.1　Flink簡介　193

8.2　Flink基本概念　196

8.3　Flink SQL和Table API　200

8.4　Flink CDC技術　202

8.5　Flink Doris Connector　206

8.5.1　插件編譯與安裝　206

8.5.2　環(huán)境配置　206

8.5.3　單表增、刪、改　209

8.5.4　多表關聯(lián)　212

8.5.5　匯總數據　213

第9章　Doris外部表　215

9.1　ODBC外部表　215

9.2　Hive外部表　219

9.3　ES外部表　222

9.4　Iceberg外部表　225

第10章　Doris集群管理　227

10.1　集群管理　227

?10.1.1　數據庫管理　227

?10.1.2　用戶管理　228

?10.1.3　權限管理　228

10.2　集群資源管理　229

?10.2.1　節(jié)點資源劃分　229

?10.2.2　節(jié)點資源限制　231

10.3　集群備份和恢復　232

?10.3.1　數據導出　232

?10.3.2　數據備份　234

?10.3.3　數據恢復　236

?10.3.4　模式備份　237

10.4　集群高可用　238

?10.4.1　Doris一鍵啟動　238

?10.4.2　Doris自啟動　239

?10.4.3　Doris升級版本　242

10.5　集群擴縮容　243

?10.5.1　FE擴容　243

?10.5.2　FE縮容　244

?10.5.3　BE擴容　244

?10.5.4　BE縮容　244

?10.5.5　Broker擴縮容　245

10.6　刪除恢復　245

第四部分　實戰(zhàn)

第11章　數據倉庫概述　249

11.1　數據倉庫的起源　249

11.2　數據倉庫的流行　250

11.3　數據倉庫的分布式之路　251

11.4　MPP架構的崛起　253

11.5　數據倉庫的未來　255

11.6　概念對比　256

?11.6.1　數據倉庫與數據庫　256

?11.6.2　數據倉庫與大數據

技術　257

?11.6.3　數據倉庫與數據中臺　257

?11.6.4　數據倉庫與數據湖　258

第12章　數據倉庫設計　259

12.1　數據倉庫架構　259

?12.1.1　Inmon的企業(yè)信息

化工廠　260

?12.1.2　Kimball的維度建模

數據倉庫　261

?12.1.3　兩種建模方式對比　261

12.2　數據倉庫分層　262

?12.2.1　操作數據存儲層　263

?12.2.2　數據倉庫層　263

?12.2.3　應用數據層　265

12.3　實時數據倉庫的兩條

線路　266

12.4　實時數據倉庫的新

選擇　269

第13章　基于Doris的OLAP查詢和實時

數據倉庫實戰(zhàn)　272

13.1　項目背景　272

13.2　項目需求　273

13.3　技術方案實現　273

?13.3.1　基于DataX的接口

數據抽取　274

?13.3.2　基于Hive構建數據

倉庫　275

?13.3.3　基于Doris構建數據

集市　277

?13.3.4　基于Flink SQL的實時

數據流　278

?13.3.5　代碼發(fā)布和作業(yè)監(jiān)控　280

13.4　業(yè)務方案實現　280

?13.4.1　零售流水及本期、

同期計算　280

?13.4.2　有效店、同店及

渠道分析　281

?13.4.3　庫存及齊碼率分析　283

?13.4.4　庫銷比及售罄率分析　283

13.5　項目總結　285

第14章　基于Doris的流批一體數據倉庫

實戰(zhàn)　287

14.1　項目背景　287

14.2　項目需求　288

14.3　技術方案實現　289

?14.3.1　批量數據同步　290

?14.3.2　實時數據入庫　292

?14.3.3　數據倉庫分層　294

?14.3.4　全增量一體化數據

加工　295

?14.3.5　流批融合的實時大屏　298

?14.3.6　調度任務　299

14.4　開發(fā)規(guī)范　300

?14.4.1　數據對象命名規(guī)范　300

?14.4.2　建表規(guī)范　301

?14.4.3　字段命名規(guī)范　302

?14.4.4　調度任務命名規(guī)范　303

14.5　項目交付成果　303

?14.5.1　PC端報表　303

?14.5.2　移動端報表　305

?14.5.3　自助分析報表　305

14.6　項目總結　308