企業(yè)級(jí)數(shù)據(jù)架構(gòu)：核心要素、架構(gòu)模型、數(shù)據(jù)管理與平臺(tái)搭建

定　價(jià)：￥99.00

作　者：	李楊
出版社：	機(jī)械工業(yè)出版社
叢編項(xiàng)：
標(biāo)　簽：	暫缺

購買這本書可以去

當(dāng)當(dāng)網(wǎng) (￥74.20)

ISBN：	9787111746829	出版時(shí)間：	2024-03-01	包裝：	平裝-膠訂
開本：	16開	頁數(shù)：		字?jǐn)?shù)：

內(nèi)容簡介

　　這是一本能指導(dǎo)企業(yè)在數(shù)字化轉(zhuǎn)型和數(shù)據(jù)要素時(shí)代通過數(shù)據(jù)架構(gòu)用好數(shù)據(jù)、管好數(shù)據(jù)、充分發(fā)揮數(shù)據(jù)價(jià)值的著作。從0到1講解了數(shù)據(jù)架構(gòu)的技術(shù)棧、方法論與落地實(shí)踐，揭示了數(shù)據(jù)架構(gòu)的底層邏輯，總結(jié)了數(shù)據(jù)架構(gòu)的核心要素和架構(gòu)模型，闡述了數(shù)據(jù)治理、數(shù)據(jù)資產(chǎn)管理以及數(shù)據(jù)平臺(tái)的搭建等全方位的內(nèi)容，是作者10余年數(shù)據(jù)工作經(jīng)驗(yàn)的總結(jié)。本書主要分為五部分：第一部分：架構(gòu)基礎(chǔ)，對(duì)企業(yè)架構(gòu)的組成要素以及流行的企業(yè)架構(gòu)框架進(jìn)行了總覽性質(zhì)的介紹，數(shù)據(jù)架構(gòu)是重點(diǎn)；第二部分：數(shù)據(jù)架構(gòu)基礎(chǔ)，詳細(xì)講解了數(shù)據(jù)架構(gòu)的組成、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)調(diào)度與消息傳輸、Lambda架構(gòu)和Kappa架構(gòu)以及數(shù)據(jù)架構(gòu)的輔助資源組件；第三部分：數(shù)據(jù)架構(gòu)模型，首先介紹了企業(yè)內(nèi)部數(shù)據(jù)區(qū)的劃分與內(nèi)部數(shù)據(jù)的流向，然后講解了數(shù)據(jù)模型的建模策略、步驟和方法，以及維度建模的詳細(xì)內(nèi)容；第四部分：數(shù)據(jù)管理，講解了數(shù)據(jù)架構(gòu)的核心內(nèi)容，包括元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)治理和數(shù)據(jù)資產(chǎn)管理等的方法和實(shí)踐；第五部分：數(shù)據(jù)架構(gòu)實(shí)踐，通過離線計(jì)算和實(shí)時(shí)計(jì)算兩大場景中的綜合案例，對(duì)前面的內(nèi)容進(jìn)行了融合，手把手教讀者進(jìn)行數(shù)據(jù)架構(gòu)實(shí)踐。本書內(nèi)容通俗易懂，注重實(shí)踐，不僅濃縮了作者在日常工作中的思考、解決問題的思路，還融入了該領(lǐng)域優(yōu)秀同行的經(jīng)驗(yàn)和實(shí)踐，相信對(duì)讀者會(huì)有一些幫助。

作者簡介

　　李楊資深數(shù)據(jù)架構(gòu)師，在數(shù)據(jù)相關(guān)領(lǐng)域有10年以上工作經(jīng)驗(yàn)。頭部保險(xiǎn)資管公司科技平臺(tái)交易系統(tǒng)團(tuán)隊(duì)開發(fā)組負(fù)責(zé)人，負(fù)責(zé)多個(gè)應(yīng)用以及數(shù)據(jù)平臺(tái)的建設(shè)、優(yōu)化以及遷移工作。曾擔(dān)任某數(shù)據(jù)公司技術(shù)合伙人，負(fù)責(zé)多個(gè)金融機(jī)構(gòu)的數(shù)據(jù)倉庫或數(shù)據(jù)平臺(tái)相關(guān)的工作。在數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)治理等領(lǐng)域有著非常深厚的積累，熟悉不同行業(yè)的數(shù)字化轉(zhuǎn)型。此外，他還是一名經(jīng)驗(yàn)豐富的應(yīng)用工程師，對(duì)大數(shù)據(jù)、數(shù)據(jù)庫以及主流的技術(shù)棧有著非常深入的了解。2022年被集團(tuán)評(píng)為“優(yōu)秀架構(gòu)師”，積極參與行業(yè)內(nèi)部的相關(guān)課題研究，是《保險(xiǎn)問道之保險(xiǎn)資管數(shù)字化探索》一書的執(zhí)筆人之一，是中資協(xié)《金融科技賦能保險(xiǎn)資管風(fēng)險(xiǎn)管控的研究》課題核心組成員之一。

圖書目錄

序
自序
前言
第一部分　架構(gòu)基礎(chǔ)
第1章　企業(yè)架構(gòu)概述 3
1.1　企業(yè)架構(gòu) 4
1.2　Zachman框架 4
1.2.1　Zachman框架的維度 4
1.2.2　Zachman框架的特點(diǎn) 5
1.2.3　Zachman框架的使用 6
1.3　TOGAF 6
1.3.1　TOGAF完善架構(gòu)過程 7
1.3.2　框架核心：ADM 8
1.4　業(yè)務(wù)架構(gòu) 9
1.4.1　業(yè)務(wù)架構(gòu)的價(jià)值 9
1.4.2　業(yè)務(wù)架構(gòu)的關(guān)鍵點(diǎn) 10
1.5　數(shù)據(jù)架構(gòu) 11
1.5.1　數(shù)據(jù)架構(gòu)設(shè)計(jì) 12
1.5.2　數(shù)據(jù)架構(gòu)核心組成 12
1.6　總結(jié) 13
第二部分數(shù)據(jù)架構(gòu)基礎(chǔ)
第2章　數(shù)據(jù)架構(gòu)構(gòu)成 18
2.1　數(shù)據(jù)模型 18
2.2　元數(shù)據(jù) 19
2.3　數(shù)據(jù)質(zhì)量 20
2.4　數(shù)據(jù)標(biāo)準(zhǔn) 21
2.5　數(shù)據(jù)治理 21
2.6　數(shù)據(jù)資產(chǎn) 22
2.6.1　數(shù)據(jù)管理 22
2.6.2　數(shù)據(jù)倉庫 22
2.6.3　數(shù)據(jù)湖 23
2.6.4　數(shù)據(jù)資產(chǎn)內(nèi)涵 23
2.7　數(shù)據(jù)生命周期 24
2.7.1　數(shù)據(jù)創(chuàng)建 25
2.7.2　數(shù)據(jù)使用 25
2.7.3　數(shù)據(jù)歸檔 26
2.7.4　數(shù)據(jù)銷毀 26
2.8　數(shù)據(jù)分布 27
2.8.1　數(shù)據(jù)存儲(chǔ) 27
2.8.2　數(shù)據(jù)訪問 27
2.9　常見數(shù)據(jù)架構(gòu)技術(shù)選型 28
2.9.1　Lambda 28
2.9.2　Kappa 29
2.10　數(shù)據(jù)調(diào)度 30
2.11　總結(jié) 30
第3章　數(shù)據(jù)存儲(chǔ) 31
3.1　數(shù)據(jù)存儲(chǔ)基礎(chǔ) 32
3.1.1　計(jì)算機(jī)組成基礎(chǔ)結(jié)構(gòu) 32
3.1.2　數(shù)據(jù)存儲(chǔ)核心概念 35
3.1.3　OLTP與OLAP場景 37
3.2　集中式數(shù)據(jù)庫 38
3.2.1　常見關(guān)系型數(shù)據(jù)庫 38
3.2.2　分庫分表 39
3.3　分布式數(shù)據(jù)庫 40
3.3.1　大規(guī)模并行處理技術(shù) 40
3.3.2　分布式事務(wù) 41
3.4　大數(shù)據(jù)存儲(chǔ) 43
3.4.1　HDFS 43
3.4.2　Yarn 44
3.4.3　Hive 44
3.4.4　HBase 45
3.4.5　Spark及Spark Streaming 46
3.5　特定領(lǐng)域存儲(chǔ) 46
3.5.1　ClickHouse 46
3.5.2　Elasticsearch 48
3.6　實(shí)時(shí)計(jì)算階段 49
3.7　總結(jié) 49
第4章　數(shù)據(jù)調(diào)度與消息傳輸 50
4.1　通用技術(shù)選型 50
4.2　Airflow調(diào)度平臺(tái) 52
4.2.1　Airflow基礎(chǔ)概念 52
4.2.2　Airflow架構(gòu) 54
4.2.3　Airflow與其他調(diào)度平臺(tái)對(duì)比 55
4.3　DataX數(shù)據(jù)同步工具 56
4.3.1　DataX基礎(chǔ)概念 56
4.3.2　DataX數(shù)據(jù)同步 57
4.3.3　DataX優(yōu)化 59
4.3.4　DataX與其他數(shù)據(jù)同步工具對(duì)比 60
4.4　Kafka消息中間件 62
4.4.1　Kafka基礎(chǔ)概念 62
4.4.2　Kafka架構(gòu)概述 63
4.4.3　Kafka高性能原理 63
4.4.4　Kafka與其他中間件對(duì)比 67
4.5　總結(jié) 68
第5章　Lambda架構(gòu)與Kappa架構(gòu) 69
5.1　架構(gòu)演進(jìn) 69
5.1.1　傳統(tǒng)數(shù)據(jù)倉庫架構(gòu) 70
5.1.2　傳統(tǒng)大數(shù)據(jù)架構(gòu) 71
5.1.3　流式計(jì)算架構(gòu) 72
5.1.4　Lambda架構(gòu) 73
5.1.5　Kappa架構(gòu) 74
5.2　Lambda架構(gòu)詳解 75
5.2.1　架構(gòu)解析 76
5.2.2　核心組件 78
5.2.3　數(shù)據(jù)流向 81
5.3　Kappa架構(gòu)詳解 82
5.3.1　架構(gòu)解析 82
5.3.2　核心組件 85
5.3.3　數(shù)據(jù)流向 87
5.4　Lambda與Kappa對(duì)比 87
5.5　流批一體化 89
5.6　總結(jié) 90
第6章　輔助類應(yīng)用體系介紹 91
6.1　資源管理 91
6.1.1　開源堡壘機(jī)JumpServer 92
6.1.2　部署與負(fù)載均衡 92
6.1.3　核心概念 94
6.1.4　最佳實(shí)踐 95
6.2　資源及組件監(jiān)控 95
6.2.1　開源監(jiān)控系統(tǒng)Prometheus 96
6.2.2　可視化系統(tǒng)Grafana 98
6.2.3　告警模塊AlertManager 100
6.2.4　小結(jié) 101
6.3　應(yīng)用監(jiān)控 102
6.3.1　應(yīng)用鏈路監(jiān)控Pinpoint 102
6.3.2　原理與組件介紹 103
6.3.3　最佳實(shí)踐 104
6.3.4　小結(jié) 106
6.4　日志監(jiān)控 107
6.4.1　ELK 107
6.4.2　直連式日志收集架構(gòu) 107
6.4.3　高并發(fā)日志收集架構(gòu) 108
6.5　總結(jié) 109
第三部分數(shù)據(jù)架構(gòu)模型實(shí)踐
第7章　企業(yè)數(shù)據(jù)區(qū)與數(shù)據(jù)流向 113
7.1　數(shù)據(jù)區(qū)概述 113
7.2　數(shù)據(jù)區(qū)詳解 115
7.2.1　操作型數(shù)據(jù)區(qū) 115
7.2.2　集成型數(shù)據(jù)區(qū) 116
7.2.3　分析型數(shù)據(jù)區(qū) 117
7.2.4　歷史數(shù)據(jù)區(qū) 118
7.3　企業(yè)數(shù)據(jù)流向 119
7.3.1　操作型數(shù)據(jù)區(qū)數(shù)據(jù)流向 119
7.3.2　集成型數(shù)據(jù)區(qū)數(shù)據(jù)流向 120
7.3.3　分析型數(shù)據(jù)區(qū)數(shù)據(jù)流向 121
7.3.4　歷史數(shù)據(jù)區(qū)數(shù)據(jù)流向 122
7.4　企業(yè)數(shù)據(jù)分層 123
7.5　企業(yè)集成型數(shù)據(jù)區(qū)層級(jí) 124
7.5.1　數(shù)據(jù)緩沖層 125
7.5.2　數(shù)據(jù)貼源層 126
7.5.3　標(biāo)準(zhǔn)模型層 127
7.5.4　整合模型層 127
7.5.5　數(shù)據(jù)集市層 128
7.6　互聯(lián)網(wǎng)公司的集成型數(shù)據(jù)區(qū)分層特點(diǎn) 129
7.7　總結(jié) 130
第8章　數(shù)據(jù)模型架構(gòu)詳解 131
8.1　為什么要建模 132
8.2　建模策略 134
8.2.1　數(shù)據(jù)緩沖層建模策略 135
8.2.2　數(shù)據(jù)貼源層建模策略 135
8.2.3　標(biāo)準(zhǔn)模型層建模策略 136