數據資源規(guī)劃與管理實踐

第1篇　數據工程基礎
第1章 數據工程概述 3
1.1　數據工程相關概念 3
1.1.1　數據的定義和生命周期 3
1.1.2　數據、信息、知識和智慧 4
1.1.3　數據工程的定義和內涵 5
1.2　數據工程的體系建設 6
1.2.1　總體架構 6
1.2.2　數據工程的體系維 7
1.2.3　數據工程的標準維 9
1.2.4　數據工程的技術維 10
1.3　數據工程建設現狀與發(fā)展 11
1.3.1　我國數據工程建設的現狀與發(fā)展 11
1.3.2　美軍數據工程建設的發(fā)展歷程 14
1.4　小結 18
習題 18
第2章 數據標準 19
2.1　概述 19
2.1.1　標準和標準化的基本概念 19
2.1.2　數據標準化概述 21
2.1.3　數據標準體系 22
2.2　元數據標準化 24
2.2.1　元數據基本概念 24
2.2.2　典型元數據標準 27
2.2.3　元數據標準的分類與管理 30
2.2.4　元數據標準參考框架 32
2.3　數據元標準化 35
2.3.1　數據元概述 35
2.3.2　數據元的基本屬性 39
2.3.3　數據元的命名和定義 41
2.3.4　數據元的表示格式和值域 43
2.3.5　數據元間的關系 46
2.4　數據分類與編碼 47
2.4.1　數據分類的基本原則和方法 47
2.4.2　數據編碼的基本原則和方法 49
2.5　小結 53
習題 54
第3章 數據模型 55
3.1　數據模型基本概念 55
3.1.1　概念模型 55
3.1.2　邏輯模型 56
3.1.3　物理模型 58
3.2　數據建模標記符號 59
3.2.1　實體?聯系圖標記符號 59
3.2.2　IDEF1x標記符號 60
3.2.3　信息工程標記符號 63
3.2.4　UML數據模型標記符號 65
3.2.5　標記符號的補充說明 66
3.3　數據模型描述方法 67
3.3.1　概念模型描述方法 67
3.3.2　邏輯模型描述方法 68
3.3.3　物理模型描述方法 70
3.3.4　數據字典描述方法 70
3.4　小結 71
習題 71
第2篇 數據資源規(guī)劃
第4章 數據資源規(guī)劃理論 75
4.1　數據資源規(guī)劃的由來 75
4.1.1 失敗的案例 75
4.1.2 應用積壓嚴重 76
4.1.3 應用開發(fā)效率低 76
4.1.4 系統維護的困難 76
4.2　數據資源規(guī)劃的概念和作用 77
4.2.1　數據資源規(guī)劃概念的提出 77
4.2.2　數據資源規(guī)劃的定義 78
4.2.3　數據資源規(guī)劃的核心思想 79
4.2.4　數據資源規(guī)劃的作用 79
4.3　數據資源規(guī)劃的理論基礎 79
4.3.1　信息生命周期管理理論 80
4.3.2　信息工程和戰(zhàn)略數據資源規(guī)劃理論 81
4.3.3　信息資源管理和數據資源管理標準化理論 84
4.4　小結 86
習題 86
第5章 數據資源規(guī)劃方法 87
5.1　基于穩(wěn)定信息過程的數據資源規(guī)劃方法 87
5.1.1　方法概述 87
5.1.2　具體步驟 88
5.2　基于穩(wěn)定信息結構的數據資源規(guī)劃方法 92
5.2.1　方法概述 92
5.2.2　具體步驟 92
5.3　基于指標能力的數據資源規(guī)劃方法 94
5.3.1　方法概述 94
5.3.2　具體步驟 95
5.4　數據資源規(guī)劃方法比較 96
5.5　小結 96
習題 97
第6章 數據資源規(guī)劃的需求分析 98
6.1　需求分析基本概念 98
6.2　需求獲取方法 99
6.2.1　訪談 99
6.2.2　快速原型系統法 99
6.2.3　簡易的應用規(guī)格說明技術 100
6.2.4　數據流圖法 101
6.3　需求分析工具——數據流圖 102
6.3.1　數據流圖的符號 102
6.3.2　數據流圖設計步驟 103
6.3.3　數據字典 106
6.4　用戶視圖分析技術 108
6.4.1　用戶視圖概念 108
6.4.2　數據結構規(guī)范化 110
6.4.3　用戶視圖整理模式 114
6.5　小結 116
習題 116
第7章 數據資源規(guī)劃的模型構建 118
7.1　數據模型構建的類型 118
7.1.1 層次模型和網狀模型 118
7.1.2 關系模型 118
7.1.3 多維數據模型 119
7.1.4 DataVault數據模型 119
7.1.5 Anchor模型 119
7.1.6 基于本體的數據模型 119
7.2　關系模型構建技術 120
7.2.1　關系模型的基本概念 120
7.2.2　關系模型的構建步驟 121
7.3　維度模型構建技術 123
7.3.1　維度模型的基本概念 123
7.3.2　維度模型構建的基本步驟 123
7.4　基于本體的數據模型構建技術 125
7.4.1　本體的基本概念 125
7.4.2　本體的構建原則與步驟 126
7.4.3　基于本體的數據模型構建 127
7.5　小結 128
習題 128
第8章 數據資源規(guī)劃實踐和工具 129
8.1　數據資源規(guī)劃實踐案例 129
8.1.1 確定職能域 129
8.1.2 職能域業(yè)務分析，并確定其業(yè)務活動 129
8.1.3 職能域數據分析 132
8.1.4 建立領域的數據資源管理基礎標準 134
8.2　數據資源規(guī)劃工具IRP 2000 139
8.3　新版數據資源規(guī)劃工具 143
8.4　小結 146
習題 146
第3篇 數據資源管理
第9章 數據治理 149
9.1　數據治理概述 149
9.1.1　數據治理的基本概念 149
9.1.2　相關概念辨析 150
9.1.3　數據治理要素 152
9.2　數據治理實施方法 153
9.2.1　定義業(yè)務問題 153
9.2.2　獲取高層支持 154
9.2.3　評估成熟度 154
9.2.4　創(chuàng)建路線圖 154
9.2.5　建立組織藍圖 154
9.2.6　創(chuàng)建數據字典 154
9.2.7　理解數據 154
9.2.8　創(chuàng)建元數據倉庫 155
9.2.9　定義度量標準 155
9.2.10　主數據治理 155
9.2.11　治理分析 155
9.2.12　安全與隱私管理 155
9.2.13　信息生命周期管理 156
9.2.14　測量結果 156
9.3　大數據治理概述 156
9.3.1　大數據治理的基本概念 156
9.3.2　大數據治理的技術框架 159
9.4　小結 168
習題 168
第10章 數據質量管理 169
10.1　數據質量概述 169
10.1.1　數據質量定義 169
10.1.2　數據質量問題來源 169
10.1.3　數據質量問題分類 170
10.1.4　數據質量衡量維度 171
10.2　數據清洗 171
10.2.1　數據清洗定義 172
10.2.2　數據清洗方法 172
10.2.3　缺失數據處理 172
10.2.4　重復數據處理 176
10.2.5　異常數據處理 181
10.2.6　邏輯錯誤數據處理 182
10.2.7　數據清洗流程 183
10.3　數據質量工具 185
10.3.1　SAS/DataFlux 公司產品 185
10.3.2　Informatica公司產品 185
10.3.3　IBM公司產品 186
10.3.4　Oracle公司產品 186
10.3.5　Talend公司產品 187
10.3.6　Data Cleaner 187
10.4　小結 188
習題 188
第11章 數據集成 189
11.1　數據集成概述 189
11.1.1 數據集成的概念 189
11.1.2 數據集成的挑戰(zhàn) 190
11.2　數據集成主要方法 191
11.2.1　虛擬視圖方法 191
11.2.2　物化方法 192
11.2.3　混合型集成方法 194
11.3　數據集成開發(fā)生命周期 194
11.4　數據集成技術 195
11.4.1　ETL技術 195
11.4.2　實時數據集成技術 197
11.4.3　數據虛擬化技術 198
11.5　數據集成產品介紹 199
11.5.1　Kettle工具 199
11.5.2　DataX工具 200
11.5.3　Informatica PowerCenter工具 201
11.6　小結 204
習題 204
第12章 數據中臺 205
12.1　數據中臺概述 205
12.1.1　數據中臺的概念 206
12.1.2　數據中臺的發(fā)展 206
12.1.3　數據中臺的功能 207
12.2　數據中臺的架構 207
12.2.1　數據采集與集成 208
12.2.2　數據加工 209
12.2.3　數據資產體系構建 209
12.2.4　數據資產管理 210
12.2.5　數據服務 211
12.3　數據中臺的建設 212
12.3.1　需求調研 212
12.3.2　需求分析 212
12.3.3　數據中臺架構設計 212
12.3.4　實施數據中臺建設 214
12.3.5　運行維護數據中臺 214
12.4　數據中臺的支撐技術 214
12.4.1　數據采集技術 214
12.4.2　數據存儲技術 215
12.4.3　數據挖掘技術 216
12.4.4　大數據計算技術 217
12.4.5　數據服務技術 217
12.5　典型數據中臺的介紹 218
12.5.1　阿里云上數據中臺 218
12.5.2　網易數據中臺 219
12.6　小結 220
習題 220
參考文獻 221