數(shù)據(jù)綜合治理實踐指導手冊

第1章 數(shù)據(jù)治理概述 1
1.1 數(shù)據(jù)治理的定義 1
1.2 數(shù)據(jù)治理的基本要求 2
1.3 數(shù)據(jù)治理模型 3
1.4 數(shù)據(jù)治理一般步驟 5
第2章 數(shù)據(jù)質量 8
2.1 數(shù)據(jù)質量概述 8
2.1.1 數(shù)據(jù)質量定義 8
2.1.2 數(shù)據(jù)質量問題 8
2.1.3 數(shù)據(jù)質量維度 10
2.2 數(shù)據(jù)清洗 10
2.2.1 數(shù)據(jù)清洗定義 10
2.2.2 數(shù)據(jù)清洗方法 11
2.2.3 數(shù)據(jù)清洗流程 21
第3章 數(shù)據(jù)質量管理系統(tǒng) 25
3.1 數(shù)據(jù)源管理 25
3.1.1 關系數(shù)據(jù)庫數(shù)據(jù)源管理 25
3.1.2 文件數(shù)據(jù)源管理 27
3.2 數(shù)據(jù)剖析 27
3.2.1 元數(shù)據(jù) 27
3.2.2 值預覽 28
3.2.3 值分布分析 28
3.3 數(shù)據(jù)質量評估 29
3.3.1 指標體系維護 29
3.3.2 評估算法庫 31
3.3.3 數(shù)據(jù)檢查算子庫 32
3.3.4 數(shù)據(jù)血緣關系維護 35
3.3.5 數(shù)據(jù)質量評估流程 37
3.3.6 評估任務庫 40
3.4 數(shù)據(jù)清洗 40
3.4.1 清洗算子庫 40
3.4.2 數(shù)據(jù)清洗流程 43
3.4.3 清洗任務庫 45
3.4.4 清洗案例庫 46
3.5 系統(tǒng)設置 46
3.5.1 用戶管理 46
3.5.2 角色管理 47
3.5.3 模塊管理 49
3.5.4 修改密碼 52
第4章 常用數(shù)據(jù)質量管理系統(tǒng)操作 53
4.1 規(guī)劃評估指標 53
4.2 導入數(shù)據(jù)源 54
4.3 建立基礎指標體系 56
4.4 創(chuàng)建數(shù)據(jù)質量評估任務 58
4.5 配置指標樹 59
4.6 配置評估算子 59
4.7 設置指標聚合方式 61
4.8 執(zhí)行評估方案 62
4.9 數(shù)據(jù)清洗 64
4.10 算子開發(fā) 66
4.10.1 算子開發(fā)與部署方法 66
4.10.2 算子開發(fā)實例 70
第5章 數(shù)據(jù)集成 74
5.1 數(shù)據(jù)集成的概念 74
5.2 數(shù)據(jù)集成的方法 75
5.2.1 虛擬視圖方法 76
5.2.2 物化方法 77
5.2.3 混合型集成方法 78
5.3 數(shù)據(jù)集成開發(fā)生命周期 79
第6章 多源數(shù)據(jù)匯集處理系統(tǒng) 80
6.1 管理部分 80
6.1.1 用戶管理 80
6.1.2 管理案例庫 82
6.2 普通人員視圖 84
6.2.1 歷史庫 85
6.2.2 案例模板庫 86
6.2.3 數(shù)據(jù)源創(chuàng)建 87
6.2.4 預設向導模板 89
6.3 開發(fā)者視圖 92
6.3.1 新建 92
6.3.2 打開 93
6.3.3 資源庫 93
6.3.4 統(tǒng)計 94
6.3.5 模型校驗 94
6.3.6 事前校驗 96
6.3.7 測試模型 96
6.3.8 逐步測試 96
6.3.9 插入斷點 97
6.3.10 插入監(jiān)控點 98
6.3.11 大數(shù)據(jù)支持 99
6.3.12 日志和統(tǒng)計升級 99
6.3.13 數(shù)據(jù)預覽 100
第7章 常用數(shù)據(jù)集成功能操作 101
7.1 數(shù)據(jù)集成準備 101
7.2 表屬性的計算匯總 103
7.3 表數(shù)據(jù)分組統(tǒng)計 113
7.4 表間數(shù)據(jù)關聯(lián) 124
7.5 腳本處理 133
7.6 多表數(shù)據(jù)合并 142
7.7 字段合并與數(shù)據(jù)分流 151
7.8 數(shù)值范圍標識 162
7.9 作業(yè)處理 170
7.10 綜合操作（1） 177
7.11 綜合操作（2） 197
參考文獻 209