金融數(shù)據(jù)建模應用（中級）

第 1 章 金融大數(shù)據(jù)概述 　　　　　　　1
1.1 認識金融大數(shù)據(jù) 　　　　　　1
1.1.1 大數(shù)據(jù)的定義 　　　　　　　　1
1.1.2 金融大數(shù)據(jù)的定義 　　　　　　1
1.1.3 金融大數(shù)據(jù)的分類 　　　　　　2
1.1.4 金融大數(shù)據(jù)的特點 　　　　　　3
1.1.5 金融大數(shù)據(jù)的作用 　　　　　　4
1.1.6 金融大數(shù)據(jù)的分析方法 　　　　　　　5
1.2 金融大數(shù)據(jù)應用 　　　　　　6
1.2.1 金融大數(shù)據(jù)在銀行業(yè)的應用 　　　　　　6
1.2.2 金融大數(shù)據(jù)在證券業(yè)的應用 　　　　　　8
1.2.3 金融大數(shù)據(jù)在保險業(yè)的應用 　　　　　　8
1.3 金融大數(shù)據(jù)應用技術架構 　　　　　　10
1.3.1 數(shù)據(jù)產(chǎn)生層 　　　　　　　　10
1.3.2 數(shù)據(jù)交換層 　　　　　　　　11
1.3.3 流程調(diào)度層 　　　　　　　　13
1.3.4 數(shù)據(jù)計算層 　　　　　　　　13
1.3.5 數(shù)據(jù)應用層 　　　　　　　　17
1.3.6 數(shù)據(jù)訪問層 　　　　　　　　18
1.3.7 數(shù)據(jù)管控層 　　　　　　　　19
1.4 金融大數(shù)據(jù)應用的關鍵技術 　　　　　20
1.4.1 大數(shù)據(jù)采集技術 　　　　　　　20
1.4.2 大數(shù)據(jù)預處理技術 　　　　　　20
1.4.3 大數(shù)據(jù)存儲與管理技術 　　　　　　　20
1.4.4 大數(shù)據(jù)分析與挖掘技術 　　　　　　　21
1.4.5 大數(shù)據(jù)展現(xiàn)與應用技術 　　　　　　　21
本章習題 　　　　　　　21
第 2 章 金融數(shù)據(jù)分析基礎 　　　　　　23
2.1 認識金融數(shù)據(jù)分析 　　　　　　　　23
2.1.1 金融數(shù)據(jù)分析的目的 　　　　　　　　23
2.1.2 金融數(shù)據(jù)分析的意義 　　　　　　　　24
2.1.3 金融數(shù)據(jù)分析的基本思路 　　　　　　25
2.1.4 金融數(shù)據(jù)分析常用術語 　　　　　　　28
2.2 金融數(shù)據(jù)分析流程及應用場景 　　　　　　　37
2.2.1 金融數(shù)據(jù)的獲取 　　　　　　　37
2.2.2 金融數(shù)據(jù)的預處理 　　　　　　38
2.2.3 金融數(shù)據(jù)的清洗 　　　　　　　39
2.2.4 金融數(shù)據(jù)的分析 　　　　　　　39
2.2.5 金融數(shù)據(jù)的展示 　　　　　　　40
2.2.6 金融數(shù)據(jù)分析的應用場景 　　　　　　40
2.3 操作誤區(qū) 　　　　　　　　41
2.3.1 偏離分析目的 　　　　　　　42
2.3.2 分析報告缺少內(nèi)涵 　　　　　　42
本章習題 　　　　　　　42
第 3 章 金融數(shù)據(jù)建模及常用算法 　　　　　　45
3.1 金融數(shù)據(jù)建模基礎 　　　　　　　　45
3.1.1 數(shù)據(jù)模型 　　　　　　　　　45
3.1.2 數(shù)據(jù)建模 　　　　　　　　　47
3.1.3 金融數(shù)據(jù)模型和金融數(shù)據(jù)建模規(guī)范 　　　　　　48
3.1.4 金融數(shù)據(jù)建模的流程 　　　　　　　　51
3.2 金融數(shù)據(jù)業(yè)務常用算法 　　　　　　55
3.2.1 相關分析 　　　　　　　　　55
3.2.2 回歸分析 　　　　　　　　　59
3.2.3 決策樹 　　　　　　　67
3.2.4 聚類分析 　　　　　　　　　71
3.2.5 關聯(lián)規(guī)則分析 　　　　　　　78
本章習題 　　　　　　　81
第 4 章 金融數(shù)據(jù)自主建模高級應用 　　　　　82
4.1 自主建模的基本概念 　　　　　　　82
4.1.1 數(shù)據(jù)模型 　　　　　　　　　82
4.1.2 數(shù)據(jù)表 　　　　　　　86
4.1.3 算子 　　　　　　　　86
4.2 大數(shù)據(jù)建模分析平臺簡介 　　　　　　86
4.2.1 大數(shù)據(jù)建模分析平臺的功能模塊 　　　　　　87
4.2.2 數(shù)據(jù)手動上傳 　　　　　　　96
4.3 模型創(chuàng)建與管理 　　　　　　　　100
4.3.1 模型創(chuàng)建 　　　　　　　　　100
4.3.2 模型管理 　　　　　　　　　102
4.4 單表級數(shù)據(jù)處理通用算子 　　　　　108
4.4.1 添加字段算子 　　　　　　　108
4.4.2 JSON解析算子 　　　　　　　109
4.4.3 算術運算算子 　　　　　　　111
4.4.4 日期處理算子 　　　　　　　113
4.4.5 字符串處理算子 　　　　　　116
4.4.6 空值率算子 　　　　　　　　120
4.4.7 SQL算子 　　　　　　　　　121
4.5 多表級數(shù)據(jù)建模算子 　　　　　　　123
4.5.1 左連接算子 　　　　　　　　123
4.5.2 差集算子 　　　　　　　　　125
4.5.3 全關聯(lián)算子 　　　　　　　　126
4.6 金融數(shù)據(jù)模型綜合應用 　　　　　　128
4.6.1 數(shù)據(jù)準備 　　　　　　　　　128
4.6.2 場景分析 　　　　　　　　　128
4.6.3 模型實現(xiàn) 　　　　　　　　　133
本章習題 　　　　　　　133
第 5 章 SQL在金融數(shù)據(jù)建模中的應用 　　　　135
5.1 SQL使用場景及技巧 　　　　　　　135
5.2 SQL查詢基本語法及函數(shù)應用 　　　　　　139
5.2.1 SQL查詢基本語法 　　　　　　　　139
5.2.2 數(shù)學運算函數(shù)應用 　　　　　　　　142
5.2.3 日期函數(shù)應用 　　　　　　　146
5.2.4 條件函數(shù)應用 　　　　　　　154
5.2.5 字符串函數(shù)應用 　　　　　　157
5.2.6 數(shù)值計算函數(shù)應用 　　　　　　　　162
5.2.7 聚合函數(shù)應用 　　　　　　　163
5.3 函數(shù)應用注意事項 　　　　　　　164
本章習題 　　　　　　　164
第 6 章 金融數(shù)據(jù)可視化分析高級應用 　　　　166
6.1 金融數(shù)據(jù)可視化分析概述 　　　　　166
6.1.1 金融數(shù)據(jù)可視化分析的定義 　　　　　166
6.1.2 金融數(shù)據(jù)可視化分析的應用場景 　　　　　　167
6.1.3 金融數(shù)據(jù)可視化分析的主要功能 　　　　　　167
6.2 可視化圖表類型介紹 　　　　　　　168
6.2.1 數(shù)據(jù)準備及上傳 　　　　　　168
6.2.2 堆積圖及百分比堆積圖 　　　　　　　169
6.2.3 瀑布圖 　　　　　　　173
6.2.4 詞云圖 　　　　　　　175
6.2.5 散點圖 　　　　　　　177
6.2.6 ?；鶊D 　　　　　　　180
6.3 圖表設置 　　　　　　　　182
6.3.1 圖表顏色設置 　　　　　　　182
6.3.2 圖表聯(lián)動設置 　　　　　　　187
6.3.3 圖表篩選設置 　　　　　　　191
6.3.4 圖表鉆取設置 　　　　　　　196
6.3.5 圖表排序設置 　　　　　　　197
6.3.6 圖表樣式設置 　　　　　　　197
6.4 圖表中的常用計算 　　　　　　　197
6.4.1 百分比 　　　　　　　197
6.4.2 留存率 　　　　　　　198
6.4.3 活躍率 　　　　　　　198
6.4.4 重復率 　　　　　　　198
6.4.5 同比 　　　　　　　　199
6.4.6 環(huán)比 　　　　　　　　199
6.4.7 移動計算 　　　　　　　　　200
6.4.8 累計計算 　　　　　　　　　200
6.5 圖表中的自定義計算 　　　　　　　200
6.5.1 分組字段 　　　　　　　　　200
6.5.2 計算字段 　　　　　　　　　201
本章習題 　　　　　　　202
第 7 章 金融數(shù)據(jù)建模應用案例解析 　　　　　203
7.1 案例背景 　　　　　　　　203
7.2 申請評分卡模型的構建 　　　　　　204
7.2.1 建模思想及原理 　　　　　　204
7.2.2 建模方法 　　　　　　　　　204
7.2.3 模型開發(fā)流程 　　　　　　　206
7.3 申請評分卡模型的實現(xiàn) 　　　　　　206
7.3.1 數(shù)據(jù)獲取 　　　　　　　　　206
7.3.2 數(shù)據(jù)預處理 　　　　　　　　207
7.3.3 探索性數(shù)據(jù)分析 　　　　　　210
7.3.4 變量選擇 　　　　　　　　　214
7.3.5 模型開發(fā) 　　　　　　　　　220
7.3.6 模型評估 　　　　　　　　　225
7.3.7 信用評分 　　　　　　　　　226
7.4 模型分析總結 　　　　　　227
本章習題 　　　　　　　227
第 8 章 金融數(shù)據(jù)建模新技術 　　　　　229
8.1 機器學習 　　　　　　　　229
8.1.1 機器學習概述 　　　　　　　229
8.1.2 機器學習常用算法 　　　　　　　　230
8.1.3 機器學習在金融領域的應用 　　　　　232
8.2 自然語言處理 　　　　　　232
8.2.1 自然語言處理概述 　　　　　　　　232
8.2.2 自然語言處理的基本任務 　　　　　　233
8.2.3 自然語言處理在金融領域的應用 　　　　　　235
8.3 知識圖譜 　　　　　　　　236
8.3.1 知識圖譜概述 　　　　　　　236
8.3.2 知識圖譜構建技術 　　　　　　　　236
8.3.3 知識圖譜在金融領域的應用 　　　　　239
8.4 區(qū)塊鏈 　　　　　　　　　240
8.4.1 區(qū)塊鏈概述 　　　　　　　　240
8.4.2 區(qū)塊鏈核心技術 　　　　　　241
8.4.3 區(qū)塊鏈技術在金融領域的應用 　　　　　　　242
本章習題 　　　　　　　244
第 9 章 金融數(shù)據(jù)安全規(guī)范 　　　　　245
9.1 金融數(shù)據(jù)安全概述 　　　　　　　245
9.1.1 金融數(shù)據(jù)安全的重要性 　　　　　　　245
9.1.2 金融數(shù)據(jù)面臨的風險 　　　　　　　245
9.1.3 我國金融數(shù)據(jù)安全原則 　　　　　　　247
9.1.4 我國金融數(shù)據(jù)安全法規(guī) 　　　　　　　247
9.2 金融數(shù)據(jù)安全分級 　　　　　　　250
9.2.1 金融數(shù)據(jù)安全分級的目標、原則和范圍 　　　　250
9.2.2 金融數(shù)據(jù)安全分級要素和規(guī)則 　　　　　　　251
9.2.3 金融數(shù)據(jù)安全級別劃分 　　　　　　　252
9.3 金融數(shù)據(jù)生命周期安全管理 　　　　　　　253
9.3.1 數(shù)據(jù)采集安全管理 　　　　　　　　253
9.3.2 數(shù)據(jù)傳輸安全管理 　　　　　　　　254
9.3.3 數(shù)據(jù)存儲安全管理 　　　　　　　　256
9.3.4 數(shù)據(jù)使用安全管理 　　　　　　　　257
9.3.5 數(shù)據(jù)刪除安全管理 　　　　　　　　261
9.3.6 數(shù)據(jù)銷毀安全管理 　　　　　　　　262
本章習題 　　　　　　　263
參考文獻　　　　　　　264