大數據和大分析

第1章　背景　//1
1.1　大數據的引出和影響　//3
1.1.1　“大數據，大商機”　//3
1.1.2　“數據資產”的引出　//6
1.1.3　數據量龐大　//9
1.1.4　數據結構復雜　//10
1.1.5　數據價值有待挖掘　//11
1.1.6　“數據驅動”的變革　//12
1.1.7　互聯(lián)網發(fā)展中的“數聯(lián)網”　//15
1.2　為何需要大分析　//16
1.2.1　數據價值評估　//16
1.2.2　“數據資產”變現問題　//18
1.2.3　大分析的技術基礎　//20
1.2.4　大分析面臨的問題　//26
1.3　大分析的應用案例　//29
1.3.1　新的“啤酒和尿布”　//29
1.3.2　KPI信息地圖　//30
1.3.3　“大數據、超細分、微營銷”　//32
1.4 　小結　//34
第2章　大數據基礎　//35
2.1　大數據的基本理念　//36
2.1.1　概念和定義探索　//36
2.1.2　大數據的技術基礎　//37
2.1.3　沒有大分析，大數據就是大垃圾　//38
2.1.4　大數據如何借鑒“數據倉庫”的經驗　//38
2.1.5　企業(yè)級數據中心　//41
2.2　大數據與數據倉庫的關系　//42
2.2.1　大數據擴展數據倉庫理論架構　//42
2.2.2　大數據繼承數據倉庫數據管理的經驗　//43
2.2.3　大數據開啟了非結構化數據的處理　//43
2.2.4　大數據要借鑒數據倉庫的生態(tài)圈　//43
2.2.5　大數據應繼承數據分析技術　//44
2.2.6 　與數據庫的關系　//44
2.2.7　數據倉庫借鑒大數據的營銷模式　//44
2.3　大數據的基本特點　//45
2.3.1　“4V”特點　//45
2.3.2　大分析角度的大數據特征　//45
2.4　大數據的價值和意義　//46
2.4.1　圍繞客戶信息，提供全方位服務　//46
2.4.2　構筑“虛擬團隊”，提升團隊管理水平　//46
2.4.3　讓“智慧城市”“智能交通”等變?yōu)榭赡堋?/47
2.4.4　構筑“理性社會”終于成為可能　//47
2.4.5　中國前所未有的一次“彎道超車”機遇　//47
2.5　大數據的問題和挑戰(zhàn)　//48
2.5.1　數據質量問題越發(fā)突出　//48
2.5.2　數據分析技術尚缺實質突破　//48
2.5.3　大數據應用水平需要逐步演進、逐步深化　//48
2.5.4　大數據技術架構面臨突破　//49
2.5.5　數據理念與國外仍然相距甚遠　//49
2.5.6　大數據是一項系統(tǒng)工程　//49
2.6　小結　//50
第3章　大數據的管理　//51
3.1　數據如何收集　//52
3.1.1　能獲取哪些數據　//52
3.1.2　基于數據價值，決定數據的收集、存放策略　//53
3.1.3　沒有應用時，是否收集數據　//53
3.2　數據的標準　//53
3.2.1　數據接口　//53
3.2.2　數據模型　//55
3.3　大數據的ETL過程　//57
3.4　大數據如何存儲　//58
3.4.1　數據庫/數據倉庫　//58
3.4.2　分布式文件系統(tǒng)（HDFS）　//59
3.4.3　混搭模式　//63
3.4.4　Hive /Hbase等　//63
3.4.5　MPP　//65
3.5　數據如何估值和計費　//65
3.5.1　什么數據最好賣　//66
3.5.2　市場價格　//66
3.5.3　數據的開放　//67
3.6　大數據的“數據資產”管理　//67
3.7　數據如何保障安全　//68
3.8 　小結　//71
第4章　大數據的技術架構　//73
4.1　大數據處理架構　//74
4.1.1　大數據處理層級和域　//75
4.1.2　哪些計算適合并行　//78
4.2　為何是混搭架構　//78
4.2.1　大數據混搭架構的利弊分析　//79
4.2.2　架構是否去IOE　//80
4.2.3　大數據混搭架構實例　//80
4.3　數據集市的模式　//83
4.3.1　數據沙盒模式　//85
4.3.2　貼近角色的平臺及應用　//85
4.3.3　文件集市　//89
4.4　數據管控模塊　//89
4.4.1　元數據　//89
4.4.2　數據質量　//91
4.5　大數據的“爬蟲”技術　//93
4.5.1　定制爬蟲Nutch　//94
4.5.2　分詞技術—庖丁分詞　//94
4.5.3　索引及全文檢索—Splunk　//95
4.5.4　上網數據解析流程　//97
4.6　大數據安全管理框架　//99
4.6.1　安全管控技術架構　//99
4.6.2　管理制度建設　//101
4.6.3　去隱私化技術舉例　//103
4.7　小結　//108
第5章　大數據的數據質量管控　//111
5.1　數據質量概念　//113
5.1.1　基本概念　//113
5.1.2　大數據就不考慮質量了嗎　//117
5.2　元數據　//118
5.2.1　數據的數據　//118
5.2.2　元數據的CWM標準　//120
5.2.3　元數據分類　//122
5.3　數據質量管控　//123
5.3.1　數據質量管控目標　//123
5.3.2　數據質量子系統(tǒng)架構　//124
5.4　如何建立數據質量管理制度　//129
5.4.1　數據質量分工管理流程　//129
5.4.2　及時監(jiān)控和告警　//136
5.5 　數據質量管控產品的客戶體驗　//139
5.5.1　降低技術門檻　//139
5.5.2　產品的手機App化　//140
5.6　小結　//141
第6章　大數據如何帶來大分析　//143
6.1　沒有應用的數據是垃圾數據　//145
6.1.1　應用的廣度　//145
6.1.2　應用的深度　//145
6.1.3　應用的實時性/融合性　//146
6.2　大分析（BA）的概念　//147
6.2.1　“大分析”的發(fā)展變化　//147
6.2.2　大分析的“群眾路線”　//150
6.3　大分析（BA）的產品開發(fā)　//151
6.3.1　基于數據分析，解決實際問題　//152
6.3.2　BA產品和分析工具產品的區(qū)隔　//154
6.3.3　自助分析　//158
6.3.4　導航式分析　//161
6.4　應用推廣問題　//170
6.4.1　市場的“冬天”就是大分析的“春天”　//170
6.4.2　為何需要應用推廣　//170
6.4.3　如何證明分析的獨特價值　//171
6.4.4　如何解決員工實際的問題　//172
6.4.5　電信和互聯(lián)網行業(yè)應用推廣對比　//172
6.4.6　不同的企業(yè)用不同的推廣方法　//172
6.5　大分析的“閉環(huán)”問題　//173
6.5.1　分析和執(zhí)行的閉環(huán)執(zhí)行　//173
6.5.2　營銷流程的設計—營銷管理平臺　//173
6.6　小結　//176
第7章　大分析應用案例　//179
7.1　大分析的應用階段　//180
7.2　非結構化數據的分析　//181
7.2.1　客戶投訴內容分析　//181
7.2.2　互聯(lián)網輿情監(jiān)控分析　//183
7.3　客戶分析　//184
7.3.1　客戶生命周期　//184
7.3.2　客戶內容屬性　//197
7.3.3　客戶行為屬性　//203
7.3.4　客戶新業(yè)務分析　//218
7.3.5　客戶滿意度分析　//220
7.3.6　客戶流失分析　//223
7.4　產品分析　//234
7.4.1　建設背景和目的　//235
7.4.2　整體流程　//235
7.4.3　建設中涉及的模型　//235
7.5　內容營銷分析　//240
7.5.1　手機視頻產品營銷觸發(fā)　//240
7.5.2　手機視頻內容分析　//240
7.5.3　目標客戶篩選和細分　//240
7.5.4　方案設計　//241
7.5.5　營銷腳本設計　//242
7.5.6　營銷方式選擇　//243
7.5.7　營銷方式使用效果　//243
7.5.8　效益評估　//244
7.6　網格化管理分析　//245
7.7　社會渠道欺詐分析　//247
7.7.1　概述　//247
7.7.2　模型方法　//248
7.7.3　模型定義　//250
7.7.4　業(yè)務應用　//255
7.7.5　優(yōu)化方法　//256
第8章　大數據中的互聯(lián)網思維　//257
8.1　互聯(lián)網思維介紹　//258
8.1.1　九大特征　//258
8.1.2　大數據為何需要互聯(lián)網思維　//260
8.1.3　大數據如何借助互聯(lián)網思維　//260
8.2　BA產品定義　//260
8.3　BA產品的客戶體驗　//263
8.3.1　客戶是誰　//263
8.3.2　客戶的體驗是什么　//264
8.3.3　提升客戶體驗的展示形式　//266
8.3.4　提升客戶體驗的解決問題能力　//270
8.4　BA產品迭代開發(fā) 　//280
8.4.1　如何構建共享方式　//280
8.4.2　提供API接口　//282
8.4.3　提供類似App Store開發(fā)環(huán)境　//284
8.5　BA產品的“客戶入口”把控　//286
8.5.1　抓住客戶的入口　//286
8.5.2　讓客戶參與BA產品開發(fā)　//287
8.5.3　BA產品的內部客戶營銷　//287
第9章　大數據的管理架構及探索　//289
9.1　BA產品生態(tài)圈的建設　//290
9.1.1　生態(tài)圈組成　//290
9.1.2　生態(tài)圈盈利模式　//292
9.1.3　生態(tài)圈的“共贏”　//293
9.2　管理架構舉例　//294
9.2.1　互聯(lián)網企業(yè)架構　//294
9.2.2　運營公司的架構　//295
9.2.3　架構的特點分析　//295
9.3　人才的培養(yǎng)　//296
9.3.1　知識結構要求　//296
9.3.2　交際（團隊）能力要求　//297
9.3.3　耐壓能力要求　//297
9.4 　團隊的構建及激勵　//298
9.4.1　技術人員轉型業(yè)務人員　//298
9.4.2　業(yè)務經驗的培養(yǎng)和積累　//298
9.4.3　待遇激勵　//298
第10章　后記　//299