大數(shù)據(jù)和大分析

第1章　背景　//1
1.1　大數(shù)據(jù)的引出和影響　//3
1.1.1　“大數(shù)據(jù)，大商機(jī)”　//3
1.1.2　“數(shù)據(jù)資產(chǎn)”的引出　//6
1.1.3　數(shù)據(jù)量龐大　//9
1.1.4　數(shù)據(jù)結(jié)構(gòu)復(fù)雜　//10
1.1.5　數(shù)據(jù)價(jià)值有待挖掘　//11
1.1.6　“數(shù)據(jù)驅(qū)動(dòng)”的變革　//12
1.1.7　互聯(lián)網(wǎng)發(fā)展中的“數(shù)聯(lián)網(wǎng)”　//15
1.2　為何需要大分析　//16
1.2.1　數(shù)據(jù)價(jià)值評(píng)估　//16
1.2.2　“數(shù)據(jù)資產(chǎn)”變現(xiàn)問(wèn)題　//18
1.2.3　大分析的技術(shù)基礎(chǔ)　//20
1.2.4　大分析面臨的問(wèn)題　//26
1.3　大分析的應(yīng)用案例　//29
1.3.1　新的“啤酒和尿布”　//29
1.3.2　KPI信息地圖　//30
1.3.3　“大數(shù)據(jù)、超細(xì)分、微營(yíng)銷”　//32
1.4 　小結(jié)　//34
第2章　大數(shù)據(jù)基礎(chǔ)　//35
2.1　大數(shù)據(jù)的基本理念　//36
2.1.1　概念和定義探索　//36
2.1.2　大數(shù)據(jù)的技術(shù)基礎(chǔ)　//37
2.1.3　沒(méi)有大分析，大數(shù)據(jù)就是大垃圾　//38
2.1.4　大數(shù)據(jù)如何借鑒“數(shù)據(jù)倉(cāng)庫(kù)”的經(jīng)驗(yàn)　//38
2.1.5　企業(yè)級(jí)數(shù)據(jù)中心　//41
2.2　大數(shù)據(jù)與數(shù)據(jù)倉(cāng)庫(kù)的關(guān)系　//42
2.2.1　大數(shù)據(jù)擴(kuò)展數(shù)據(jù)倉(cāng)庫(kù)理論架構(gòu)　//42
2.2.2　大數(shù)據(jù)繼承數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)管理的經(jīng)驗(yàn)　//43
2.2.3　大數(shù)據(jù)開(kāi)啟了非結(jié)構(gòu)化數(shù)據(jù)的處理　//43
2.2.4　大數(shù)據(jù)要借鑒數(shù)據(jù)倉(cāng)庫(kù)的生態(tài)圈　//43
2.2.5　大數(shù)據(jù)應(yīng)繼承數(shù)據(jù)分析技術(shù)　//44
2.2.6 　與數(shù)據(jù)庫(kù)的關(guān)系　//44
2.2.7　數(shù)據(jù)倉(cāng)庫(kù)借鑒大數(shù)據(jù)的營(yíng)銷模式　//44
2.3　大數(shù)據(jù)的基本特點(diǎn)　//45
2.3.1　“4V”特點(diǎn)　//45
2.3.2　大分析角度的大數(shù)據(jù)特征　//45
2.4　大數(shù)據(jù)的價(jià)值和意義　//46
2.4.1　圍繞客戶信息，提供全方位服務(wù)　//46
2.4.2　構(gòu)筑“虛擬團(tuán)隊(duì)”，提升團(tuán)隊(duì)管理水平　//46
2.4.3　讓“智慧城市”“智能交通”等變?yōu)榭赡堋?/47
2.4.4　構(gòu)筑“理性社會(huì)”終于成為可能　//47
2.4.5　中國(guó)前所未有的一次“彎道超車”機(jī)遇　//47
2.5　大數(shù)據(jù)的問(wèn)題和挑戰(zhàn)　//48
2.5.1　數(shù)據(jù)質(zhì)量問(wèn)題越發(fā)突出　//48
2.5.2　數(shù)據(jù)分析技術(shù)尚缺實(shí)質(zhì)突破　//48
2.5.3　大數(shù)據(jù)應(yīng)用水平需要逐步演進(jìn)、逐步深化　//48
2.5.4　大數(shù)據(jù)技術(shù)架構(gòu)面臨突破　//49
2.5.5　數(shù)據(jù)理念與國(guó)外仍然相距甚遠(yuǎn)　//49
2.5.6　大數(shù)據(jù)是一項(xiàng)系統(tǒng)工程　//49
2.6　小結(jié)　//50
第3章　大數(shù)據(jù)的管理　//51
3.1　數(shù)據(jù)如何收集　//52
3.1.1　能獲取哪些數(shù)據(jù)　//52
3.1.2　基于數(shù)據(jù)價(jià)值，決定數(shù)據(jù)的收集、存放策略　//53
3.1.3　沒(méi)有應(yīng)用時(shí)，是否收集數(shù)據(jù)　//53
3.2　數(shù)據(jù)的標(biāo)準(zhǔn)　//53
3.2.1　數(shù)據(jù)接口　//53
3.2.2　數(shù)據(jù)模型　//55
3.3　大數(shù)據(jù)的ETL過(guò)程　//57
3.4　大數(shù)據(jù)如何存儲(chǔ)　//58
3.4.1　數(shù)據(jù)庫(kù)/數(shù)據(jù)倉(cāng)庫(kù)　//58
3.4.2　分布式文件系統(tǒng)（HDFS）　//59
3.4.3　混搭模式　//63
3.4.4　Hive /Hbase等　//63
3.4.5　MPP　//65
3.5　數(shù)據(jù)如何估值和計(jì)費(fèi)　//65
3.5.1　什么數(shù)據(jù)最好賣　//66
3.5.2　市場(chǎng)價(jià)格　//66
3.5.3　數(shù)據(jù)的開(kāi)放　//67
3.6　大數(shù)據(jù)的“數(shù)據(jù)資產(chǎn)”管理　//67
3.7　數(shù)據(jù)如何保障安全　//68
3.8 　小結(jié)　//71
第4章　大數(shù)據(jù)的技術(shù)架構(gòu)　//73
4.1　大數(shù)據(jù)處理架構(gòu)　//74
4.1.1　大數(shù)據(jù)處理層級(jí)和域　//75
4.1.2　哪些計(jì)算適合并行　//78
4.2　為何是混搭架構(gòu)　//78
4.2.1　大數(shù)據(jù)混搭架構(gòu)的利弊分析　//79
4.2.2　架構(gòu)是否去IOE　//80
4.2.3　大數(shù)據(jù)混搭架構(gòu)實(shí)例　//80
4.3　數(shù)據(jù)集市的模式　//83
4.3.1　數(shù)據(jù)沙盒模式　//85
4.3.2　貼近角色的平臺(tái)及應(yīng)用　//85
4.3.3　文件集市　//89
4.4　數(shù)據(jù)管控模塊　//89
4.4.1　元數(shù)據(jù)　//89
4.4.2　數(shù)據(jù)質(zhì)量　//91
4.5　大數(shù)據(jù)的“爬蟲”技術(shù)　//93
4.5.1　定制爬蟲Nutch　//94
4.5.2　分詞技術(shù)—庖丁分詞　//94
4.5.3　索引及全文檢索—Splunk　//95
4.5.4　上網(wǎng)數(shù)據(jù)解析流程　//97
4.6　大數(shù)據(jù)安全管理框架　//99
4.6.1　安全管控技術(shù)架構(gòu)　//99
4.6.2　管理制度建設(shè)　//101
4.6.3　去隱私化技術(shù)舉例　//103
4.7　小結(jié)　//108
第5章　大數(shù)據(jù)的數(shù)據(jù)質(zhì)量管控　//111
5.1　數(shù)據(jù)質(zhì)量概念　//113
5.1.1　基本概念　//113
5.1.2　大數(shù)據(jù)就不考慮質(zhì)量了嗎　//117
5.2　元數(shù)據(jù)　//118
5.2.1　數(shù)據(jù)的數(shù)據(jù)　//118
5.2.2　元數(shù)據(jù)的CWM標(biāo)準(zhǔn)　//120
5.2.3　元數(shù)據(jù)分類　//122
5.3　數(shù)據(jù)質(zhì)量管控　//123
5.3.1　數(shù)據(jù)質(zhì)量管控目標(biāo)　//123
5.3.2　數(shù)據(jù)質(zhì)量子系統(tǒng)架構(gòu)　//124
5.4　如何建立數(shù)據(jù)質(zhì)量管理制度　//129
5.4.1　數(shù)據(jù)質(zhì)量分工管理流程　//129
5.4.2　及時(shí)監(jiān)控和告警　//136
5.5 　數(shù)據(jù)質(zhì)量管控產(chǎn)品的客戶體驗(yàn)　//139
5.5.1　降低技術(shù)門檻　//139
5.5.2　產(chǎn)品的手機(jī)App化　//140
5.6　小結(jié)　//141
第6章　大數(shù)據(jù)如何帶來(lái)大分析　//143
6.1　沒(méi)有應(yīng)用的數(shù)據(jù)是垃圾數(shù)據(jù)　//145
6.1.1　應(yīng)用的廣度　//145
6.1.2　應(yīng)用的深度　//145
6.1.3　應(yīng)用的實(shí)時(shí)性/融合性　//146
6.2　大分析（BA）的概念　//147
6.2.1　“大分析”的發(fā)展變化　//147
6.2.2　大分析的“群眾路線”　//150
6.3　大分析（BA）的產(chǎn)品開(kāi)發(fā)　//151
6.3.1　基于數(shù)據(jù)分析，解決實(shí)際問(wèn)題　//152
6.3.2　BA產(chǎn)品和分析工具產(chǎn)品的區(qū)隔　//154
6.3.3　自助分析　//158
6.3.4　導(dǎo)航式分析　//161
6.4　應(yīng)用推廣問(wèn)題　//170
6.4.1　市場(chǎng)的“冬天”就是大分析的“春天”　//170
6.4.2　為何需要應(yīng)用推廣　//170
6.4.3　如何證明分析的獨(dú)特價(jià)值　//171
6.4.4　如何解決員工實(shí)際的問(wèn)題　//172
6.4.5　電信和互聯(lián)網(wǎng)行業(yè)應(yīng)用推廣對(duì)比　//172
6.4.6　不同的企業(yè)用不同的推廣方法　//172
6.5　大分析的“閉環(huán)”問(wèn)題　//173
6.5.1　分析和執(zhí)行的閉環(huán)執(zhí)行　//173
6.5.2　營(yíng)銷流程的設(shè)計(jì)—營(yíng)銷管理平臺(tái)　//173
6.6　小結(jié)　//176
第7章　大分析應(yīng)用案例　//179
7.1　大分析的應(yīng)用階段　//180
7.2　非結(jié)構(gòu)化數(shù)據(jù)的分析　//181
7.2.1　客戶投訴內(nèi)容分析　//181
7.2.2　互聯(lián)網(wǎng)輿情監(jiān)控分析　//183
7.3　客戶分析　//184
7.3.1　客戶生命周期　//184
7.3.2　客戶內(nèi)容屬性　//197
7.3.3　客戶行為屬性　//203
7.3.4　客戶新業(yè)務(wù)分析　//218
7.3.5　客戶滿意度分析　//220
7.3.6　客戶流失分析　//223
7.4　產(chǎn)品分析　//234
7.4.1　建設(shè)背景和目的　//235
7.4.2　整體流程　//235
7.4.3　建設(shè)中涉及的模型　//235
7.5　內(nèi)容營(yíng)銷分析　//240
7.5.1　手機(jī)視頻產(chǎn)品營(yíng)銷觸發(fā)　//240
7.5.2　手機(jī)視頻內(nèi)容分析　//240
7.5.3　目標(biāo)客戶篩選和細(xì)分　//240
7.5.4　方案設(shè)計(jì)　//241
7.5.5　營(yíng)銷腳本設(shè)計(jì)　//242
7.5.6　營(yíng)銷方式選擇　//243
7.5.7　營(yíng)銷方式使用效果　//243
7.5.8　效益評(píng)估　//244
7.6　網(wǎng)格化管理分析　//245
7.7　社會(huì)渠道欺詐分析　//247
7.7.1　概述　//247
7.7.2　模型方法　//248
7.7.3　模型定義　//250
7.7.4　業(yè)務(wù)應(yīng)用　//255
7.7.5　優(yōu)化方法　//256
第8章　大數(shù)據(jù)中的互聯(lián)網(wǎng)思維　//257
8.1　互聯(lián)網(wǎng)思維介紹　//258
8.1.1　九大特征　//258
8.1.2　大數(shù)據(jù)為何需要互聯(lián)網(wǎng)思維　//260
8.1.3　大數(shù)據(jù)如何借助互聯(lián)網(wǎng)思維　//260
8.2　BA產(chǎn)品定義　//260
8.3　BA產(chǎn)品的客戶體驗(yàn)　//263
8.3.1　客戶是誰(shuí)　//263
8.3.2　客戶的體驗(yàn)是什么　//264
8.3.3　提升客戶體驗(yàn)的展示形式　//266
8.3.4　提升客戶體驗(yàn)的解決問(wèn)題能力　//270
8.4　BA產(chǎn)品迭代開(kāi)發(fā) 　//280
8.4.1　如何構(gòu)建共享方式　//280
8.4.2　提供API接口　//282
8.4.3　提供類似App Store開(kāi)發(fā)環(huán)境　//284
8.5　BA產(chǎn)品的“客戶入口”把控　//286
8.5.1　抓住客戶的入口　//286
8.5.2　讓客戶參與BA產(chǎn)品開(kāi)發(fā)　//287
8.5.3　BA產(chǎn)品的內(nèi)部客戶營(yíng)銷　//287
第9章　大數(shù)據(jù)的管理架構(gòu)及探索　//289
9.1　BA產(chǎn)品生態(tài)圈的建設(shè)　//290
9.1.1　生態(tài)圈組成　//290
9.1.2　生態(tài)圈盈利模式　//292
9.1.3　生態(tài)圈的“共贏”　//293
9.2　管理架構(gòu)舉例　//294
9.2.1　互聯(lián)網(wǎng)企業(yè)架構(gòu)　//294
9.2.2　運(yùn)營(yíng)公司的架構(gòu)　//295
9.2.3　架構(gòu)的特點(diǎn)分析　//295
9.3　人才的培養(yǎng)　//296
9.3.1　知識(shí)結(jié)構(gòu)要求　//296
9.3.2　交際（團(tuán)隊(duì)）能力要求　//297
9.3.3　耐壓能力要求　//297
9.4 　團(tuán)隊(duì)的構(gòu)建及激勵(lì)　//298
9.4.1　技術(shù)人員轉(zhuǎn)型業(yè)務(wù)人員　//298
9.4.2　業(yè)務(wù)經(jīng)驗(yàn)的培養(yǎng)和積累　//298
9.4.3　待遇激勵(lì)　//298
第10章　后記　//299