大數(shù)據(jù)

第一部分大數(shù)據(jù)基礎(chǔ)知識
第1章大數(shù)據(jù)時代3
1.1數(shù)據(jù)時代3
1.1.1大數(shù)據(jù)時代的到來3
1.1.2數(shù)據(jù)、信息與知識的演進3
1.1.3數(shù)據(jù)6
1.2大數(shù)據(jù)8
1.2.1什么是大數(shù)據(jù)8
1.2.2大數(shù)據(jù)發(fā)展歷史與現(xiàn)狀10
1.2.3大數(shù)據(jù)能做和不能做的事11
1.2.4大數(shù)據(jù)產(chǎn)業(yè)12
1.3大數(shù)據(jù)技術(shù)基礎(chǔ)12
1.3.1傳統(tǒng)的大數(shù)據(jù)處理流程12
1.3.2大數(shù)據(jù)核心技術(shù)13
1.3.3大數(shù)據(jù)技術(shù)分類14
1.3.4大數(shù)據(jù)分析的方法理論16
1.4大數(shù)據(jù)的社會價值17
1.5大數(shù)據(jù)的商業(yè)應(yīng)用18
1.5.1商業(yè)大數(shù)據(jù)的類型和價值挖掘方法18
1.5.2大數(shù)據(jù)的十大商業(yè)應(yīng)用場景19
1.5.3成為“大數(shù)據(jù)企業(yè)”21
1.6大數(shù)據(jù)應(yīng)用案例: 《非誠勿擾》男女嘉賓牽手數(shù)據(jù)分析21
習題與思考題25
第2章大數(shù)據(jù)系統(tǒng)的基本架構(gòu)27
2.1大數(shù)據(jù)系統(tǒng)總體架構(gòu)27
2.2大數(shù)據(jù)技術(shù)框架282.3大數(shù)據(jù)應(yīng)用案例: 在“北上廣”打拼是怎樣一種體驗30
習題與思考題35
大數(shù)據(jù)目錄第二部分大數(shù)據(jù)理論與技術(shù)
第3章大數(shù)據(jù)系統(tǒng)輸入39
3.1大數(shù)據(jù)采集過程及數(shù)據(jù)來源39
3.1.1大數(shù)據(jù)采集來源39
3.1.2大數(shù)據(jù)采集過程40
3.2大數(shù)據(jù)采集方法40
3.3大數(shù)據(jù)導(dǎo)入/預(yù)處理42
3.3.1大數(shù)據(jù)導(dǎo)入/預(yù)處理的過程42
3.3.2數(shù)據(jù)清洗的過程44
3.3.3數(shù)據(jù)清洗與數(shù)據(jù)采集技術(shù)46
3.3.4基于大數(shù)據(jù)的數(shù)據(jù)預(yù)處理47
3.4數(shù)據(jù)集成49
3.4.1數(shù)據(jù)集成的概念49
3.4.2數(shù)據(jù)集成面臨的問題49
3.5數(shù)據(jù)變換49
3.5.1異構(gòu)數(shù)據(jù)分析50
3.5.2異構(gòu)數(shù)據(jù)交換策略51
3.5.3異構(gòu)數(shù)據(jù)交換技術(shù)52
3.6大數(shù)據(jù)應(yīng)用案例: 電影《爸爸去哪兒》大賣有前兆嗎54
習題與思考題61
第4章大數(shù)據(jù)系統(tǒng)處理63
4.1大數(shù)據(jù)處理基礎(chǔ)架構(gòu)——云計算63
4.1.1云計算系統(tǒng)的體系結(jié)構(gòu)63
4.1.2云計算的核心技術(shù)64
4.1.3云計算的主要服務(wù)形式68
4.1.4大數(shù)據(jù)平臺的作用69
4.2大數(shù)據(jù)存儲70
4.2.1海量數(shù)據(jù)存儲的需求71
4.2.2海量數(shù)據(jù)存儲技術(shù)71
4.2.3云存儲72
4.2.4NoSQL非結(jié)構(gòu)化數(shù)據(jù)庫73
4.2.5數(shù)據(jù)倉庫74
4.3大數(shù)據(jù)計算模式與處理系統(tǒng)75
4.3.1數(shù)據(jù)計算75
4.3.2聚類算法77
4.3.3數(shù)據(jù)集成77
4.3.4機器學習81
4.3.5人工智能87
4.3.6數(shù)據(jù)處理語言89
4.4大數(shù)據(jù)應(yīng)用案例: 北京人在哪兒上班和睡覺91
習題與思考題93
第5章大數(shù)據(jù)系統(tǒng)輸出96
5.1數(shù)據(jù)的查詢96
5.1.1常規(guī)數(shù)據(jù)庫查詢結(jié)構(gòu)化數(shù)據(jù)96
5.1.2大數(shù)據(jù)時代的數(shù)據(jù)搜索96
5.1.3數(shù)據(jù)庫與信息檢索技術(shù)的比較98
5.2網(wǎng)絡(luò)數(shù)據(jù)索引與查詢技術(shù)99
5.2.1搜索引擎技術(shù)概述99
5.2.2Web搜索引擎的工作原理100
5.3大數(shù)據(jù)索引和查詢技術(shù)103
5.3.1大數(shù)據(jù)索引和查詢103
5.3.2大數(shù)據(jù)處理索引工具MapReduce103
5.3.3相似性搜索工具105
5.4數(shù)據(jù)展現(xiàn)與交互107
5.4.1數(shù)據(jù)可視化108
5.4.2知識圖譜113
5.5大數(shù)據(jù)應(yīng)用案例: 上海的房子都被誰買走了114
習題與思考題119
第6章大數(shù)據(jù)分析與數(shù)據(jù)挖掘121
6.1大數(shù)據(jù)分析及其應(yīng)用121
6.1.1數(shù)據(jù)處理和分析的發(fā)展121
6.1.2大數(shù)據(jù)分析面對的數(shù)據(jù)類型123
6.1.3大數(shù)據(jù)分析與處理方法124
6.1.4數(shù)據(jù)分析的步驟124
6.1.5大數(shù)據(jù)分析的應(yīng)用127
6.2數(shù)據(jù)挖掘技術(shù)129
6.2.1數(shù)據(jù)挖掘的定義129
6.2.2利用數(shù)據(jù)挖掘進行數(shù)據(jù)分析的常用方法131
6.2.3數(shù)據(jù)挖掘的功能132
6.2.4數(shù)據(jù)挖掘的流程133
6.2.5數(shù)據(jù)挖掘的應(yīng)用134
6.3商業(yè)智能與數(shù)據(jù)分析135
6.3.1商業(yè)智能技術(shù)輔助決策的發(fā)展135
6.3.2商業(yè)智能系統(tǒng)架構(gòu)136
6.3.3商業(yè)智能的技術(shù)體系136
6.3.4商務(wù)智能=數(shù)據(jù)+分析+決策+利益138
6.4大數(shù)據(jù)營銷業(yè)務(wù)模型138
6.4.1大數(shù)據(jù)對業(yè)務(wù)模式的影響138
6.4.2大數(shù)據(jù)營銷的定義與特點140
6.4.3網(wǎng)絡(luò)營銷大數(shù)據(jù)實際操作142
6.4.4大數(shù)據(jù)營銷方法145
6.5基于社會媒體的分析預(yù)測技術(shù)150
6.5.1基于空間大數(shù)據(jù)的社會感知150
6.5.2基于社會媒體的預(yù)測技術(shù)153
6.5.3基于消費意圖挖掘的預(yù)測154
6.5.4基于事件抽取的預(yù)測157
6.5.5基于因果分析的預(yù)測157
6.6大數(shù)據(jù)應(yīng)用案例: 用大數(shù)據(jù)看風水——以星巴克和海底撈的選址為例160
習題與思考題164
第7章大數(shù)據(jù)隱私與安全166
7.1大數(shù)據(jù)面臨的安全問題166
7.2大數(shù)據(jù)安全與隱私保護關(guān)鍵技術(shù)170
7.2.1基于大數(shù)據(jù)的威脅發(fā)現(xiàn)技術(shù)170
7.2.2基于大數(shù)據(jù)的認證技術(shù)172
7.2.3基于大數(shù)據(jù)的數(shù)據(jù)真實性分析173
7.2.4大數(shù)據(jù)與“安全即服務(wù)”173
7.3大數(shù)據(jù)安全的防護策略173
7.4大數(shù)據(jù)應(yīng)用案例: 數(shù)據(jù)解讀城市——北京本地人VS外地人175
習題與思考題183
第三部分行 業(yè) 案 例
第8章行業(yè)案例研究187
8.1銀行業(yè)應(yīng)用187
8.1.1大數(shù)據(jù)時代: 銀行如何玩轉(zhuǎn)數(shù)據(jù)挖掘187
8.1.2中國工商銀行客戶關(guān)系管理案例189
8.1.3銀行風險管理192
8.2保險業(yè)應(yīng)用196
8.2.1保險業(yè)擁抱大數(shù)據(jù)時代或帶來顛覆性變革196
8.2.2保險欺詐識別198
8.3證券期貨應(yīng)用199
8.3.1安徽省使用大數(shù)據(jù)監(jiān)管證券期貨199
8.3.2大數(shù)據(jù)分析挖出基金“老鼠倉”的啟示200
8.4金融行業(yè)應(yīng)用201
8.4.1大數(shù)據(jù)決定互聯(lián)網(wǎng)金融未來201
8.4.2移動大數(shù)據(jù)在互聯(lián)網(wǎng)金融反欺詐領(lǐng)域的應(yīng)用204
8.5大數(shù)據(jù)應(yīng)用案例: 網(wǎng)民睡眠面面觀206
參考文獻208