大數(shù)據(jù)技術(shù)基礎應用教程

目錄
章大數(shù)據(jù)基礎1
1．1什么是大數(shù)據(jù)1
1．1．1大數(shù)據(jù)的發(fā)展歷程1
1．1．2大數(shù)據(jù)的定義2
1．2大數(shù)據(jù)的特征2
1．2．1Volume(數(shù)量)3
1．2．2Variety(種類)3
1．2．3Velocity(速度)3
1．2．4Value(價值)4
1．2．5Veracity(真實性)4
1．3大數(shù)據(jù)的關(guān)鍵技術(shù)4
1．3．1大數(shù)據(jù)采集技術(shù)4
1．3．2大數(shù)據(jù)預處理技術(shù)7
1．3．3大數(shù)據(jù)存儲及管理技術(shù)7
1．3．4大數(shù)據(jù)分析及挖掘技術(shù)8
1．3．5大數(shù)據(jù)展現(xiàn)和應用技術(shù)9
1．4大數(shù)據(jù)與云計算9
1．4．1云計算定義9
1．4．2云計算的特征9
1．4．3云計算和大數(shù)據(jù)的關(guān)系10
1．4．4云計算對大數(shù)據(jù)的影響10
1．5大數(shù)據(jù)的應用11
1．5．1電商行業(yè)11
1．5．2金融行業(yè)11
1．5．3醫(yī)療行業(yè)12
1．5．4農(nóng)牧漁行業(yè)12
1．5．5生物技術(shù)13
1．5．6智慧城市13
1．5．7電信行業(yè)13
1．5．8社交媒體分析14
本章小結(jié)14
實驗114
第2章大數(shù)據(jù)軟件架構(gòu)17
2．1Hadoop架構(gòu)17
2．1．1Hadoop簡介17
2．1．2Hadoop家族成員18
2．1．3Hadoop 2．0生態(tài)系統(tǒng)的集群架構(gòu)20
2．1．4Hadoop運行環(huán)境20
2．1．5Hadoop集群的安裝與部署22
2．2Spark架構(gòu)29
2．2．1Spark簡介29
2．2．2Spark集群模式31
2．2．3Spark核心組件33
2．2．4Spark運行環(huán)境35
2．2．5Spark的安裝35
2．3實時流處理架構(gòu)36
2．3．1實時計算的概念36
2．3．2實時計算的相關(guān)技術(shù)36
2．3．3Apache Storm38
2．3．4Apache Samza38
2．3．5Lambda架構(gòu)39
2．4框架的選擇41
2．4．1框架的種類41
2．4．2框架的選擇43
本章小結(jié)43
實驗244
第3章大數(shù)據(jù)存儲45
3．1大數(shù)據(jù)存儲概述45
3．1．1傳統(tǒng)存儲系統(tǒng)時代45
3．1．2大數(shù)據(jù)時代的新挑戰(zhàn)46
3．2大數(shù)據(jù)存儲方式47
3．2．1分布式存儲47
3．2．2云存儲48
3．2．3大數(shù)據(jù)存儲的其他需求49
3．3大數(shù)據(jù)的存儲技術(shù)50
3．3．1分布式文件存儲50
3．3．2NoSQL數(shù)據(jù)庫53
3．3．3NewSQL數(shù)據(jù)庫56
3．3．4云存儲技術(shù)57
3．4大數(shù)據(jù)存儲的可靠性59
3．4．1大數(shù)據(jù)可靠性的風險60
3．4．2提高大數(shù)據(jù)可靠性的方法60
本章小結(jié)61
實驗361
第4章大數(shù)據(jù)計算63
4．1大數(shù)據(jù)計算基本框架63
4．2批處理計算64
4．2．1Hadoop64
4．2．2DAG模型66
4．3流計算69
4．3．1流計算概述69
4．3．2Storm及Trident70
4．4交互式分析計算72
4．4．1概述72
4．4．2Hive73
4．4．3SQL引擎Calcite74
本章小結(jié)75
實驗475
第5章大數(shù)據(jù)分析77
5．1大數(shù)據(jù)分析概述77
5．2大數(shù)據(jù)分析基礎78
5．2．1大數(shù)據(jù)分析基本分類78
5．2．2大數(shù)據(jù)分析步驟79
5．2．3異步分析80
5．3大數(shù)據(jù)預測分析80
5．3．1什么是預測分析80
5．3．2預測分析的作用80
5．3．3數(shù)據(jù)具有內(nèi)在預測性82
5．4大數(shù)據(jù)分析應用83
5．4．1大數(shù)據(jù)分析的主要應用行業(yè)83
5．4．2大數(shù)據(jù)分析應用應注意的問題85
5．5大數(shù)據(jù)分析平臺與工具87
5．5．1HPCC系統(tǒng)87
5．5．2Apache Drill91
5．5．3RapidMiner93
本章小結(jié)94
實驗594
第6章大數(shù)據(jù)可視化96
6．1大數(shù)據(jù)可視化概述96
6．1．1大數(shù)據(jù)可視化的概念96
6．1．2大數(shù)據(jù)可視化的基本思想和手段97
6．1．3大數(shù)據(jù)可視化的基本模型97
6．1．4可視化設計組件98
6．2科學可視化105
6．2．1科學可視化的概念105
6．2．2科學可視化方面的主題105
6．2．3科學可視化的應用106
6．3信息可視化107
6．3．1信息可視化的概念107
6．3．2信息可視化的應用108
6．3．3信息實時可視化108
6．3．4信息可視化與科學可視化的關(guān)系109
6．4數(shù)據(jù)可視化的應用109
6．4．1數(shù)據(jù)可視化的運用109
6．4．2信息可視化的挑戰(zhàn)114
6．5大數(shù)據(jù)可視化分析116
6．5．1數(shù)據(jù)類型116
6．5．2基本任務117
6．5．3大數(shù)據(jù)可視化分析方法118
6．5．4大數(shù)據(jù)可視化技術(shù)120
6．5．5大數(shù)據(jù)可視化分析工具127
本章小結(jié)130
實驗6130
第7章大數(shù)據(jù)安全135
7．1大數(shù)據(jù)安全的定義136
7．1．1大數(shù)據(jù)安全的定義136
7．1．2大數(shù)據(jù)安全面臨的挑戰(zhàn)136
7．2安全措施的實施138
7．2．1國外數(shù)據(jù)安全的法律法規(guī)138
7．2．2我國數(shù)據(jù)安全的法律法規(guī)139
7．2．3主要標準化組織的大數(shù)據(jù)安全工作情況140
7．2．4大數(shù)據(jù)安全標準化規(guī)范143
7．2．5大數(shù)據(jù)安全標準體系框架144
7．2．6大數(shù)據(jù)安全策略145
7．3大數(shù)據(jù)安全保障技術(shù)147
7．3．1數(shù)據(jù)溯源技術(shù)147
7．3．2數(shù)字水印技術(shù)149
7．3．3身份認證技術(shù)152
7．3．4數(shù)據(jù)發(fā)布匿名保護技術(shù)157
7．3．5社交網(wǎng)絡匿名保護技術(shù)159
7．4云安全162
7．4．1云安全的概念162
7．4．2云安全的應對方式163
7．4．3云安全技術(shù)164
本章小結(jié)169
實驗7169
第8章大數(shù)據(jù)機器學習172
8．1大數(shù)據(jù)機器學習概述172
8．1．1人工智能概述172
8．1．2機器學習概述174
8．2機器學習類型176
8．2．1基于學習策略的分類176
8．2．2基于獲取知識的表示形式分類177
8．2．3按應用領域分類178
8．2．4按學習形式分類178
8．3大數(shù)據(jù)機器學習算法179
8．3．1大數(shù)據(jù)分治策略與抽樣179
8．3．2大數(shù)據(jù)特征選擇180
8．3．3大數(shù)據(jù)分類183
8．3．4大數(shù)據(jù)聚類189
8．3．5大數(shù)據(jù)關(guān)聯(lián)分析195
8．3．6大數(shù)據(jù)并行計算197
8．4大數(shù)據(jù)機器學習的應用199
8．4．1機器學習在金融領域的應用200
8．4．2機器學習在生物信息學中的應用202
8．4．3機器學習在電商文本大數(shù)據(jù)挖掘中的應用203
本章小結(jié)204
實驗8 205