大數(shù)據(jù)基礎(chǔ)編程、實(shí)驗(yàn)和案例教程（第2版）

第1章大數(shù)據(jù)技術(shù)概述/1
1.1大數(shù)據(jù)時(shí)代/1
1.2大數(shù)據(jù)關(guān)鍵技術(shù)/2
1.3大數(shù)據(jù)軟件/3
1.3.1Hadoop/4
1.3.2Spark/5
1.3.3NoSQL數(shù)據(jù)庫/5
1.4內(nèi)容安排/6
1.5在線資源/8
1.6本章小結(jié)/10
第2章Linux系統(tǒng)的安裝和使用/11
2.1Linux系統(tǒng)簡介/11
2.2Linux系統(tǒng)安裝/11
2.2.1下載安裝文件/12
2.2.2Linux系統(tǒng)的安裝方式/12
2.2.3安裝Linux虛擬機(jī)/13
2.2.4生成Linux虛擬機(jī)鏡像文件/35
2.3Linux系統(tǒng)及相關(guān)軟件的基本使用方法/36
2.3.1Shell/36
2.3.2root用戶/37
2.3.3創(chuàng)建普通用戶/37
2.3.4sudo命令/38
2.3.5常用的Linux系統(tǒng)命令/38
2.3.6文件解壓縮/39
2.3.7常用的目錄/39
2.3.8目錄的權(quán)限/40
2.3.9更新APT/40
2.3.10切換中英文輸入法/42
2.3.11vim編輯器的使用方法/42
2.3.12在Windows系統(tǒng)中使用SSH方式登錄Linux系統(tǒng)/43
2.3.13在Linux系統(tǒng)中安裝Eclipse/46
2.3.14其他使用技巧/47
2.4關(guān)于本書內(nèi)容的一些約定/47
2.5本章小結(jié)/48
第3章Hadoop的安裝和使用/49
3.1Hadoop簡介/49
3.2安裝Hadoop前的準(zhǔn)備工作/49
3.2.1創(chuàng)建hadoop用戶/50
3.2.2更新APT/50
3.2.3安裝SSH/50
3.2.4安裝Java環(huán)境/51
3.3安裝Hadoop/52
3.3.1下載安裝文件/53
3.3.2單機(jī)模式配置/53
3.3.3偽分布式模式配置/54
3.3.4分布式模式配置/61
3.4本章小結(jié)/70
第4章HDFS操作方法和基礎(chǔ)編程/71
4.1HDFS操作常用的Shell命令/71
4.1.1查看命令的用法/71
4.1.2HDFS操作/73
4.2利用HDFS的Web管理界面/75
4.3HDFS編程實(shí)踐/75
4.3.1在Eclipse中創(chuàng)建項(xiàng)目/75
4.3.2為項(xiàng)目添加需要用到的JAR包/76
4.3.3編寫Java應(yīng)用程序/79
4.3.4編譯運(yùn)行程序/82
4.3.5應(yīng)用程序的部署/83
4.4本章小結(jié)/86
第5章HBase的安裝和基礎(chǔ)編程/88
5.1安裝HBase/88
5.1.1下載安裝文件/88
5.1.2配置環(huán)境變量/89
5.1.3添加用戶權(quán)限/89
5.1.4查看HBase版本信息/89
5.2HBase的配置/90
5.2.1單機(jī)模式配置/90
5.2.2偽分布式模式配置/92
5.3HBase常用的Shell命令/94
5.3.1在HBase中創(chuàng)建表/94
5.3.2添加數(shù)據(jù)/94
5.3.3查看數(shù)據(jù)/95
5.3.4刪除數(shù)據(jù)/96
5.3.5刪除表/97
5.3.6查詢歷史數(shù)據(jù)/97
5.3.7退出HBase數(shù)據(jù)庫/97
5.4HBase編程實(shí)踐/98
5.4.1在Eclipse中創(chuàng)建項(xiàng)目/98
5.4.2為項(xiàng)目添加需要用到的JAR包/100
5.4.3編寫Java應(yīng)用程序/102
5.4.4編譯運(yùn)行程序/105
5.5本章小結(jié)/106
第6章典型NoSQL數(shù)據(jù)庫的安裝和使用/108
6.1Redis的安裝和使用/108
6.1.1Redis簡介/108
6.1.2安裝Redis/108
6.1.3Redis實(shí)例演示/110
6.2MongoDB的安裝和使用/111
6.2.1MongDB簡介/111
6.2.2安裝MongoDB/112
6.2.3使用Shell命令操作MongoDB/113
6.2.4Java API編程實(shí)例/118
6.3本章小結(jié)/122
第7章MapReduce基礎(chǔ)編程/123
7.1詞頻統(tǒng)計(jì)任務(wù)要求/123
7.2MapReduce程序編寫方法/124
7.2.1編寫Map處理邏輯/124
7.2.2編寫Reduce處理邏輯/124
7.2.3編寫main方法/125
7.2.4完整的詞頻統(tǒng)計(jì)程序/126
7.3編譯打包程序/127
7.3.1使用命令行編譯打包詞頻統(tǒng)計(jì)程序/128
7.3.2使用Eclipse編譯打包詞頻統(tǒng)計(jì)程序/128
7.4運(yùn)行程序/136
7.5本章小結(jié)/139
第8章數(shù)據(jù)倉庫Hive的安裝和使用/140
8.1Hive的安裝/140
8.1.1下載安裝文件/140
8.1.2配置環(huán)境變量/141
8.1.3修改配置文件/141
8.1.4安裝并配置MySQL/142
8.2Hive的數(shù)據(jù)類型/144
8.3Hive基本操作/145
8.3.1創(chuàng)建數(shù)據(jù)庫、表、視圖/145
8.3.2刪除數(shù)據(jù)庫、表、視圖/146
8.3.3修改數(shù)據(jù)庫、表、視圖/147
8.3.4查看數(shù)據(jù)庫、表、視圖/148
8.3.5描述數(shù)據(jù)庫、表、視圖/148
8.3.6向表中裝載數(shù)據(jù)/149
8.3.7查詢表中數(shù)據(jù)/149
8.3.8向表中插入數(shù)據(jù)或從表中導(dǎo)出數(shù)據(jù)/149
8.4Hive應(yīng)用實(shí)例: WordCount/150
8.5Hive編程的優(yōu)勢(shì)/151
8.6本章小結(jié)/151
第9章Spark的安裝和基礎(chǔ)編程/152
9.1基礎(chǔ)環(huán)境/152
9.2安裝Spark/152
9.2.1下載安裝文件/152
9.2.2配置相關(guān)文件/153
9.3使用 Spark Shell編寫代碼/154
9.3.1啟動(dòng)Spark Shell/154
9.3.2讀取文件/155
9.3.3編寫詞頻統(tǒng)計(jì)程序/156
9.4編寫Spark獨(dú)立應(yīng)用程序/157
9.4.1用Scala語言編寫Spark獨(dú)立應(yīng)用程序/157
9.4.2用Java語言編寫Spark獨(dú)立應(yīng)用程序/161
9.5本章小結(jié)/164
第10章Flink的安裝和基礎(chǔ)編程/165
10.1安裝Flink/165
10.2編程實(shí)現(xiàn)WordCount程序/167
10.2.1安裝Maven/167
10.2.2編寫代碼/167
10.2.3使用Maven打包Java程序/171
10.2.4通過flink run命令運(yùn)行程序/172
10.3本章小結(jié)/172
第11章典型可視化工具的使用方法/173
11.1D3可視化庫的使用方法/173
11.1.1D3可視化庫的安裝/173
11.1.2基本操作/174
11.2使用ECharts制作圖表/182
11.2.1ECharts簡介/182
11.2.2ECharts圖表制作方法/182
11.3本章小結(jié)/185
第12章數(shù)據(jù)采集工具的安裝和使用/186
12.1Kafka/186
12.1.1Kafka相關(guān)概念/186
12.1.2安裝Kafka/186
12.1.3一個(gè)實(shí)例/187
12.2實(shí)例: 編寫Spark程序使用Kafka數(shù)據(jù)源/188
12.2.1Kafka準(zhǔn)備工作/188
12.2.2Spark準(zhǔn)備工作/190
12.2.3編寫Spark程序使用Kafka數(shù)據(jù)源/191
12.3本章小結(jié)/197
第13章大數(shù)據(jù)課程綜合實(shí)驗(yàn)案例/198
13.1案例簡介/198
13.1.1案例目的/198
13.1.2適用對(duì)象/198
13.1.3時(shí)間安排/198
13.1.4預(yù)備知識(shí)/198
13.1.5硬件要求/199
13.1.6軟件工具/199
13.1.7數(shù)據(jù)集/199
13.1.8案例任務(wù)/199
13.2實(shí)驗(yàn)環(huán)境搭建/200
13.3實(shí)驗(yàn)步驟概述/200
13.4本地?cái)?shù)據(jù)集上傳到數(shù)據(jù)倉庫Hive/201
13.4.1實(shí)驗(yàn)數(shù)據(jù)集的下載/201
13.4.2數(shù)據(jù)集的預(yù)處理/203
13.4.3導(dǎo)入數(shù)據(jù)庫/206
13.5Hive數(shù)據(jù)分析/209
13.5.1簡單查詢分析/209
13.5.2查詢條數(shù)統(tǒng)計(jì)分析/211
13.5.3關(guān)鍵字條件查詢分析/213
13.5.4根據(jù)用戶行為分析/214
13.5.5用戶實(shí)時(shí)查詢分析/215
13.6Hive、MySQL、HBase數(shù)據(jù)互導(dǎo)/216
13.6.1Hive預(yù)操作/216
13.6.2使用Java API將數(shù)據(jù)從Hive導(dǎo)入MySQL/217
13.6.3使用HBase Java API把數(shù)據(jù)從本地導(dǎo)入HBase中/222
13.7使用R進(jìn)行數(shù)據(jù)可視化分析/229
13.7.1安裝R/229
13.7.2安裝依賴庫/230
13.7.3可視化分析/232
13.8本章小結(jié)/236
第14章實(shí)驗(yàn)/237
14.1實(shí)驗(yàn)一： 熟悉常用的Linux操作和Hadoop操作/237
14.1.1實(shí)驗(yàn)?zāi)康?237
14.1.2實(shí)驗(yàn)平臺(tái)/237
14.1.3實(shí)驗(yàn)步驟/237
14.1.4實(shí)驗(yàn)報(bào)告/239
14.2實(shí)驗(yàn)二: 熟悉常用的HDFS操作/239
14.2.1實(shí)驗(yàn)?zāi)康?239
14.2.2實(shí)驗(yàn)平臺(tái)/239
14.2.3實(shí)驗(yàn)步驟/240
14.2.4實(shí)驗(yàn)報(bào)告/240
14.3實(shí)驗(yàn)三: 熟悉常用的HBase操作/241
14.3.1實(shí)驗(yàn)?zāi)康?241
14.3.2實(shí)驗(yàn)平臺(tái)/241
14.3.3實(shí)驗(yàn)步驟/241
14.3.4實(shí)驗(yàn)報(bào)告/242
14.4實(shí)驗(yàn)四: NoSQL和關(guān)系數(shù)據(jù)庫的操作比較/243
14.4.1實(shí)驗(yàn)?zāi)康?243
14.4.2實(shí)驗(yàn)平臺(tái)/243
14.4.3實(shí)驗(yàn)步驟/243
14.4.4實(shí)驗(yàn)報(bào)告/246
14.5實(shí)驗(yàn)五: MapReduce初級(jí)編程實(shí)踐/247
14.5.1實(shí)驗(yàn)?zāi)康?247
14.5.2實(shí)驗(yàn)平臺(tái)/247
14.5.3實(shí)驗(yàn)步驟/247
14.5.4實(shí)驗(yàn)報(bào)告/249
14.6實(shí)驗(yàn)六: 熟悉Hive的基本操作/250
14.6.1實(shí)驗(yàn)?zāi)康?250
14.6.2實(shí)驗(yàn)平臺(tái)/250
14.6.3數(shù)據(jù)集/250
14.6.4實(shí)驗(yàn)步驟/250
14.6.5實(shí)驗(yàn)報(bào)告/251
14.7實(shí)驗(yàn)七: Spark初級(jí)編程實(shí)踐/252
14.7.1實(shí)驗(yàn)?zāi)康?252
14.7.2實(shí)驗(yàn)平臺(tái)/252
14.7.3實(shí)驗(yàn)步驟/252
14.7.4實(shí)驗(yàn)報(bào)告/254
14.8實(shí)驗(yàn)八: Flink初級(jí)編程實(shí)踐/254
14.8.1實(shí)驗(yàn)?zāi)康?254
14.8.2實(shí)驗(yàn)平臺(tái)/254
14.8.3實(shí)驗(yàn)步驟/254
14.8.4實(shí)驗(yàn)報(bào)告/255
附錄A實(shí)驗(yàn)參考答案/256
A.1“實(shí)驗(yàn)一: 熟悉常用的Linux操作和Hadoop操作”實(shí)驗(yàn)步驟/256
A.2“實(shí)驗(yàn)二: 熟悉常用的HDFS操作”實(shí)驗(yàn)步驟/261
A.3“實(shí)驗(yàn)三: 熟悉常用的HBase操作”實(shí)驗(yàn)步驟/280
A.4“實(shí)驗(yàn)四: NoSQL和關(guān)系數(shù)據(jù)庫的操作比較”實(shí)驗(yàn)步驟/289
A.5“實(shí)驗(yàn)五: MapReduce初級(jí)編程實(shí)踐”實(shí)驗(yàn)步驟/306
A.6“實(shí)驗(yàn)六: 熟悉Hive的基本操作”實(shí)驗(yàn)步驟/315
A.7“實(shí)驗(yàn)七: Spark初級(jí)編程實(shí)踐”實(shí)驗(yàn)步驟/319
A.8“實(shí)驗(yàn)八: Flink初級(jí)編程實(shí)踐”實(shí)驗(yàn)步驟/325
附錄BLinux系統(tǒng)中的MySQL安裝及常用操作/343
B.1安裝MySQL/343
B.2MySQL常用操作/346
參考文獻(xiàn)/350