大數(shù)據(jù)Hadoop 3.X分布式處理實(shí)戰(zhàn)

目 錄
第一篇　Hadoop技術(shù)　1
第1章　大數(shù)據(jù)與Hadoop概述　03
1．1　大數(shù)據(jù)概述　03
1．1．1　大數(shù)據(jù)的定義　03
1．1．2　大數(shù)據(jù)行業(yè)的發(fā)展　04
1．1．3　大數(shù)據(jù)的典型應(yīng)用　04
1．2　Hadoop概述　06
1．2．1　Hadoop簡(jiǎn)介　06
1．2．2　Hadoop生態(tài)子項(xiàng)目　07
1．2．3　Hadoop 3．X的新特性　09
1．3　小結(jié)　09
1．4　配套視頻　10
第2章　Hadoop偽分布式安裝　11
2．1　Hadoop偽分布式安裝前的準(zhǔn)備　11
2．1．1　安裝VMware　11
2．1．2　安裝CentOS 7　12
2．1．3　配置CentOS 7：接受協(xié)議　15
2．1．4　配置CentOS 7：登錄系統(tǒng)　16
2．1．5　配置CentOS 7：設(shè)置IP　16
2．1．6　配置CentOS 7：修改主機(jī)名　17
2．1．7　配置CentOS 7：配置hosts文件　18
2．1．8　配置CentOS 7：關(guān)閉防火墻　18
2．1．9　配置CentOS 7：禁用selinux　19
2．1．10　配置CentOS 7：設(shè)置SSH免密碼登錄　19
2．1．11　配置CentOS 7：重啟　20
2．2　Hadoop偽分布式安裝　21
2．2．1　安裝WinSCP　21
2．2．2　安裝PieTTY　22
2．2．3　安裝JDK　23
2．2．4　安裝Hadoop　24
2．3　Hadoop驗(yàn)證　28
2．3．1　格式化　28
2．3．2　啟動(dòng)Hadoop　29
2．3．3　查看Hadoop相關(guān)進(jìn)程　29
2．3．4　瀏覽文件　30
2．3．5　瀏覽器訪問(wèn)　30
2．4　小結(jié)　31
2．5　配套視頻　31
第3章　Hadoop分布式文件系統(tǒng)——HDFS　32
3．1　HDFS原理　32
3．1．1　HDFS的假設(shè)前提和設(shè)計(jì)目標(biāo)　32
3．1．2　HDFS的組件　33
3．1．3　HDFS數(shù)據(jù)復(fù)制　36
3．1．4　HDFS健壯性　36
3．1．5　HDFS數(shù)據(jù)組織　38
3．2　HDFS Shell　39
3．2．1　Hadoop文件操作命令　39
3．2．2　Hadoop系統(tǒng)管理命令　44
3．3　HDFS Java API　46
3．3．1　搭建Linux下Eclipse開(kāi)發(fā)環(huán)境　46
3．3．2　為Eclipse安裝Hadoop插件　47
3．3．3　HDFS Java API示例　49
3．4　小結(jié)　56
3．5　配套視頻　56
第4章　分布式計(jì)算框架MapReduce　57
4．1　MapReduce原理　57
4．1．1　MapReduce概述　57
4．1．2　MapReduce的主要功能　59
4．1．3　MapReduce的處理流程　59
4．2　MapReduce編程基礎(chǔ)　61
4．2．1　內(nèi)置數(shù)據(jù)類型介紹　61
4．2．2　WordCount入門示例　63
4．2．3　MapReduce分區(qū)與自定義數(shù)據(jù)類型　67
4．3　MapReduce綜合實(shí)例——數(shù)據(jù)去重　71
4．3．1　實(shí)例描述　71
4．3．2　設(shè)計(jì)思路　72
4．3．3　程序代碼　73
4．3．4　運(yùn)行結(jié)果　74
4．4　MapReduce綜合實(shí)例——數(shù)據(jù)排序　75
4．4．1　實(shí)例描述　75
4．4．2　設(shè)計(jì)思路　76
4．4．3　程序代碼　77
4．4．4　運(yùn)行結(jié)果　79
4．5　MapReduce綜合實(shí)例——求學(xué)生平均成績(jī)　79
4．5．1　實(shí)例描述　79
4．5．2　設(shè)計(jì)思路　80
4．5．3　程序代碼　81
4．5．4　運(yùn)行結(jié)果　83
4．6　MapReduce綜合實(shí)例——WordCount高級(jí)示例　84
4．7　小結(jié)　87
4．8　配套視頻　87
第二篇　Hadoop 生態(tài)系統(tǒng)的主要大數(shù)據(jù)工具整合應(yīng)用　89
第5章　NoSQL數(shù)據(jù)庫(kù)HBase　91
5．1　HBase原理　91
5．1．1　HBase概述　91
5．1．2　HBase核心概念　92
5．1．3　HBase的關(guān)鍵流程　95
5．2　HBase偽分布式安裝　97
5．2．1　安裝HBase的前提條件　98
5．2．2　解壓并配置環(huán)境變量　98
5．2．3　配置HBase參數(shù)　99
5．2．4　驗(yàn)證HBase　100
5．3　HBase Shell　103
5．3．1　HBase Shell常用命令　103
5．3．2　HBase Shell綜合示例　109
5．3．3　HBase Shell的全部命令　112
5．4　小結(jié)　114
5．5　配套視頻　114
第6章　HBase高級(jí)特性　115
6．1　HBase Java API　115
6．1．1　HBase Java API介紹　115
6．1．2　HBase Java API示例　120
6．2　HBase與MapReduce的整合　130
6．2．1　HBase與MapReduce的整合概述　130
6．2．2　HBase與MapReduce的整合示例　130
6．3　小結(jié)　134
6．4　配套視頻　134
第7章　分布式數(shù)據(jù)倉(cāng)庫(kù)Hive　135
7．1　Hive概述　135
7．1．1　Hive的定義　135
7．1．2　Hive的設(shè)計(jì)特征　136
7．1．3　Hive的體系結(jié)構(gòu)　136
7．2　Hive偽分布式安裝　137
7．2．1　安裝Hive的前提條件　137
7．2．2　解壓并配置環(huán)境變量　138
7．2．3　安裝MySQL　139
7．2．4　配置Hive　143
7．2．5　驗(yàn)證Hive　145
7．3　Hive QL的基礎(chǔ)功能　146
7．3．1　操作數(shù)據(jù)庫(kù)　146
7．3．2　創(chuàng)建表　147
7．3．3　數(shù)據(jù)準(zhǔn)備　150
7．4　Hive QL的高級(jí)功能　153
7．4．1　select查詢　154
7．4．2　函數(shù)　154
7．4．3　統(tǒng)計(jì)函數(shù)　154
7．4．4　distinct去除重復(fù)值　155
7．4．5　limit限制返回記錄的條數(shù)　156
7．4．6　為列名取別名　156
7．4．7　case when then多路分支　156
7．4．8　like模糊查詢　157
7．4．9　group by分組統(tǒng)計(jì)　157
7．4．10　having過(guò)濾分組統(tǒng)計(jì)結(jié)果　157
7．4．11　inner join內(nèi)聯(lián)接　158
7．4．12　left outer join和right outer join外聯(lián)接　159
7．4．13　full outer join外部聯(lián)接　159
7．4．14　order by排序　160
7．4．15　where查找　160
7．5　小結(jié)　161
7．6　配套視頻　162
第8章　Hive高級(jí)特性　163
8．1　Beeline　163
8．1．1　使用Beeline的前提條件　163
8．1．2　Beeline的基本操作　164
8．1．3　Beeline的參數(shù)選項(xiàng)與管理命令　166
8．2　Hive JDBC　167
8．2．1　運(yùn)行Hive JDBC的前提條件　167
8．2．2　Hive JDBC基礎(chǔ)示例　167
8．2．3　Hive JDBC綜合示例　169
8．3　Hive函數(shù)　174
8．3．1　內(nèi)置函數(shù)　174
8．3．2　自定義函數(shù)　175
8．4　Hive表的高級(jí)特性　181
8．4．1　外部表　181
8．4．2　分區(qū)表　182
8．5　小結(jié)　185
8．6　配套視頻　185
第9章　數(shù)據(jù)轉(zhuǎn)換工具Sqoop　186
9．1　Sqoop概述與安裝　186
9．1．1　Sqoop概述　186
9．1．2　Sqoop安裝　187
9．2　Sqoop導(dǎo)入數(shù)據(jù)　189
9．2．1　更改MySQL的root用戶密碼　189
9．2．2　準(zhǔn)備數(shù)據(jù)　190
9．2．3　導(dǎo)入數(shù)據(jù)到HDFS　191
9．2．4　查看HDFS數(shù)據(jù)　192
9．2．5　導(dǎo)入數(shù)據(jù)到Hive　193
9．2．6　查看Hive數(shù)據(jù)　193
9．3　Sqoop導(dǎo)出數(shù)據(jù)　194
9．3．1　準(zhǔn)備MySQL表　194
9．3．2　導(dǎo)出數(shù)據(jù)到MySQL　194
9．3．3　查看MySQL中的導(dǎo)出數(shù)據(jù)　195
9．4　深入理解Sqoop的導(dǎo)入與導(dǎo)出　196
9．5　小結(jié)　203
9．6　配套視頻　203
第10章　內(nèi)存計(jì)算框架Spark　204
10．1　Spark入門　204
10．1．1　Spark概述　204
10．1．2　Spark偽分布式安裝　205
10．1．3　由Java到Scala　209
10．1．4　Spark的應(yīng)用　212
10．1．5　Spark入門示例　217
10．2　Spark Streaming　220
10．2．1　Spark Streaming概述　220
10．2．2　Spark Streaming示例　221
10．3　Spark SQL　224
10．3．1　Spark SQL概述　224
10．3．2　spark-sql命令　225
10．3．3　使用Scala操作Spark SQL　227
10．4　小結(jié)　228
10．5　配套視頻　229
第11章　Hadoop及其常用組件集群安裝　230
11．1　Hadoop集群安裝　230
11．1．1　安裝并配置CentOS　230
11．1．2　安裝JDK　236
11．1．3　安裝Hadoop　237
11．1．4　遠(yuǎn)程復(fù)制文件　241
11．1．5　驗(yàn)證Hadoop　242
11．2　HBase集群安裝　244
11．2．1　解壓并配置環(huán)境變量　244
11．2．2　配置HBase參數(shù)　245
11．2．3　遠(yuǎn)程復(fù)制文件　246
11．2．4　驗(yàn)證HBase　247
11．3　Hive集群安裝　249
11．3．1　解壓并配置環(huán)境變量　249
11．3．2　安裝MySQL　250
11．3．3　配置Hive　252
11．3．4　驗(yàn)證Hive　254
11．4　Spark集群安裝　254
11．4．1　安裝Scala　254
11．4．2　安裝Spark　254
11．4．3　配置Spark　255
11．4．4　遠(yuǎn)程復(fù)制文件　256
11．4．5　驗(yàn)證Spark　257
11．5　小結(jié)　259
11．6　配套視頻　259
第三篇　實(shí)戰(zhàn)篇　261
第12章　海量Web日志分析系統(tǒng)　263
12．1　案例介紹　263
12．1．1　分析Web日志數(shù)據(jù)的目的　263
12．1．2　Web日志分析的典型應(yīng)用場(chǎng)景　265
12．1．3　日志的不確定性　265
12．2　案例分析　266
12．2．1　日志分析的KPI　267
12．2．2　案例系統(tǒng)結(jié)構(gòu)　267
12．2．3　日志分析方法　268
12．3　案例實(shí)現(xiàn)　273
12．3．1　定義日志相關(guān)屬性字段　273
12．3．2　數(shù)據(jù)合法標(biāo)識(shí)（在分析時(shí)是否被過(guò)濾）　274
12．3．3　解析日志　274
12．3．4　日志合法性過(guò)濾　275
12．3．5　頁(yè)面訪問(wèn)量統(tǒng)計(jì)的實(shí)現(xiàn)　276
12．3．6　頁(yè)面獨(dú)立IP訪問(wèn)量統(tǒng)計(jì)的實(shí)現(xiàn)　278
12．3．7　用戶單位時(shí)間PV的統(tǒng)計(jì)實(shí)現(xiàn)　280
12．3．8　用戶訪問(wèn)設(shè)備信息統(tǒng)計(jì)的實(shí)現(xiàn)　282
12．4　小結(jié)　283
12．5　配套視頻　283
第13章　電商商品推薦系統(tǒng)　284
13．1　案例介紹　284
13．1．1　推薦算法　284
13．1．2　案例的意義　285
13．1．3　案例需求　285
13．2　案例設(shè)計(jì)　286
13．2．1　協(xié)同過(guò)濾　286
13．2．2　基于用戶的協(xié)同過(guò)濾算法　289
13．2．3　基于物品的協(xié)同過(guò)濾算法　292
13．2．4　算法實(shí)現(xiàn)設(shè)計(jì)　295
13．2．5　推薦步驟與架構(gòu)設(shè)計(jì)　298
13．3　案例實(shí)現(xiàn)　298
13．3．1　實(shí)現(xiàn)HDFS文件操作工具　299
13．3．2　實(shí)現(xiàn)任務(wù)步驟1：匯總用戶對(duì)所有物品的評(píng)分信息　302
13．3．3　實(shí)現(xiàn)任務(wù)步驟2：獲取物品同現(xiàn)矩陣　305
13．3．4　實(shí)現(xiàn)任務(wù)步驟3：合并同現(xiàn)矩陣和評(píng)分矩陣　307
13．3．5　實(shí)現(xiàn)任務(wù)步驟4：計(jì)算推薦結(jié)果　310
13．3．6　實(shí)現(xiàn)統(tǒng)一的任務(wù)調(diào)度　316
13．4　小結(jié)　317
13．5　配套視頻　317
第14章　分布式垃圾消息識(shí)別系統(tǒng)　318
14．1　案例介紹　318
14．1．1　案例內(nèi)容　318
14．1．2　案例應(yīng)用的主體結(jié)構(gòu)　319
14．1．3　案例運(yùn)行結(jié)果　321
14．2　RPC遠(yuǎn)程方法調(diào)用的設(shè)計(jì)　322
14．2．1　Java EE的核心優(yōu)勢(shì)：RMI　322
14．2．2　RMI的基本原理　324
14．2．3　自定義RPC組件分析　325
14．3　數(shù)據(jù)分析設(shè)計(jì)　328
14．3．1　垃圾消息識(shí)別算法——樸素貝葉斯算法　328
14．3．2　進(jìn)行分布式貝葉斯分類學(xué)習(xí)時(shí)的全局計(jì)數(shù)器　330
14．3．3　數(shù)據(jù)清洗分析結(jié)果存儲(chǔ)　332
14．4　案例實(shí)現(xiàn)　333
14．4．1　自定義的RPC組件服務(wù)端相關(guān)實(shí)現(xiàn)　333
14．4．2　自定義的RPC組件客戶端相關(guān)實(shí)現(xiàn)　342
14．4．3　業(yè)務(wù)服務(wù)器實(shí)現(xiàn)　347
14．4．4　業(yè)務(wù)客戶端實(shí)現(xiàn)　367
14．5　小結(jié)　370
14．6　配套視頻　370