Hadoop大數(shù)據(jù)技術(shù)與應(yīng)用

第1章　初識(shí)Hadoop大數(shù)據(jù)技術(shù)　1
1．1　大數(shù)據(jù)技術(shù)概述　1
1．1．1　大數(shù)據(jù)產(chǎn)生的背景　1
1．1．2　大數(shù)據(jù)的定義　2
1．1．3　大數(shù)據(jù)技術(shù)的發(fā)展　2
1．2　Google的“三駕馬車”　3
1．2．1　GFS的思想　3
1．2．2　MapReduce的思想　4
1．2．3　BigTable的思想　6
1．3　Hadoop概述　8
1．3．1　Hadoop對(duì)Google公司三篇論文思想的實(shí)現(xiàn)　8
1．3．2　Hadoop的發(fā)展歷史　9
1．3．3　Hadoop版本的演變　11
1．3．4　Hadoop的發(fā)行版本　12
1．3．5　Hadoop的特點(diǎn)　12
1．4　Hadoop生態(tài)圈　12
1．5　Hadoop的典型應(yīng)用場(chǎng)景與應(yīng)用架構(gòu)　13
1．5．1　Hadoop的典型應(yīng)用場(chǎng)景　13
1．5．2　Hadoop的典型應(yīng)用架構(gòu)　14
習(xí)題　15
第2章　Hadoop環(huán)境設(shè)置　16
2．1　安裝前準(zhǔn)備　16
2．1．1　安裝虛擬機(jī)　17
2．1．2　安裝Ubuntu操作系統(tǒng)　20
2．1．3　關(guān)閉防火墻　22
2．1．4　SSH安裝　22
2．1．5　安裝Xshell及Xftp　22
2．1．6　安裝JDK　24
2．1．7　下載Hadoop并解壓　25
2．1．8　克隆主機(jī)　27
2．2　Hadoop的安裝　28
2．2．1　安裝單機(jī)模式　28
2．2．2　安裝偽分布式模式　29
2．2．3　安裝完全分布式模式　35
習(xí)題　41
實(shí)驗(yàn)　搭建Hadoop偽分布式模式環(huán)境　42
第3章　HDFS　44
3．1　HDFS簡(jiǎn)介　44
3．2　HDFS的組成與架構(gòu)　45
3．2．1　NameNode　45
3．2．2　DataNode　46
3．2．3　SecondaryNameNode　46
3．3　HDFS的工作機(jī)制　47
3．3．1　機(jī)架感知與副本冗余存儲(chǔ)策略　47
3．3．2　文件讀取　49
3．3．3　文件寫入　50
3．3．4　數(shù)據(jù)容錯(cuò)　52
3．4　HDFS操作　53
3．4．1　通過(guò)Web界面進(jìn)行HDFS操作　53
3．4．2　通過(guò)HDFS Shell進(jìn)行HDFS操作　54
3．4．3　通過(guò)HDFS API進(jìn)行HDFS操作　60
3．5　HDFS的高級(jí)功能　68
3．5．1　安全模式　68
3．5．2　回收站　69
3．5．3　快照　70
3．5．4　配額　71
3．5．5　高可用性　71
3．5．6　聯(lián)邦　72
習(xí)題　74
實(shí)驗(yàn)1　通過(guò)Shell命令訪問(wèn)HDFS　74
實(shí)驗(yàn)2　熟悉基于IDEA+Maven的Java開(kāi)發(fā)環(huán)境　77
實(shí)驗(yàn)3　通過(guò)API訪問(wèn)HDFS　86
第4章　YARN　90
4．1　YARN產(chǎn)生的背景　90
4．2　初識(shí)YARN　92
4．3　YARN的架構(gòu)　93
4．3．1　YARN架構(gòu)概述　93
4．3．2　YARN中應(yīng)用運(yùn)行的機(jī)制　94
4．3．3　YARN中任務(wù)進(jìn)度的監(jiān)控　94
4．3．4　MapReduce 1與YARN的組成對(duì)比　95
4．4　YARN的調(diào)度器　95
4．4．1　先進(jìn)先出調(diào)度器　95
4．4．2　容器調(diào)度器　96
4．4．3　公平調(diào)度器　97
4．4．4　三種調(diào)度器的比較　98
習(xí)題　98
第5章　MapReduce　99
5．1　MapReduce概述　99
5．1．1　MapReduce是什么　99
5．1．2　MapReduce的特點(diǎn)　99
5．1．3　MapReduce不擅長(zhǎng)的場(chǎng)景　100
5．2　MapReduce編程模型　100
5．2．1　MapReduce編程模型概述　100
5．2．2　MapReduce編程實(shí)例　101
5．3　MapReduce編程進(jìn)階　112
5．3．1　MapReduce的輸入格式　112
5．3．2　MapReduce的輸出格式　114
5．3．3　分區(qū)　115
5．3．4　合并　118
5．4　MapReduce的工作機(jī)制　119
5．4．1　MapReduce作業(yè)的運(yùn)行機(jī)制　119
5．4．2　進(jìn)度和狀態(tài)的更新　120
5．4．3　Shuffle　121
5．5　MapReduce編程案例　122
5．5．1　排序　122
5．5．2　去重　126
5．5．3　多表查詢　127
習(xí)題　129
實(shí)驗(yàn)1　分析和編寫WordCount程序　130
實(shí)驗(yàn)2　MapReduce序列化、分區(qū)實(shí)驗(yàn)　131
實(shí)驗(yàn)3　使用MapReduce求出各年銷售筆數(shù)、各年銷售總額　134
實(shí)驗(yàn)4　使用MapReduce統(tǒng)計(jì)用戶在搜狗上的搜索數(shù)據(jù)　136
第6章　HBase、Hive、Pig　139
6．1　HBase　139
6．1．1　行式存儲(chǔ)與列式存儲(chǔ)　139
6．1．2　HBase簡(jiǎn)介　140
6．1．3　HBase的數(shù)據(jù)模型　141
6．1．4　HBase的物理模型　143
6．1．5　HBase的系統(tǒng)架構(gòu)　144
6．1．6　HBase的安裝　147
6．1．7　訪問(wèn)HBase　152
6．2　Hive　157
6．2．1　安裝Hive　157
6．2．2　Hive的架構(gòu)與工作原理　160
6．2．3　Hive的數(shù)據(jù)類型與存儲(chǔ)格式　163
6．2．4　Hive的數(shù)據(jù)模型　167
6．2．5　查詢數(shù)據(jù)　169
6．2．6　用戶定義函數(shù)　170
6．3　Pig　171
6．3．1　Pig概述　171
6．3．2　安裝Pig　172
6．3．3　Pig Latin編程語(yǔ)言　172
6．3．4　Pig代碼實(shí)例　177
6．3．5　用戶自定義函數(shù)　179
習(xí)題　181
實(shí)驗(yàn)1　HBase實(shí)驗(yàn)——安裝和配置（可選）　181
實(shí)驗(yàn)2　HBase實(shí)驗(yàn)——通過(guò)HBase Shell訪問(wèn)HBase（可選）　185
實(shí)驗(yàn)3　HBase實(shí)驗(yàn)——通過(guò)Java API訪問(wèn)HBase　187
實(shí)驗(yàn)4　HBase實(shí)驗(yàn)——通過(guò)Java API開(kāi)發(fā)基于HBase的MapReduce程序　189
實(shí)驗(yàn)5　Hive實(shí)驗(yàn)——Metastore采用Local模式（MySQL數(shù)據(jù)庫(kù)）搭建Hive環(huán)境（可選）　191
實(shí)驗(yàn)6　Hive實(shí)驗(yàn)——Hive常用操作　193
實(shí)驗(yàn)7　Pig實(shí)驗(yàn)——安裝和使用Pig（可選）　194
實(shí)驗(yàn)8　Pig實(shí)驗(yàn)——使用Pig Latin操作員工表和部門表　195
第7章　Flume　198
7．1　Flume產(chǎn)生的背景　198
7．2　Flume簡(jiǎn)介　198
7．3　Flume的安裝　199
7．4　Flume的架構(gòu)　200
7．5　Flume的應(yīng)用　201
7．5．1　Flume的組件類型及其配置項(xiàng)　201
7．5．2　Flume的配置和運(yùn)行方法　206
7．5．3　Flume配置示例　207
7．6　Flume的工作方式　209
習(xí)題　210
實(shí)驗(yàn)1　Flume的配置與使用1——Avro Source + Memory Channel + Logger Sink　211
實(shí)驗(yàn)2　Flume的配置與使用2——Syslogtcp Source + Memory Channel + HDFS Sink　212
實(shí)驗(yàn)3　Flume的配置與使用3——Exec Source + Memory Channel + Logger Sink　213
第8章　Sqoop　214
8．1　Sqoop背景簡(jiǎn)介　214
8．2　Sqoop的基本原理　215
8．3　Sqoop的安裝與部署　216
8．3．1　下載與安裝　216
8．3．2　配置Sqoop　217
8．4　Sqoop應(yīng)用　219
8．4．1　列出MySQL數(shù)據(jù)庫(kù)的基本信息　219
8．4．2　MySQL和HDFS數(shù)據(jù)互導(dǎo)　219
8．4．3　MySQL和Hive數(shù)據(jù)互導(dǎo)　220
習(xí)題　221
實(shí)驗(yàn)　Sqoop常用功能的使用　222
第9章　ZooKeeper　227
9．1　ZooKeeper簡(jiǎn)介　227
9．2　ZooKeeper的安裝　228
9．2．1　單機(jī)模式　228
9．2．2　集群模式　229
9．3　ZooKeeper的基本原理　231
9．3．1　Paxos算法　231
9．3．2　Zab算法　232
9．3．3　ZooKeeper的架構(gòu)　232
9．3．4　ZooKeeper的數(shù)據(jù)模型　233
9．4　ZooKeeper的簡(jiǎn)單操作　235
9．4．1　通過(guò)ZooKeeper Shell命令操作ZooKeeper　235
9．4．2　通過(guò)ZooInspector工具操作ZooKeeper　238
9．4．3　通過(guò)Java API操作ZooKeeper　238
9．5　ZooKeeper的特性　239
9．5．1　會(huì)話　239
9．5．2　臨時(shí)節(jié)點(diǎn)　240
9．5．3　順序節(jié)點(diǎn)　240
9．5．4　事務(wù)操作　241
9．5．5　版本號(hào)　241
9．5．6　監(jiān)視　242
9．6　ZooKeeper的應(yīng)用場(chǎng)景　243
9．6．1　Master選舉　244
9．6．2　分布式鎖　245
習(xí)題　246
實(shí)驗(yàn)　ZooKeeper的3種訪問(wèn)方式　246
第10章　Ambari　249
10．1　Ambari簡(jiǎn)介　249
10．1．1　背景　249
10．1．2　Ambari的主要功能　250
10．2　Ambari的安裝　250
10．2．1　安裝前準(zhǔn)備　250
10．2．2　安裝Ambari　254
10．3　利用Ambari管理Hadoop集群　257
10．3．1　安裝與配置HDP集群　258
10．3．2　節(jié)點(diǎn)的擴(kuò)展　264
10．3．3　啟用HA　267
10．4　Ambari的架構(gòu)和工作原理　271
10．4．1　Ambari的總體架構(gòu)　271
10．4．2　Ambari Agent　272
10．4．3　Ambari Server　272
習(xí)題　273
第11章　Mahout　274
11．1　Mahout簡(jiǎn)介　274
11．1．1　什么是Mahout　274
11．1．2　Mahout能做什么　275
11．2　Taste簡(jiǎn)介　276
11．2．1　DataModel　276
11．2．2　Similarity　277
11．2．3　UserNeighborhood　277
11．2．4　Recommender　277
11．2．5　RecommenderEvaluator　277
11．2．6　RecommenderIRStatsEvaluator　278
11．3　使用Taste構(gòu)建推薦系統(tǒng)　278
11．3．1　創(chuàng)建Maven項(xiàng)目　278
11．3．2　導(dǎo)入Mahout依賴　278
11．3．3　獲取電影評(píng)分?jǐn)?shù)據(jù)　278
11．3．4　編寫基于用戶的推薦　279
11．3．5　編寫基于物品的推薦　280
11．3．6　評(píng)價(jià)推薦模型　281
11．3．7　獲取推薦的查準(zhǔn)率和查全率　281
習(xí)題　282
實(shí)驗(yàn)　基于Mahout的電影推薦系統(tǒng)　283
綜合實(shí)驗(yàn)　搜狗日志查詢分析（MapReduce+Hive綜合實(shí)驗(yàn)）　284
參考文獻(xiàn)　287