Spark項(xiàng)目實(shí)戰(zhàn)

第1章項(xiàng)目概述1
1.1項(xiàng)目需求和目標(biāo)1
1.2預(yù)備知識(shí)2
1.3項(xiàng)目架構(gòu)設(shè)計(jì)及技術(shù)選取2
1.4開發(fā)環(huán)境和開發(fā)工具介紹3
1.5項(xiàng)目開發(fā)流程4
1.6硬件要求5
1.7本章小結(jié)6
第2章搭建大數(shù)據(jù)集群環(huán)境7
2.1安裝準(zhǔn)備7
2.1.1認(rèn)識(shí)Linux操作系統(tǒng) 7
2.1.2創(chuàng)建虛擬機(jī)8
2.1.3啟動(dòng)虛擬機(jī)并安裝Linux操作
系統(tǒng)14
2.1.4克隆虛擬機(jī)22
2.1.5配置Linux操作系統(tǒng)網(wǎng)絡(luò)及主
機(jī)名25
2.1.6SSH配置29
2.1.7配置時(shí)間同步36
2.2安裝JDK41
2.3ZooKeeper集群部署42
2.3.1ZooKeeper集群的安裝與配置…42
2.3.2ZooKeeper集群的啟動(dòng)與關(guān)閉…44
2.4Hadoop集群部署46
2.4.1Hadoop高可用集群規(guī)劃46
2.4.2安裝Hadoop47
2.4.3Hadoop高可用集群配置48
2.4.4啟動(dòng)Hadoop高可用集群55
2.5Spark集群部署60
2.5.1Spark集群部署模式60
2.5.2Spark集群安裝配置61
2.5.3Spark集群測(cè)試62
2.6HBase集群部署64
2.6.1HBase集群規(guī)劃64
2.6.2HBase集群安裝配置65
2.6.3啟動(dòng)HBase集群67
2.7Kafka集群部署69
2.7.1Kafka集群的安裝與配置69
2.7.2啟動(dòng)Kafka集群70
2.8本章小結(jié)72
第3章熱門品類Top10分析73
3.1數(shù)據(jù)集分析73
3.2實(shí)現(xiàn)思路分析74
3.3實(shí)現(xiàn)熱門品類Top1075
3.3.1創(chuàng)建項(xiàng)目75
3.3.2創(chuàng)建Spark連接并讀取數(shù)據(jù)集81
3.3.3獲取業(yè)務(wù)數(shù)據(jù)82
3.3.4統(tǒng)計(jì)品類的行為類型83
3.3.5過濾品類的行為類型83
3.3.6合并相同品類的行為類型85
3.3.7根據(jù)品類的行為類型進(jìn)行排序85
3.3.8數(shù)據(jù)持久化87
3.4運(yùn)行程序92
3.5本章小結(jié)97
第4章各區(qū)域熱門商品Top3分析98
4.1實(shí)現(xiàn)思路分析98
4.2實(shí)現(xiàn)各區(qū)域熱門商品Top399
4.2.1創(chuàng)建Spark連接并讀取數(shù)據(jù)集99
4.2.2獲取業(yè)務(wù)數(shù)據(jù)100
4.2.3過濾商品的行為類型100
4.2.4轉(zhuǎn)換數(shù)據(jù)格式101
4.2.5統(tǒng)計(jì)每個(gè)區(qū)域中的不同商品101
4.2.6根據(jù)區(qū)域進(jìn)行分組102
4.2.7根據(jù)區(qū)域內(nèi)商品的查看次數(shù)進(jìn)行排序102
4.2.8數(shù)據(jù)持久化103
4.3運(yùn)行程序106
4.4本章小結(jié)108
目錄Spark項(xiàng)目實(shí)戰(zhàn)第5章網(wǎng)站轉(zhuǎn)化率統(tǒng)計(jì)109
5.1數(shù)據(jù)集分析109
5.2實(shí)現(xiàn)思路分析110
5.3實(shí)現(xiàn)網(wǎng)站轉(zhuǎn)化率統(tǒng)計(jì)111
5.3.1生成用戶瀏覽網(wǎng)頁(yè)數(shù)據(jù)111
5.3.2修改pom.xml文件112
5.3.3創(chuàng)建Spark連接并讀取數(shù)據(jù)集113
5.3.4統(tǒng)計(jì)每個(gè)頁(yè)面訪問次數(shù)114
5.3.5獲取每個(gè)用戶瀏覽網(wǎng)頁(yè)的順序114
5.3.6合并同一用戶瀏覽的網(wǎng)頁(yè)114
5.3.7統(tǒng)計(jì)每個(gè)單跳的次數(shù)115
5.3.8計(jì)算頁(yè)面單跳轉(zhuǎn)化率116
5.3.9數(shù)據(jù)持久化117
5.4運(yùn)行程序118
5.5本章小結(jié)121
第6章廣告點(diǎn)擊流實(shí)時(shí)統(tǒng)計(jì)122
6.1數(shù)據(jù)集分析122
6.2實(shí)現(xiàn)思路分析123
6.3數(shù)據(jù)庫(kù)設(shè)計(jì)124
6.4實(shí)現(xiàn)廣告點(diǎn)擊流實(shí)時(shí)統(tǒng)計(jì)125
6.4.1修改pom.xml文件125
6.4.2生產(chǎn)用戶廣告點(diǎn)擊流數(shù)據(jù)125
6.4.3創(chuàng)建Spark Streaming連接128
6.4.4讀取用戶廣告點(diǎn)擊流數(shù)據(jù)129
6.4.5獲取業(yè)務(wù)數(shù)據(jù)129
6.4.6讀取黑名單用戶數(shù)據(jù)130
6.4.7過濾黑名單用戶131
6.4.8統(tǒng)計(jì)每個(gè)城市不同廣告的點(diǎn)擊次數(shù)132
6.4.9添加黑名單用戶133
6.4.10數(shù)據(jù)持久化134
6.5運(yùn)行程序135
6.6本章小結(jié)137
第7章數(shù)據(jù)可視化138
7.1系統(tǒng)概述138
7.1.1技術(shù)選取138
7.1.2系統(tǒng)架構(gòu)139
7.2數(shù)據(jù)表設(shè)計(jì)與實(shí)現(xiàn)141
7.2.1數(shù)據(jù)表介紹141
7.2.2Phoenix集成HBase142
7.2.3建立Phoenix與HBase表映射143
7.3創(chuàng)建Spring Boot項(xiàng)目147
7.4實(shí)現(xiàn)熱門品類Top10數(shù)據(jù)可視化152
7.4.1創(chuàng)建實(shí)體類Top10Entity152
7.4.2創(chuàng)建數(shù)據(jù)庫(kù)訪問接口Top10Dao153
7.4.3創(chuàng)建控制器類Top10Controller153
7.4.4創(chuàng)建HTML文件top10.html154
7.4.5運(yùn)行項(xiàng)目實(shí)現(xiàn)熱門品類Top10數(shù)據(jù)可視化157
7.5實(shí)現(xiàn)各區(qū)域熱門商品Top3數(shù)據(jù)可視化160
7.5.1創(chuàng)建實(shí)體類Top3Entity160
7.5.2創(chuàng)建數(shù)據(jù)庫(kù)訪問接口Top3Dao160
7.5.3創(chuàng)建控制器類Top3Controller161
7.5.4創(chuàng)建HTML文件top3.html162
7.5.5運(yùn)行項(xiàng)目實(shí)現(xiàn)各區(qū)域熱門商品Top3數(shù)據(jù)可視化164
7.6實(shí)現(xiàn)頁(yè)面單跳轉(zhuǎn)化率數(shù)據(jù)可視化165
7.6.1創(chuàng)建實(shí)體類ConversionEntity165
7.6.2創(chuàng)建數(shù)據(jù)庫(kù)訪問接口ConversionDao165
7.6.3創(chuàng)建控制器類ConversionController166
7.6.4創(chuàng)建HTML文件conversion.html166
7.6.5運(yùn)行項(xiàng)目實(shí)現(xiàn)頁(yè)面單跳轉(zhuǎn)化率數(shù)據(jù)可視化169
7.7實(shí)現(xiàn)廣告點(diǎn)擊流實(shí)時(shí)統(tǒng)計(jì)可視化169
7.7.1創(chuàng)建實(shí)體類AdsEntity169
7.7.2創(chuàng)建數(shù)據(jù)庫(kù)訪問接口AdsDao170
7.7.3創(chuàng)建控制器類AdsController170
7.7.4創(chuàng)建HTML文件ads.html171
7.7.5運(yùn)行項(xiàng)目實(shí)現(xiàn)廣告點(diǎn)擊流實(shí)時(shí)統(tǒng)計(jì)可視化173
7.8本章小結(jié)174