大數(shù)據(jù)運(yùn)維圖解教程

第1 章 大數(shù)據(jù)運(yùn)維概述

1.1 從大數(shù)據(jù)說起  1

1.1.1 大數(shù)據(jù)產(chǎn)生、影響及挑戰(zhàn)  1

1.1.2 大數(shù)據(jù)概念、特征及價(jià)值  14

1.1.3 大數(shù)據(jù)技術(shù)、產(chǎn)業(yè)及應(yīng)用  18

1.2 大數(shù)據(jù)技術(shù)生態(tài)  24

1.2.1 分布式集群概述  24

1.2.2 Hadoop 生態(tài)系統(tǒng)  30

1.3 大數(shù)據(jù)運(yùn)維  37

第2 章 集群基礎(chǔ)環(huán)境搭建與運(yùn)維

2.1 集群規(guī)劃  41

2.2 虛擬機(jī)與Linux  44

2.3 網(wǎng)絡(luò)配置與時(shí)鐘同步  55

2.4 免密  60

2.5 JDK 和MySQL 部署  62

第3 章 分布式集群Hadoop 運(yùn)維

3.1 Hadoop 平臺(tái)安裝與部署  69

3.1.1 Hadoop 安裝準(zhǔn)備  69

3.1.2 Hadoop 安裝與部署  71

3.2 分布式存儲(chǔ)組件HDFS  75

3.2.1 HDFS 結(jié)構(gòu)  75

3.2.2 HDFS 讀寫原理  83

3.2.3 HDFS 操作與監(jiān)控  86

3.3 離線分布式計(jì)算引擎MapReduce  90

3.3.1 MapReduce 結(jié)構(gòu)與原理  90

3.3.2 MapReduce 部署與優(yōu)化  100

3.4 集群資源管理YARN  101

3.4.1 YARN 的結(jié)構(gòu)與原理  101

3.4.2 YARN 部署、優(yōu)化與監(jiān)控  105

第4 章 分布式系統(tǒng)協(xié)調(diào)器Zookeeper

4.1 Zookeeper 結(jié)構(gòu)  108

IV 大數(shù)據(jù)運(yùn)維圖解教程

4.2 Zookeeper 原理  111

4.3 Zookeeper 部署與優(yōu)化  117

第5 章 數(shù)據(jù)采集組件運(yùn)維

5.1 日志采集組件Flume  121

5.2 數(shù)據(jù)遷移組件Sqoop  128

5.3 發(fā)布訂閱消息組件Kafka  132

第6 章 數(shù)據(jù)處理組件運(yùn)維

6.1 NoSQL 數(shù)據(jù)庫HBase  137

6.1.1 NoSQL  137

6.1.2 HBase 架構(gòu)與原理  141

6.1.3 HBase 部署與優(yōu)化  148

6.2 數(shù)據(jù)倉庫引擎Hive  153

6.2.1 Hive 架構(gòu)與原理  154

6.2.2 Hive 部署與優(yōu)化  166

6.3 內(nèi)存計(jì)算引擎Spark  169

6.3.1 Spark 生態(tài)  169

6.3.2 Spark 架構(gòu)與原理  173

6.3.3 Spark 部署與優(yōu)化  179

第7 章 大數(shù)據(jù)平臺(tái)運(yùn)維工具

7.1 Ambari 大數(shù)據(jù)環(huán)境搭建利器  187

7.1.1 安裝  187

7.1.2 使用  192

7.2 Hive SQL 監(jiān)控系統(tǒng)—Hive Falcon  198

7.2.1 安裝  198

7.2.2 使用  199

7.3 統(tǒng)一日志監(jiān)控系統(tǒng)EKL  202

7.3.1 安裝  202

7.3.2 使用  207

參考文獻(xiàn)

附錄A Web 監(jiān)控端口

附錄B 大數(shù)據(jù)平臺(tái)運(yùn)維任務(wù)

附錄C 大數(shù)據(jù)運(yùn)維三十六計(jì)