大數(shù)據(jù)應(yīng)用部署與調(diào)優(yōu)

目 錄

第1 章 大數(shù)據(jù)導(dǎo)論 

1.1 大數(shù)據(jù)的概念 ·

1.1.1 大數(shù)據(jù)的來源 

1.1.2 大數(shù)據(jù)的分類 

1.2 大數(shù)據(jù)的特征 

1.2.1 數(shù)量（volume） 

1.2.2 多樣性（variety） 

1.2.3 速度（velocity） 

1.2.4 價(jià)值（value） 

1.3 大數(shù)據(jù)關(guān)鍵技術(shù) 

1.3.1 大數(shù)據(jù)存儲(chǔ)技術(shù) 

1.3.2 并行計(jì)算技術(shù) 

1.3.3 數(shù)據(jù)分析技術(shù) 

1.3.4 數(shù)據(jù)可視化技術(shù) 

1.3.5 數(shù)據(jù)挖掘技術(shù) 

1.4 大數(shù)據(jù)應(yīng)用場(chǎng)景 

1.4.1 電商行業(yè)大數(shù)據(jù)應(yīng)用 

1.4.2 金融行業(yè)大數(shù)據(jù)應(yīng)用 

1.4.3 醫(yī)療行業(yè)大數(shù)據(jù)應(yīng)用 

1.4.4 教育行業(yè)大數(shù)據(jù)應(yīng)用 

1.4.5 工業(yè)大數(shù)據(jù)應(yīng)用 

1.4.6 農(nóng)業(yè)大數(shù)據(jù)應(yīng)用 

1.4.7 環(huán)境大數(shù)據(jù)應(yīng)用 

1.4.8 智慧城市大數(shù)據(jù)應(yīng)用 

習(xí)題 

參考文獻(xiàn) 

第2 章 基礎(chǔ)云架構(gòu) 

2.1 云計(jì)算簡(jiǎn)介 

X 大數(shù)據(jù)應(yīng)用部署與調(diào)優(yōu)

2.1.1 云計(jì)算的概念 

2.1.2 云計(jì)算發(fā)展現(xiàn)狀 

2.1.3 云計(jì)算實(shí)現(xiàn)機(jī)制 

2.1.4 云計(jì)算部署模型 

2.2 云計(jì)算與大數(shù)據(jù) 

2.2.1 云計(jì)算與大數(shù)據(jù)的關(guān)系 

2.2.2 云計(jì)算與大數(shù)據(jù)相結(jié)合的優(yōu)勢(shì) 

2.3 私有云平臺(tái)OpenStack 

2.3.1 OpenStack 背景介紹 

2.3.2 計(jì)算服務(wù)Nova 

2.3.3 對(duì)象存儲(chǔ)服務(wù)Swift ·

2.3.4 鏡像服務(wù)Glance 

2.4 公有云平臺(tái)阿里云 

2.4.1 阿里云簡(jiǎn)介 

2.4.2 計(jì)算服務(wù)ECS 

2.4.3 存儲(chǔ)服務(wù) 

2.4.4 網(wǎng)絡(luò)服務(wù)VPC 

習(xí)題 

參考文獻(xiàn) 

第3 章 大數(shù)據(jù)業(yè)務(wù)流程 

3.1 數(shù)據(jù)采集 

3.1.1 數(shù)據(jù)采集的概念 

3.1.2 數(shù)據(jù)采集的工具 

3.1.3 數(shù)據(jù)采集的方法 

3.2 數(shù)據(jù)預(yù)處理ETL 

3.2.1 數(shù)據(jù)清洗 

3.2.2 數(shù)據(jù)集成 

3.2.3 數(shù)據(jù)轉(zhuǎn)換 

3.2.4 數(shù)據(jù)歸約 

3.2.5 常用ETL 工具 

3.3 大數(shù)據(jù)存儲(chǔ) 

3.3.1 大數(shù)據(jù)存儲(chǔ)困境 

3.3.2 大數(shù)據(jù)存儲(chǔ)中的數(shù)據(jù)結(jié)構(gòu)處理樣例 ·

目錄 XI

3.3.3 分布式系統(tǒng) ·

3.3.4 Hadoop 框架 

3.3.5 NoSQL 數(shù)據(jù)庫(kù) 

3.3.6 云存儲(chǔ) 

3.4 大數(shù)據(jù)處理 

3.4.1 大數(shù)據(jù)處理框架 

3.4.2 批處理系統(tǒng) ·

3.4.3 流處理系統(tǒng) ·

3.4.4 混合處理系統(tǒng) 

3.4.5 大數(shù)據(jù)處理框架的選擇 

3.5 環(huán)境監(jiān)控大數(shù)據(jù)應(yīng)用實(shí)例 

習(xí)題 

參考文獻(xiàn) 

第4 章 系統(tǒng)安裝部署 ·

4.1 安裝部署的概念 

4.1.1 軟件安裝概述 

4.1.2 大數(shù)據(jù)部署概述 

4.2 安裝部署分布式系統(tǒng) 

4.2.1 Hadoop 安裝部署 ·

4.2.2 Spark 部署 

4.3 升級(jí)管理 

4.3.1 系統(tǒng)升級(jí)的概念 

4.3.2 Hadoop 升級(jí)管理 

4.3.3 Spark 升級(jí)管理 ·

習(xí)題 

參考文獻(xiàn) 

第5 章 日常維護(hù)管理 

5.1 系統(tǒng)管理對(duì)象 ·

5.1.1 系統(tǒng)軟件 

5.1.2 系統(tǒng)硬件 

5.1.3 系統(tǒng)數(shù)據(jù) 

XII 大數(shù)據(jù)應(yīng)用部署與調(diào)優(yōu)

5.2 系統(tǒng)管理的內(nèi)容 

5.2.1 事件管理 

5.2.2 問題管理 

5.2.3 故障管理 

5.2.4 性能管理 

5.2.5 配置管理 

5.2.6 日志管理 

5.2.7 備份管理 

5.3 故障管理 

5.3.1 集群結(jié)構(gòu) 

5.3.2 故障報(bào)告 

5.3.3 故障處理 

5.3.4 故障后期管理 

5.4 性能管理 

5.4.1 性能監(jiān)控 

5.4.2 性能分析 

5.5 日志管理 

5.5.1 平臺(tái)及組件相關(guān)命令行 ·

5.5.2 日志和告警監(jiān)控 

5.6 日常巡檢 

5.6.1 檢查內(nèi)容分類 

5.6.2 巡檢方法分類 

5.6.3 巡檢流程 

5.7 系統(tǒng)管理制度規(guī)范 

5.7.1 系統(tǒng)管理標(biāo)準(zhǔn) 

5.7.2 系統(tǒng)管理制度 

5.7.3 系統(tǒng)管理規(guī)范 

習(xí)題 

參考文獻(xiàn) 

第6 章 高級(jí)系統(tǒng)運(yùn)維 

6.1 安全管理 

6.1.1 資產(chǎn)安全 

6.1.2 應(yīng)用安全 

目錄 XIII

6.1.3 安全威脅 

6.1.4 安全措施 

6.2 系統(tǒng)優(yōu)化 

6.2.1 Hadoop 配置優(yōu)化 

6.2.2 Hadoop 性能優(yōu)化 

6.2.3 作業(yè)優(yōu)化 

6.3 高可用 

6.3.1 高可用概述 

6.3.2 高可用技術(shù) 

6.3.3 業(yè)務(wù)連續(xù)性 

習(xí)題 

參考文獻(xiàn) 

第7 章 基礎(chǔ)應(yīng)用開發(fā) 

7.1 Python 簡(jiǎn)介 

7.1.1 Python 的前世今生 

7.1.2 Python 的應(yīng)用場(chǎng)合 

7.1.3 Python 的特性 

7.2 Python 語法 

7.2.1 Python 賦值語句 

7.2.2 順序結(jié)構(gòu) 

7.2.3 選擇結(jié)構(gòu) 

7.2.4 循環(huán)結(jié)構(gòu) 

7.2.5 繪圖（用matplotlib 等新庫(kù)） 

7.2.6 函數(shù) 

7.2.7 常用模塊 

7.3 Python 程序調(diào)試 

7.3.1 拼接字符串 

7.3.2 使用 generator 

7.3.3 死循環(huán) 

7.3.4 巧用多重賦值 

7.3.5 使用C 擴(kuò)展（extension） 

7.3.6 并行編程 

習(xí)題 

XIV 大數(shù)據(jù)應(yīng)用部署與調(diào)優(yōu)

參考文獻(xiàn) 

第8 章 大數(shù)據(jù)應(yīng)用開發(fā) 

8.1 數(shù)據(jù)獲取 

8.1.1 通過傳感器采集數(shù)據(jù) 

8.1.2 通過API 獲取數(shù)據(jù) 

8.1.3 網(wǎng)絡(luò)信息抓取 

8.1.4 通過網(wǎng)絡(luò)信息系統(tǒng)獲取數(shù)據(jù) ·

8.2 數(shù)據(jù)分析 

8.2.1 數(shù)據(jù)分析概念和分類 

8.2.2 數(shù)據(jù)分析方法 

8.3 數(shù)據(jù)可視化

8.3.1 數(shù)據(jù)可視化基礎(chǔ) 

8.3.2 大數(shù)據(jù)可視化方法 

8.4 應(yīng)用案例開發(fā)

8.4.1 案例一 Python 數(shù)據(jù)分析：商圈分析 ·

8.4.2 案例二 Python 數(shù)據(jù)分析：招聘信息可視化案例 

習(xí)題 

參考文獻(xiàn) 

附錄A 大數(shù)據(jù)和人工智能實(shí)驗(yàn)環(huán)境