數(shù)據(jù)工程師必備的云計算技術(shù)

前　言
第1章　開始 1
1.1　有效的異步技術(shù)討論 1
1.1.1　可復(fù)制代碼 1
1.1.2　音頻、視頻和圖像 5
1.1.3　制作一次，重復(fù)使用多次 6
1.1.4　技術(shù)討論作為一種主動學(xué)習(xí)的形式 6
1.1.5　結(jié)論 6
1.1.6　練習(xí)：創(chuàng)造技術(shù)性帖子 6
1.2　有效的異步技術(shù)項目管理 7
1.2.1　為什么軟件項目失敗了 7
1.2.2　如何按時交付高質(zhì)量的軟件 7
1.2.3　其他高失敗率的例子 9
1.2.4　練習(xí)：為最終項目創(chuàng)建一個技術(shù)項目計劃 10
1.3　上AWS、GCP和Azure云 10
1.3.1　AWS 10
1.3.2　微軟的Azure 12
1.3.3　GCP 16
1.3.4　練習(xí)：設(shè)置CI云 18
1.3.5　練習(xí)：上云實驗室 19
1.3.6　高級案例研究：使用Docker和CircleCI從零開始建立云環(huán)境持續(xù)集成 19
1.3.7　使用Docker容器來擴(kuò)展Makefile的使用 23
1.4　總結(jié) 24
1.5　其他相關(guān)資源 25
第2章　云計算基礎(chǔ) 26
2.1　為什么應(yīng)該考慮使用基于云的開發(fā)環(huán)境 26
2.2　云計算概述 27
2.2.1　云計算的經(jīng)濟(jì)效益 27
2.2.2　云服務(wù)模型：SaaS、PaaS、IaaS、MaaS、Serverless 27
2.3　PaaS持續(xù)交付 29
2.3.1　谷歌應(yīng)用引擎和云構(gòu)建持續(xù)交付 29
2.3.2　建立多種類型的網(wǎng)站 36
2.3.3　練習(xí)：創(chuàng)建四個網(wǎng)站 39
2.4　基礎(chǔ)設(shè)施即代碼 39
2.5　什么是持續(xù)交付和持續(xù)部署 40
2.6　從零開始持續(xù)交付Hugo靜態(tài)站點(diǎn) 40
2.7　總結(jié) 60
第3章　虛擬化、容器化和彈性化 61
3.1　彈性資源 61
3.2　容器：Docker 63
3.2.1　Docker入門 63
3.2.2　容器的真實例子 65
3.2.3　運(yùn)行Docker容器 66
3.2.4　容器注冊表 69
3.2.5　在AWS Cloud9上從零開始構(gòu)建容器化應(yīng)用 69
3.2.6　練習(xí)：在AWS Cloud9中構(gòu)建Hello World容器 72
3.3　Kubernetes 72
3.3.1　安裝Kubernetes 73
3.3.2　Kubernetes概述 73
3.3.3　自動伸縮的Kubernetes 77
3.3.4　云中的Kubernetes 78
3.3.5　混合云和多云Kubernetes 78
3.3.6　Kubernetes總結(jié) 79
3.4　運(yùn)行微服務(wù)概述 79
3.4.1　創(chuàng)建有效的報警 82
3.4.2　Prometheus入門 84
3.4.3　使用Flask創(chuàng)建Locust負(fù)載測試 86
3.4.4　微服務(wù)的無服務(wù)器最佳實踐、災(zāi)難恢復(fù)和備份 88
3.5　練習(xí)：運(yùn)行Kubernetes Engine 89
3.6　總結(jié) 90
第4章　分布式計算的挑戰(zhàn)和機(jī)遇 91
4.1　最終一致性 91
4.2　CAP定理 92
4.3　阿姆達(dá)爾定律 92
4.4　彈性 93
4.5　高可用 93
4.6　摩爾定律的終結(jié) 94
4.7　ASIC：GPU、TPU、FPGA 95
4.7.1　ASIC、CPU與GPU 95
4.7.2　使用GPU和JIT 97
4.7.3　練習(xí)：GPU編程 100
4.8　總結(jié) 100
第5章　云存儲 101
5.1　云存儲類型 101
5.2　數(shù)據(jù)治理 103
5.3　云數(shù)據(jù)庫 104
5.4　鍵-值數(shù)據(jù)庫 105
5.5　圖形數(shù)據(jù)庫 106
5.5.1　為什么不是關(guān)系型數(shù)據(jù)庫而是圖形數(shù)據(jù)庫 107
5.5.2　AWS Neptune 107
5.5.3　Neo4j 108
5.5.4　大數(shù)據(jù)的三個“V” 116
5.6　批處理數(shù)據(jù)與流數(shù)據(jù)和機(jī)器學(xué)習(xí) 117
5.7　云數(shù)據(jù)倉庫 118
5.8　GCP BigQuery 118
5.9　AWS Redshift 123
5.9.1　Redshift工作流中的關(guān)鍵操作 123
5.9.2　AWS Redshift總結(jié) 124
5.10　總結(jié) 124
第6章　無服務(wù)器ETL技術(shù) 125
6.1　AWS Lambda 125
6.2　使用AWS Cloud9開發(fā)AWS Lambda函數(shù) 128
6.2.1　構(gòu)建一個API 128
6.2.2　構(gòu)建一個無服務(wù)器數(shù)據(jù)工程管道 129
6.2.3　使用AWS Lambda在AWS S3桶上實現(xiàn)計算機(jī)視覺 130
6.2.4　練習(xí)：AWS Lambda Step Function 130
6.3　函數(shù)即服務(wù) 131
6.4　AWS Lambda的Chalice框架 132
6.5　谷歌云函數(shù) 133
6.6　Azure Flask無服務(wù)器機(jī)器學(xué)習(xí) 141
6.7　Cloud ETL 142
6.8　使用ETL從零開始構(gòu)建社交網(wǎng)絡(luò)的現(xiàn)實問題 143
6.8.1　冷啟動問題 143
6.8.2　從零開始構(gòu)建社交網(wǎng)絡(luò)機(jī)器學(xué)習(xí)管道 144
6.8.3　案例研究：如何構(gòu)建一個新聞提要 146
6.9　總結(jié) 146
第7章　可管理的機(jī)器學(xué)習(xí)系統(tǒng) 147
7.1　Jupyter Notebook工作流 147
7.2　AWS Sagemaker概述 152
7.2.1　AWS Sagemaker彈性架構(gòu) 152
7.2.2　練習(xí)：使用Sagemaker 152
7.3　Azure ML Studio概述 154
7.4　谷歌AutoML計算機(jī)視覺 154
7.5　總結(jié) 155
第8章　數(shù)據(jù)科學(xué)案例研究和項目 156
第9章　隨筆 163
9.1　為什么在2029年前將不會有數(shù)據(jù)科學(xué)這個職位 163
9.2　利用教育的拆分 165
9.3　垂直集成的AI棧將如何影響IT機(jī)構(gòu) 168
9.4　notebook來了 170
9.5　云原生機(jī)器學(xué)習(xí)和AI 172
9.6　到2021年會培訓(xùn)100萬人 174
9.6.1　高等教育的現(xiàn)狀將會被打破 175
9.6.2　地方就業(yè)市場將會被打破 179
9.6.3　招聘流