寫給架構(gòu)師的Linux實(shí)踐：設(shè)計(jì)并實(shí)現(xiàn)基于Linux的IT解決方案

【第一部分　用GlusterFS 制定高性能的存儲(chǔ)解決方案】

●第1章　設(shè)計(jì)方法簡介 …… 2

1.1　定義解決方案設(shè)計(jì)的多個(gè)階段及其意義 …… 2

1.2　分析問題并準(zhǔn)確地提出問題 …… 3

1.2.1　技術(shù)角度 …… 4

1.2.2　業(yè)務(wù)角度 …… 5

1.2.3　功能角度 …… 6

1.3　考慮可行的解決方案 …… 6

1.4　把解決方案實(shí)現(xiàn)出來 …… 9

●第2章　定義 GlusterFS 存儲(chǔ) …… 11

2.1　技術(shù)需求 …… 11

2.2　什么是集群 …… 11

2.2.1　用集群處理計(jì)算任務(wù) …… 11

2.2.2　存儲(chǔ)集群 …… 13

2.3　什么是 GlusterFS …… 13

2.4　塊存儲(chǔ)、文件存儲(chǔ)與對象存儲(chǔ) …… 15

2.4.1　塊存儲(chǔ) …… 16

2.4.2　文件存儲(chǔ) …… 17

2.4.3　對象存儲(chǔ) …… 18

2.5　為什么選擇 GlusterFS …… 20

2.5.1　GlusterFS 的特性 …… 21

2.5.2　Gluster 存儲(chǔ)卷的類型 …… 22

2.6　對高冗余存儲(chǔ)的需求 …… 25

2.7　對高性能存儲(chǔ)的需求 …… 27

2.8　并行 I/O …… 28

●第3章　架構(gòu)存儲(chǔ)集群 …… 30

3.1　技術(shù)需求 …… 30

3.2　GlusterFS 對計(jì)算機(jī)的要求 …… 30

3.2.1　RAM …… 31

3.2.2　CPU …… 31

3.3　需要多大的存儲(chǔ)空間 …… 32

3.3.1　GlusterFS的卷類型 …… 32

3.3.2　應(yīng)用程序所需的空間 …… 33

3.3.3　項(xiàng)目的增長情況 …… 33

3.4　性能方面的注意事項(xiàng) …… 34

3.4.1　吞吐量 …… 34

3.4.2　延遲 …… 34

3.4.3　IOPS …… 35

3.4.4　I/O 的大小 …… 35

3.4.5　GlusterFS 的性能 …… 35

3.5　確保高可用性的最佳方法 …… 37

3.5.1　用復(fù)制卷確保高可用性 …… 37

3.5.2　用分散卷確保高可用性 …… 38

3.5.3　地域復(fù)制 …… 38

3.6　根據(jù)工作類型來確定需求 …… 39

3.6.1　文檔 …… 39

3.6.2　系統(tǒng)工具 …… 39

3.6.3　文件的類型與大小 …… 39

3.6.4　提出正確的問題 …… 40

●第4章　在云基礎(chǔ)設(shè)施上使用 GlusterFS …… 43

4.1　技術(shù)需求 …… 43

4.2　設(shè)定后端存儲(chǔ)所需的 brick …… 44

4.2.1　部署 Azure …… 44

4.2.2　用 ZFS 做 brick 的后端 …… 45

4.3　在節(jié)點(diǎn)上安裝 GlusterFS …… 49

4.3.1　安裝必要的軟件包 …… 49

4.3.2　創(chuàng)建 trusted pool …… 50

4.4　創(chuàng)建存儲(chǔ)卷 …… 51

4.4.1　創(chuàng)建分散式的存儲(chǔ)卷 …… 51

4.4.2　掛載存儲(chǔ)卷 …… 52

4.5　優(yōu)化性能 …… 52

4.5.1　調(diào)整 GlusterFS …… 52

4.5.2　調(diào)整 ZFS …… 53

●第5章　分析 Gluster 系統(tǒng)的性能 …… 56

5.1　技術(shù)需求 …… 56

5.2　概述目前的實(shí)現(xiàn)方案 …… 56

5.3　性能測試 …… 57

5.3.1　理論上的性能 …… 57

5.3.2　性能工具 …… 58

5.4　可用性測試 …… 63

5.5　擴(kuò)展 …… 63

【第二部分　用Kubernetes制作可用性高的Nginx Web應(yīng)用程序】

●第6章　創(chuàng)建可用性高的自我修復(fù)架構(gòu) …… 66

6.1　微服務(wù) …… 66

6.2　創(chuàng)建容器鏡像 …… 69

6.2.1　FROM 指令 …… 70

6.2.2　LABEL 指令 …… 70

6.2.3　RUN 指令 …… 71

6.2.4　ENV指令 …… 71

6.2.5　COPY指令 …… 72

6.2.6　EXPOSE指令 …… 73

6.2.7　CMD與ENTRYPOINT指令 …… 73

6.3　構(gòu)建容器鏡像時(shí)的經(jīng)驗(yàn) …… 76

6.4　容器編排 …… 80

6.5　Kubernetes …… 81

●第7章　了解 Kubernetes 集群的核心組件 …… 84

7.1　控制面的各種 Kubernetes 組件 …… 84

7.1.1　kube-apiserver …… 85

7.1.2　kube-controller-manager …… 85

7.1.3　kube-scheduler …… 85

7.1.4　etcd 數(shù)據(jù)庫 …… 85

7.2　Kubernetes 的工作節(jié)點(diǎn) …… 86

7.2.1　容器運(yùn)行時(shí) …… 86

7.2.2　kubelet …… 86

7.2.3　kube-proxy …… 87

7.3　Kubernetes 的對象 …… 87

7.3.1　Kubernetes 的基本對象：pod …… 89

7.3.2　deployment 對象 …… 91

7.3.3　服務(wù) …… 93

7.3.4　Kubernetes 與持久存儲(chǔ) …… 95

●第8章　架構(gòu) Kubernetes 集群 …… 100

8.1　各種 Kubernetes 組件的規(guī)模與尺寸問題 …… 100

8.1.1　etcd 方面的問題 …… 100

8.1.2　kube-apiserver 的數(shù)量與規(guī)格 …… 101

8.1.3　工作節(jié)點(diǎn) …… 101

8.1.4　負(fù)載均衡器方面的問題 …… 102

8.2　存儲(chǔ)方面的問題 …… 103

8.3　網(wǎng)絡(luò)方面的需求 …… 104

8.4　定制 kube 對象 …… 106

8.4.1　名稱空間 …… 106

8.4.2　對名稱空間所能使用的資源做出限制 …… 107

8.4.3　定制 pod …… 108

●第9章　配置并部署 Kubernetes …… 114

9.1　部署基礎(chǔ)設(shè)施 …… 114

9.1.1　安裝 Azure CLI …… 114

9.1.2　宏觀設(shè)計(jì)概述 …… 115

9.1.3　配置網(wǎng)絡(luò)資源 …… 116

9.1.4　配置計(jì)算資源 …… 117

9.1.5　把 management VM 準(zhǔn)備好 …… 119

9.1.6　Kubeconfig …… 127

9.1.7　為控制面的各組件安裝必要的二進(jìn)制文件 …… 130

9.1.8　為 kubelet 設(shè)定 RBAC 權(quán)限 …… 137

9.1.9　設(shè)置負(fù)載均衡器 …… 138

9.1.10　設(shè)置工作節(jié)點(diǎn) …… 144

9.1.11　配置 Kubernetes 的網(wǎng)絡(luò) …… 148

9.1.12　DNS 服務(wù)器 …… 150

9.1.13　云平臺(tái)所提供的托管式 Kubernetes 解決方案 …… 150

【第三部分　Elastic Stack（ELK Stack）】

●第10章　用 ELK Stack 進(jìn)行監(jiān)控 …… 154

10.1　技術(shù)需求 …… 154

10.2　為什么要做數(shù)據(jù)監(jiān)測 …… 154

10.2.1　通過歷史數(shù)據(jù)制定決策 …… 155

10.2.2　主動(dòng)探查有可能出現(xiàn)的問題 …… 156

10.2.3　了解整套產(chǎn)品的性能 …… 156

10.2.4　合理制定預(yù)算計(jì)劃 …… 157

10.3　集中式的日志 …… 157

10.4　Elasticsearch 概述 …… 159

10.4.1　迅速 …… 159

10.4.2　易于擴(kuò)展 …… 159

10.4.3　可用性高 …… 159

10.5　Logstash …… 159

10.5.1　Grok …… 160

10.5.2　定制的模式 …… 160

10.6　用 Kibana 進(jìn)行整合 …… 161

●第11章　設(shè)計(jì) ELK Stack …… 164

11.1　技術(shù)要求 …… 164

11.2　Elasticsearch 對 CPU 的要求 …… 165

11.2.1　CPU 的數(shù)量 …… 165

11.2.2　CPU 的速度 …… 165

11.2.3　CPU 對性能的影響 …… 165

11.2.4　與 CPU 規(guī)格有關(guān)的建議 …… 167

11.3　Elasticsearch 對內(nèi)存的要求 …… 167

11.3.1　文件系統(tǒng)的緩存 …… 168

11.3.2　禁用 swap …… 169

11.3.3　因內(nèi)存不足而導(dǎo)致的問題 …… 169

11.3.4　與內(nèi)存有關(guān)的建議 …… 171

11.4　Elasticsearch 對存儲(chǔ)設(shè)備的要求 …… 172

11.4.1　對存儲(chǔ)容量的要求 …… 172

11.4.2　對存儲(chǔ)性能的要求 …… 172

11.4.3　與存儲(chǔ)設(shè)備有關(guān)的一些建議 …… 172

11.5　Logstash 與 Kibana 的要求 …… 173

11.5.1　Logstash …… 173

11.5.2　Kibana …… 173

●第12章　用 Elasticsearch、Logstash 與 Kibana管理日志 …… 176

12.1　技術(shù)需求 …… 176

12.2　概述 Elastic Stack 的部署工作 …… 177

12.3　安裝 Elasticsearch …… 178

12.3.1　配置 RPM 軟件倉庫 …… 178

12.3.2　Elasticsearch 的數(shù)據(jù)目錄 …… 179

12.4　配置 Elasticsearch …… 182

12.4.1　修改 Elasticsearch 的 YAML 配置文件 …… 182

12.4.2　啟動(dòng) Elasticsearch …… 185

12.4.3　添加 Elasticsearch 節(jié)點(diǎn) …… 186

12.5　安裝Logstash與Kibana …… 187

12.6　配置 Kibana …… 192

12.6.1　 修改 Kibana 的 YAML 文件 …… 192

12.6.2　起到協(xié)調(diào)作用的 Elasticsearch 節(jié)點(diǎn) …… 192

12.7　啟動(dòng) Logstash 與 Kibana …… 193

12.8　什么是 Beats …… 194

12.8.1　Filebeat …… 194

12.8.2　Metricbeat …… 195

12.9　把必要的 Beats 安裝好 …… 195

12.10　配置 Beats 客戶端 …… 196

12.10.1　修改 Filebeat 的 YAML 文件 …… 196

12.10.2　修改 Metricbeat 的 YAML 文件 …… 198

12.11　后續(xù)步驟 …… 199

【第四部分　用 Saltstack 管理系統(tǒng)】

●第13章　用 Salt方案解決管理問題 …… 204

13.1　把系統(tǒng)管理工作集中到同一個(gè)地方 …… 204

13.2　理解NaCI …… 208

●第14章　實(shí)踐Salt方案 …… 218

14.1　正式接觸Salt …… 218

14.2　用包管理器安裝Salt …… 229

●第15章　設(shè)計(jì)經(jīng)驗(yàn) …… 246

15.1　根據(jù)項(xiàng)目所在的環(huán)境進(jìn)行設(shè)計(jì) …… 246

15.2　怎樣設(shè)計(jì)本地項(xiàng)目 …… 247

15.3　怎樣設(shè)計(jì)云端環(huán)境中的項(xiàng)目 …… 249

15.4　將項(xiàng)目遷移到云端 …… 249