Spark內核設計的藝術：架構設計與實現(xiàn)

目錄 Contents
本書贊譽
前言
第1章　環(huán)境準備 1
1.1　運行環(huán)境準備 2
1.1.1　安裝JDK 2
1.1.2　安裝Scala 2
1.1.3　安裝Spark 3
1.2　Spark初體驗 4
1.2.1　運行spark-shell 4
1.2.2　執(zhí)行word count 5
1.2.3　剖析spark-shell 9
1.3　閱讀環(huán)境準備 14
1.3.1　安裝SBT 15
1.3.2　安裝Git 15
1.3.3　安裝Eclipse Scala IDE插件 15
1.4　Spark源碼編譯與調試 17
1.5　小結 23
第2章　設計理念與基本架構 24
2.1　初識Spark 25
2.1.1　Hadoop MRv1的局限25
2.1.2　Spark的特點 26
2.1.3 Spark使用場景 28
2.2　Spark基礎知識 29
2.3　Spark基本設計思想 31
2.3.1　Spark模塊設計 32
2.3.2　Spark模型設計 34
2.4　Spark基本架構 36
2.5　小結 38
第3章　Spark基礎設施 39
3.1　Spark配置 40
3.1.1　系統(tǒng)屬性中的配置 40
3.1.2　使用SparkConf配置的API 41
3.1.3　克隆SparkConf配置 42
3.2　Spark內置RPC框架 42
3.2.1　RPC配置TransportConf 45
3.2.2　RPC客戶端工廠Transport- ClientFactory 47
3.2.3　RPC服務端TransportServer 53
3.2.4　管道初始化 56
3.2.5　TransportChannelHandler詳解 57
3.2.6　服務端RpcHandler詳解 63
3.2.7　服務端引導程序Transport-ServerBootstrap 68
3.2.8　客戶端TransportClient詳解 71
3.3　事件總線 78
3.3.1　ListenerBus的繼承體系 79
3.3.2　SparkListenerBus詳解 80
3.3.3　LiveListenerBus詳解 83
3.4　度量系統(tǒng) 87
3.4.1　Source繼承體系 87
3.4.2　Sink繼承體系 89
3.5　小結 92
第4章　SparkContext的初始化 93
4.1　SparkContext概述 94
4.2　創(chuàng)建Spark環(huán)境 97
4.3　SparkUI的實現(xiàn) 100
4.3.1　SparkUI概述 100
4.3.2　WebUI框架體系 102
4.3.3　創(chuàng)建SparkUI 107
4.4　創(chuàng)建心跳接收器 111
4.5　創(chuàng)建和啟動調度系統(tǒng)112
4.6　初始化塊管理器BlockManager 114
4.7　啟動度量系統(tǒng) 114
4.8　創(chuàng)建事件日志監(jiān)聽器115
4.9　創(chuàng)建和啟動ExecutorAllocation-Manager 116
4.10　ContextCleaner的創(chuàng)建與啟動 120
4.10.1　創(chuàng)建ContextCleaner 120
4.10.2　啟動ContextCleaner 120
4.11　額外的SparkListener與啟動事件總線 122
4.12　Spark環(huán)境更新 123
4.13　SparkContext初始化的收尾 127
4.14　SparkContext提供的常用方法 128
4.15　SparkContext的伴生對象130
4.16　小結 131
第5章　Spark執(zhí)行環(huán)境 132
5.1　SparkEnv概述 133
5.2　安全管理器SecurityManager 133
5.3　RPC環(huán)境 135
5.3.1　RPC端點RpcEndpoint 136
5.3.2　RPC端點引用RpcEndpointRef 139
5.3.3　創(chuàng)建傳輸上下文TransportConf 142
5.3.4　消息調度器Dispatcher 142
5.3.5　創(chuàng)建傳輸上下文Transport-Context 154
5.3.6　創(chuàng)建傳輸客戶端工廠Transport-ClientFactory 159
5.3.7　創(chuàng)建TransportServer 160
5.3.8　客戶端請求發(fā)送 162
5.3.9　NettyRpcEnv中的常用方法 173
5.4　序列化管理器SerializerManager 175
5.5　廣播管理器BroadcastManager 178
5.6　map任務輸出跟蹤器 185
5.6.1　MapOutputTracker的實現(xiàn) 187
5.6.2　MapOutputTrackerMaster的實現(xiàn)原理 191
5.7　構建存儲體系 199
5.8　創(chuàng)建度量系統(tǒng) 201
5.8.1　MetricsCon?g詳解 203
5.8.2　MetricsSystem中的常用方法 207
5.8.3　啟動MetricsSystem 209
5.9　輸出提交協(xié)調器 211
5.9.1　OutputCommitCoordinator-Endpoint的實現(xiàn) 211
5.9.2　OutputCommitCoordinator的實現(xiàn) 212
5.9.3　OutputCommitCoordinator的工作原理 216
5.10　創(chuàng)建SparkEnv 217
5.11　小結 217
第6章　存儲體系 219
6.1　存儲體系概述 220
6.1.1　存儲體系架構 220
6.1.2　基本概念 222
6.2　Block信息管理器 227
6.2.1　Block鎖的基本概念 227
6.2.2　Block鎖的實現(xiàn) 229
6.3　磁盤Block管理器 234
6.3.1　本地目錄結構 234
6.3.2　DiskBlockManager提供的方法 236
6.4　磁盤存儲DiskStore 239
6.5　內存管理器 242
6.5.1　內存池模型 243
6.5.2　StorageMemoryPool詳解 244
6.5.3　MemoryManager模型 247
6.5.4　Uni?edMemoryManager詳解 250
6.6　內存存儲MemoryStore 252
6.6.1　MemoryStore的內存模型 253
6.6.2　MemoryStore提供的方法 255
6.7　塊管理器BlockManager 265
6.7.1　BlockManager的初始化 265
6.7.2　BlockManager提供的方法 266
6.8　BlockManagerMaster對Block-Manager的管理 285
6.8.1　BlockManagerMaster的職責 285
6.8.2　BlockManagerMasterEndpoint詳解 286
6.8.3　BlockManagerSlaveEndpoint詳解 289
6.9　Block傳輸服務 290
6.9.1　初始化NettyBlockTransfer-Service 291
6.9.2　NettyBlockRpcServer詳解 292
6.9.3　Shuf?e客戶端 296
6.10　DiskBlockObjectWriter詳解 305
6.11　小結 308
第7章　調度系統(tǒng) 309
7.1　調度系統(tǒng)概述 310
7.2　RDD詳解 312
7.2.1　為什么需要RDD 312
7.2.2　RDD