深度剖析Hadoop HDFS

定　價：￥79.00

作　者：	林意群
出版社：	機械工業(yè)出版社
叢編項：
標　簽：	暫缺

購買這本書可以去

ISBN：	9787111562078	出版時間：	2017-05-01	包裝：
開本：	16開	頁數(shù)：		字數(shù)：

內容簡介

　　本書基于Hadoop 2.7.1版本進行分析，全面描述了HDFS 2.X的核心技術與解決方案，書中描述了HDFS內存存儲、異構存儲等幾大核心設計，包括源碼細節(jié)層面的分析，對于HDFS中比較特殊的幾個場景過程也做了細粒度的分析。還分享了作者在實際應用中的解決方案及擴展思路。閱讀本書可以幫助讀者從架構設計與功能實現(xiàn)角度了解HDFS 2.X，同時還能學習HDFS 2.X框架中優(yōu)秀的設計思想、設計模式、Java語言技巧等。這些對于讀者全面提高自己分布式技術水平有很大的幫助。本書分為三大部分：核心設計篇、細節(jié)實現(xiàn)篇、解決方案篇，“核心設計篇”包括HDFS的數(shù)據(jù)存儲原理、HDFS的數(shù)據(jù)管理與策略選擇機制、HDFS的新穎功能特性；“細節(jié)實現(xiàn)篇”包括HDFS的塊處理、流量處理等細節(jié)，以及部分結構分析；“解決方案篇”包括HDFS的數(shù)據(jù)管理、HDFS的數(shù)據(jù)讀寫、HDFS的異常場景等。本書適合于云計算相關領域研發(fā)人員、云計算相關運維工程師、高年級研究生或本科、熱衷于分布式計算研究的人。

作者簡介

　　林意群，唯品會上海研發(fā)中心數(shù)據(jù)應用部研發(fā)工程師，Apache Hadoop Committer，主要專注于HDFS模塊的研究。對大數(shù)據(jù)處理、分布式計算興趣濃厚，在實際工作中努力鉆研，分享了大量技術文章，貢獻了很多實踐經驗。

圖書目錄

前言
第一部分　核心設計篇
第1章　HDFS的數(shù)據(jù)存儲 2
1.1　HDFS內存存儲 2
1.1.1　HDFS內存存儲原理 2
1.1.2　Linux 虛擬內存盤 4
1.1.3　HDFS的內存存儲流程分析 4
1.1.4　LAZY_PERSIST內存存儲的使用 14
1.2　HDFS異構存儲 15
1.2.1　異構存儲類型 16
1.2.2　異構存儲原理 17
1.2.3　塊存儲類型選擇策略 22
1.2.4　塊存儲策略集合 24
1.2.5　塊存儲策略的調用 27
1.2.6　HDFS異構存儲策略的不足之處 28
1.2.7　HDFS存儲策略的使用 30
1.3　小結 31
第2章　HDFS的數(shù)據(jù)管理與策略選擇 32
2.1　HDFS緩存與緩存塊 32
2.1.1　HDFS物理層面緩存塊 33
2.1.2　緩存塊的生命周期狀態(tài) 34
2.1.3　CacheBlock、UnCacheBlock場景觸發(fā) 36
2.1.4　CacheBlock、UnCacheBlock緩存塊的確定 38
2.1.5　系統(tǒng)持有的緩存塊列表如何更新 39
2.1.6　緩存塊的使用 40
2.1.7　HDFS緩存相關配置 40
2.2　HDFS中心緩存管理 42
2.2.1　HDFS緩存適用場景 43
2.2.2　HDFS緩存的結構設計 43
2.2.3　HDFS緩存管理機制分析 45
2.2.4　HDFS中心緩存疑問點 55
2.2.5　HDFS CacheAdmin命令使用 56
2.3　HDFS快照管理 58
2.3.1　快照概念 59
2.3.2　HDFS中的快照相關命令 59
2.3.3　HDFS內部的快照管理機制 60
2.3.4　HDFS的快照使用 71
2.4　HDFS副本放置策略 72
2.4.1　副本放置策略概念與方法 72
2.4.2　副本放置策略的有效前提 73
2.4.3　默認副本放置策略的分析 73
2.4.4　目標存儲好壞的判斷 82
2.4.5　chooseTargets的調用 83
2.4.6　BlockPlacementPolicyWithNodeGroup繼承類 84
2.4.7　副本放置策略的結果驗證 85
2.5　HDFS內部的認證機制 85
2.5.1　BlockToken認證 85
2.5.2　HDFS的Sasl認證 91
2.5.3　BlockToken認證與HDFS的Sasl認證對比 97
2.6　HDFS內部的磁盤目錄服務 98
2.6.1　HDFS的三大磁盤目錄檢測掃描服務 98
2.6.2　DiskChecker：壞盤檢測服務 99
2.6.3　DirectoryScanner：目錄掃描服務 104
2.6.4　VolumeScanner：磁盤目錄掃描服務 110
2.7　小結 116
第3章　HDFS的新穎功能特性 117
3.1　HDFS視圖文件系統(tǒng)：ViewFileSystem 117
3.2　HDFS的Web文件系統(tǒng)：WebHdfsFileSystem 126
3.3　HDFS數(shù)據(jù)加密空間：Encryption zone 136
3.4　HDFS糾刪碼技術 145
3.5　HDFS對象存儲：Ozone 152
3.6　小結 158
第二部分　細節(jié)實現(xiàn)篇
第4章　HDFS的塊處理 160
4.1　HDFS塊檢查命令fsck 160
4.2　HDFS如何檢測并刪除多余副本塊 171
4.3　HDFS數(shù)據(jù)塊的匯報與處理 179
4.4　小結 193
第5章　HDFS的流量處理 194
5.1　HDFS的內部限流 194
5.2　數(shù)據(jù)平衡 204
5.3　HDFS節(jié)點內數(shù)據(jù)平衡 210
5.4　小結 216
第6章　HDFS的部分結構分析 217
6.1　HDFS鏡像文件的解析與反解析 217
6.2　DataNode數(shù)據(jù)處理中心DataXceiver 227
6.3　HDFS鄰近信息塊：BlockInfoContiguous 235
6.4　小結 246
第三部分　解決方案篇
第7章　HDFS的數(shù)據(jù)管理 248
7.1　HDFS的讀寫限流方案 248
7.2　HDFS數(shù)據(jù)資源使用量分析以及趨勢預測 250
7.3　HDFS數(shù)據(jù)遷移解決方案 257
7.4　DataNode遷移方案 265
7.5　HDFS集群重命名方案 268
7.6　HDFS的配置管理方案 271
7.7　小結 273
第8章　HDFS的數(shù)據(jù)讀寫 274
8.1　DataNode引用計數(shù)磁盤選擇策略 274
8.2　Hadoop節(jié)點“慢磁盤”監(jiān)控 282
8.3　小結 287
第9章　HDFS的異常場景 288
9.1　DataNode慢啟動問題 288
9.2　Hadoop中止下線操作后大量剩余復制塊問題 295
9.3　DFSOutputStream的DataStreamer線程泄漏問題 306
9.4　小結 319
附錄　如何向開源社區(qū)提交自己的代碼 320