深入云計算：Hadoop源代碼分析

第1篇 Hadoop概述與安裝
　第1章 Hadoop的簡介和安裝
　　1.1 Hadoop的簡介
　　　1.1.1 分布式文件系統(tǒng)HDFS
　　　1.1.2 并行計算模型MapReduce
　　1.2 Hadoop的安裝
　　　1.2.1 虛擬機以及Ubuntu的安裝
　　　1.2.2 創(chuàng)建Hadoop用戶
　　　1.2.3 JDK1.6的安裝
　　　1.2.4 SSH的配置
　　　1.2.5 單機模式下Hadoop的安裝
　　　1.2.6 偽分布式模式下Hadoop的安裝
　　　1.2.7 分布式模式下Hadoop的安裝
第2篇 HDFS分布式文件系統(tǒng)及IO模型
　第2章 HDFS架構(gòu)和分布式文件系統(tǒng)
　　2.1 分布式文件系統(tǒng)概述
　　2.2 HDFS的特點
　　2.3 HDFS文件系統(tǒng)架構(gòu)
　　2.4 Hadoop的抽象文件系統(tǒng)模型
　　　2.4.1 FileSystem抽象文件系統(tǒng)
　　　2.4.2 FileStatus文件狀態(tài)信息
　　　2.4.3 FsPermission文件或目錄的操作權(quán)限
　　　2.4.4 FileSystem的實現(xiàn)類
　　　2.4.5 FileSystem的輸入流
　　　2.4.6 FileSystem的輸出流
　　2.5 小結(jié)
　第3章 Hadoop分布式文件系統(tǒng)HDFS的具體實現(xiàn)
　　3.1 DistributedFileSystem分布式文件系?
　　3.2 DFSClient HDFS客戶端
　　3.3 小結(jié)
　第4章 NameNode的實現(xiàn)
　　4.1 INode抽象類
　　4.2 INodeDirectory目錄
　　4.3 INodeFile文件
　　4.4 FSDirectory文件系統(tǒng)目錄
　　4.5 FSEditLog文件系統(tǒng)的編輯日志
　　4.6 FSImage文件系統(tǒng)鏡像
　　4.7 Host2NodesMap主機到DataNode的映射
　　4.8 NetworkTopology網(wǎng)絡(luò)拓撲結(jié)構(gòu)
　　4.9 HostsFileReader主機文件讀取器
　　4.10 BlocksMap 數(shù)據(jù)塊到其元數(shù)據(jù)的映射
　　4.11 FSNamesystem HDFS文件系統(tǒng)的命名空間
　　4.12 NameNode名稱結(jié)點
　　4.13 小結(jié)
　第5章 Datanode的實現(xiàn)
　　5.1 Block數(shù)據(jù)塊
　　5.2 DatanodeID類
　　5.3 DatanodeInfo類
　　5.4 BlockSender數(shù)據(jù)塊發(fā)送器
　　5.5 BlockReceiver數(shù)據(jù)塊接收器
　　5.6 DataBlockScanner數(shù)據(jù)塊掃描器
　　5.7 FSDataset Datanode數(shù)據(jù)集合
　　5.8 DataXceiverServer
　　5.9 DataXceiver
　　5.10 Datanode類
　　5.11 小結(jié)
　第6章 Hadoop的IO
　　6.1 數(shù)據(jù)類型接口
　　　6.1.1 Writable接口
　　　6.1.2 Comparable接口
　　　6.1.3 WritableComparable接口
　　　6.1.4 RawComparator比較器接口
　　　6.1.5 WritableComparator接口
　　6.2 基本數(shù)據(jù)類型
　　　6.2.1 IntWritable整型類型
　　　6.2.2 Text文本類型
　　　6.2.3 NullWritable類
　　　6.2.4 ObjectWritable類
　　6.3 文件類型
　　　6.3.1 SequenceFile序列文件
　　　6.3.2 MapFile映射文件
　　6.4 小結(jié)
第3篇 MapReduce計算框架及RPC通信模型
　第7章 MapReduce的輸入和輸出
　　7.1 輸入格式InputFormat
　　　7.1.1 InputFormat抽象類
　　　7.1.2 FileInputFormat文件輸入格式
　　　7.1.3 TextInputFormat文本文件輸入格式
　　　7.1.4 KeyValueTextInputFormat鍵值對文件輸入格式
　　　7.1.5 CombineFileInputFormat組合文件輸入格式
　　　7.1.6 SequenceFileInputFormat序列文件輸入格式
　　　7.1.7 DBInputFormat數(shù)據(jù)庫輸入格式
　　　7.1.8 MultipleInputs多種輸入格式
　　　7.1.9 DelegatingInputFormat授權(quán)輸入格式
　　7.2 輸入分片InputSplit
　　　7.2.1 FileSplit文件輸入分片
　　　7.2.2 CombineFileSplit多文件輸入分片
　　　7.2.3 DBInputSplit數(shù)據(jù)庫輸入分片
　　7.3 記錄讀取器RecordReader
　　　7.3.1 LineRecordReader行記錄讀取器
　　　7.3.2 KeyValueLineRecordReader鍵值對記錄讀取器
　　　7.3.3 CombineFileRecordReader組合文件記錄讀取器
　　　7.3.4 SequenceFileRecordReader序列文件記錄讀取器
　　　7.3.5 SequenceFileAsTextRecordReader和SequenceFileAsBinaryRecordReader
　　　7.3.6 DBRecordReader數(shù)據(jù)庫記錄讀取器
　　7.4 輸出格式OutputFormat
　　　7.4.1 OutputFormat抽象類
　　　7.4.2 FileOutputFormat文件輸出格式
　　　7.4.3 TextOutputFormat文本格式的文件輸出格式
　　　7.4.4 SequenceFileOutputFormat普通序列文件輸出格式
　　　7.4.5 SequenceFileAsBinaryOutputFormat二進制序列文件輸出格式
　　　7.4.6 FilterOutputFormat過濾器輸出格式
　　　7.4.7 DBOutputFormat數(shù)據(jù)庫輸出格式
　　　7.4.8 MultipleOutputs多種輸出格式
　　7.5 記錄寫入器RecordWriter
　　　7.5.1 DBRecordWriter數(shù)據(jù)庫記錄寫入器
　　　7.5.2 FilterRecordWriter過濾器記錄寫入器
　　　7.5.3 LineRecordWriter 文本行記錄寫入器
　　7.6 輸出提交器OutputCommitter
　　　7.6.1 OutputCommitter輸出提交器
　　　7.6.2 FileOutputCommitter文件輸出提交器
　　7.7 小結(jié)
　第8章 Hadoop中的Context和ID
　　8.1 Hadoop運行過程中的Context上下文
　　　8.1.1 JobContext作業(yè)上下文
　　　8.1.2 Job作業(yè)
　　　8.1.3 TaskAttemptContext任務(wù)嘗試上下文
　　　8.1.4 TaskInputOutputContext任務(wù)輸入輸出上下文
　　　8.1.5 MapContext Mapper執(zhí)行的上下文
　　　8.1.6 ReduceContext Reducer執(zhí)行的上下文
　　8.2 Hadoop運行過程中的ID類
　　　8.2.1 ID類
　　　8.2.2 JobID作業(yè)ID
　　　8.2.3 TaskID任務(wù)ID
　　　8.2.4 TaskAttemptID任務(wù)嘗試ID
　　8.3 小結(jié)
　第9章 Hadoop的計算模型MapReduce
　　9.1 Map處理過程
　　　9.1.1 Mapper概述
　　　9.1.2 Mapper源代碼分析
　　　9.1.3 InverseMapper反轉(zhuǎn)Mapper
　　　9.1.4 TokenCounterMapper標記計數(shù)Mapper
　　　9.1.5 MultithreadedMapper多線程Mapper
　　　9.1.6 FieldSelectionMapper字段選擇Mapper
　　　9.1.7 DelegatingMapper授權(quán)Mapper
　　9.2 Reducer處理過程
　　　9.2.1 Reducer概述
　　　9.2.2 Reducer源代碼
　　　9.2.3 IntSumReducer和LongSumReducer
　　　9.2.4 FieldSelectionReducer字段選擇Reducer
　　9.3 Partitioner分區(qū)處理過程
　　　9.3.1 Partitioner概述
　　　9.3.2 Partitioner源代碼
　　　9.3.3 HashPartitioner hash分區(qū)
　　　9.3.4 BinaryPartitioner二進制分區(qū)
　　　9.3.5 KeyFieldBasedPartitioner基于鍵字段的分區(qū)
　　　9.3.6 TotalOrderPartitioner全排序分區(qū)
　　9.4 小結(jié)
　第10章 JobClient的執(zhí)行過程分析
　　10.1 MapReduce作業(yè)處理過程概述
　　　10.1.1 JobConf MapReduce作業(yè)的配置信息
　　　10.1.2 JobSubmissionProtocol作業(yè)提交的接口
　　　10.1.3 RunningJob正在運行的Job作業(yè)的接口
　　　10.1.4 JobStatus和JobProfile作業(yè)狀態(tài)信息和注冊信息
　　　10.1.5 JobSubmissionFiles 獲得作業(yè)提交的文件
　　10.2 JobClient提交作業(yè)流程
　　10.3 JobClient 提交Job的客戶端
　　10.4 小結(jié)
　第11章 JobTracker的執(zhí)行過程分析
　　11.1 JobTracker處理過程概述
　　11.2 JobInfo作業(yè)信息
　　11.3 Counters計數(shù)器
　　11.4 Queue Job隊列對象
　　11.5 QueueManager Job隊列管理對象
　　11.6 JobInProgress正在處理的作業(yè)
　　11.7 JobTracker對JobClient提交的作業(yè)的處理
　　11.8 JobTracker的啟動以及Job的初始化
　　11.9 JobTracker的其他源代碼分析
　　11.10 JobTracker中的作業(yè)恢復(fù)管理器RecoveryManager
　　11.11 JobInProgressListener和JobQueueJobInProgressListener
　　11.12 小結(jié)
　第12章 Hadoop的作業(yè)調(diào)度器
　　12.1 Hadoop作業(yè)調(diào)度器概述
　　12.2 TaskScheduler調(diào)度器的抽象父類
　　12.3 JobQueueTaskScheduler FIFO調(diào)度器
　　12.4 LimitTasksPerJobTaskScheduler任務(wù)數(shù)限制FIFO調(diào)度器
　　12.5 CapacityTaskScheduler計算能力調(diào)度器
　　12.6 FairScheduler公平調(diào)度器
　　12.7 小結(jié)
　第13章 TaskTracker的執(zhí)行過程
　　13.1 TaskTracker的啟動
　　13.2 TaskTracker與JobTracker進行通信的組件InterTrackerProtocol
　　13.3 JobTracker返回給TaskTracker的Action的類型
　　13.4 TaskTracker向JobTracker發(fā)送心跳的過程
　　13.5 TaskTracker的任務(wù)處理過程
　　13.6 TaskTracker的其他源代碼分析
　　13.7 TaskStatus任務(wù)的狀態(tài)信息
　　13.8 TaskInProgress正在處理的任務(wù)
　　13.9 Task所有任務(wù)的父類
　　13.10 MapTask執(zhí)行過程概述
　　13.11 MapOutputBuffer Map輸出緩沖區(qū)
　　13.12 ReduceTask執(zhí)行過程概述
　　13.13 ReduceCopier Reduce的Copy和Merge執(zhí)行工具
　　13.14 小結(jié)
　第14章 Hadoop的RPC協(xié)議
　　14.1 Hadoop RPC概念概述
　　14.2 RPC協(xié)議接口
　　　14.2.1 ClientDatanodeProtocol客戶端與DataNode進行通信的協(xié)議
　　　14.2.2 ClientProtocol客戶端和NameNode進行通信的協(xié)議
　　　14.2.3 DatanodeProtocol DataNode與NameNode進行通信的協(xié)議
　　　14.2.4 InterDatanodeProtocol DataNode之間進行通信的協(xié)議
　　　14.2.5 NamenodeProtocol SecondaryNameNode與NameNode進行通信的協(xié)議
　　　14.2.6 InterTrackerProtocol TaskTracker與JobTracker進行通信的協(xié)議
　　　14.2.7 JobSubmissionProtocol JobClient與JobTracker進行通信的協(xié)議
　　　14.2.8 TaskUmbilicalProtocol Child進程與TaskTracker父進程進行通信的協(xié)議
　　14.3 RPC的客戶端和服務(wù)器端的實現(xiàn)
　　　14.3.1 Client客戶端
　　　14.3.2 Server服務(wù)端
　　14.4 小結(jié)