Flume日志收集與MapReduce模式

定　價(jià)：￥39.00

作　者：	（美）史蒂夫·霍夫曼（Steve Hoffman）
出版社：	機(jī)械工業(yè)出版社
叢編項(xiàng)：
標(biāo)　簽：	計(jì)算機(jī)/網(wǎng)絡(luò) 計(jì)算機(jī)體系結(jié)構(gòu)

購(gòu)買這本書可以去

ISBN：	9787111502074	出版時(shí)間：	2015-06-01	包裝：
開本：		頁(yè)數(shù)：		字?jǐn)?shù)：

內(nèi)容簡(jiǎn)介

　　本書分為上下兩篇，其中上篇介紹了HDFS以及流式數(shù)據(jù)/日志的問(wèn)題，同時(shí)還談到了Flume是如何解決這些問(wèn)題的。本書展示了Flume的架構(gòu)，包括將數(shù)據(jù)移動(dòng)到數(shù)據(jù)庫(kù)中以及從數(shù)據(jù)庫(kù)中獲取數(shù)據(jù)、NoSQL數(shù)據(jù)存儲(chǔ)和性能調(diào)優(yōu)。對(duì)于各個(gè)架構(gòu)組件（源、通道、接收器、通道處理器、接收器組等），都提供了詳盡的各種實(shí)現(xiàn)以及配置選項(xiàng)，你可以借此根據(jù)自己的需要來(lái)定制Flume。同時(shí)，還介紹了如何編寫自定義的實(shí)現(xiàn)，這將有助于你的學(xué)習(xí)與實(shí)現(xiàn)。下篇簡(jiǎn)潔明快地介紹了Hadoop以及如何使用MapReduce進(jìn)行編程，旨在幫助讀者快速起步并對(duì)使用Hadoop進(jìn)行編程有個(gè)總體的認(rèn)識(shí)，通過(guò)本書的學(xué)習(xí)，你將具備堅(jiān)實(shí)的基礎(chǔ)并可以解決遇到的各種MapReduce問(wèn)題。

作者簡(jiǎn)介

暫缺《Flume日志收集與MapReduce模式》作者簡(jiǎn)介

圖書目錄

目錄 Contents
譯者序
前言
上篇 Flume日志收集
第1章概覽與架構(gòu) 2
1.1 Flume 0.9 3
1.2 Flume 1.X（FlumeNG） 4
1.3 HDFS與流式數(shù)據(jù)/日志的問(wèn)題 5
1.4 源、通道與接收器 6
1.5 Flume事件 7
1.5.1 攔截器、通道選擇器與選擇處理器 8
1.5.2 分層數(shù)據(jù)收集（多數(shù)據(jù)流與代理） 9
1.6 小結(jié) 10
第2章 Flume快速起步 11
2.1 下載Flume 11
2.2 Flume配置文件概覽 13
2.3 從“Hello World”開始 15
2.4 小結(jié) 20
第3章通道 22
3.1 內(nèi)存通道 23
3.2 文件通道 25
3.3 小結(jié) 29
第4章接收器與接收處理器 31
4.1 HDFS接收器 31
4.1.1 路徑與文件名 34
4.1.2 文件轉(zhuǎn)儲(chǔ) 37
4.2 壓縮編解碼器 38
4.3 事件序列化器 38
4.3.1 文本輸出 39
4.3.2 帶有頭信息的文本 39
4.3.3 Apache Avro 39
4.3.4 文件類型 41
4.3.5 超時(shí)設(shè)置與線程池 43
4.4 接收器組 44
4.4.1 負(fù)載均衡 45
4.4.2 故障恢復(fù) 45
4.5 小結(jié) 46
第5章源與通道選擇器 48
5.1 使用tail的問(wèn)題 48
5.2 exec源 50
5.3 假脫機(jī)目錄源 53
5.4 syslog源 55
5.4.1 syslog UDP源 56
5.4.2 syslog TCP源 58
5.4.3 多端口syslog TCP源 59
5.5 通道選擇器 61
5.5.1 復(fù)制 62
5.5.2 多路復(fù)用 62
5.6 小結(jié) 63
第6章攔截器、ETL與路由 65
6.1 攔截器 65
6.1.1 Timestamp 66
6.1.2 Host 67
6.1.3 Static 68
6.1.4 正則表達(dá)式過(guò)濾 69
6.1.5 正則表達(dá)式抽取 70
6.1.6 自定義攔截器 74
6.2 數(shù)據(jù)流分層 75
6.2.1 Avro源/接收器 76
6.2.2 命令行Avro 78
6.2.3 Log4J追加器 79
6.2.4 負(fù)載均衡Log4J追加器 81
6.3 路由 82
6.4 小結(jié) 83
第7章監(jiān)控Flume 85
7.1 監(jiān)控代理進(jìn)程 86
7.1.1 Monit 86
7.1.2 Nagios 86
7.2 監(jiān)控性能度量情況 87
7.2.1 Ganglia 87
7.2.2 內(nèi)部HTTP服務(wù)器 89
7.2.3 自定義監(jiān)控鉤子 91
7.3 小結(jié) 92
第8章萬(wàn)法皆空——實(shí)時(shí)分布式數(shù)據(jù)收集的現(xiàn)狀 93
8.1 傳輸時(shí)間與日志事件 94
8.2 萬(wàn)惡的時(shí)區(qū) 94
8.3 容量規(guī)劃 95
8.4 多數(shù)據(jù)中心的注意事項(xiàng) 96
8.5 合規(guī)性與數(shù)據(jù)失效 97
8.6 小結(jié) 98
下篇 MapReduce模式
第9章使用Java編寫一個(gè)單詞統(tǒng)計(jì)應(yīng)用（初級(jí)） 102
9.1 準(zhǔn)備工作 102
9.2 操作步驟 103
9.3 示例說(shuō)明 103
第10章使用MapReduce編寫一個(gè)單詞統(tǒng)計(jì)應(yīng)用并運(yùn)行（初級(jí)） 105
10.1 準(zhǔn)備工作 105
10.2 操作步驟 106
10.3 示例說(shuō)明 106
10.4 補(bǔ)充說(shuō)明 109
第11章在分布式環(huán)境中安裝Hadoop并運(yùn)行單詞統(tǒng)計(jì)應(yīng)用（初級(jí)） 110
11.1 準(zhǔn)備工作 111
11.2 操作步驟 112
11.3 示例說(shuō)明 116
第12章編寫格式化器（中級(jí)） 117
12.1 準(zhǔn)備工作 118
12.2 操作步驟 118
12.3 示例說(shuō)明 119
12.4 補(bǔ)充說(shuō)明 121
第13章分析——使用MapReduce繪制頻度分布（中級(jí)） 122
13.1 準(zhǔn)備工作 123
13.2 操作步驟 123
13.3 示例說(shuō)明 125
13.4 補(bǔ)充說(shuō)明 128
第14章關(guān)系操作——使用MapReduce連接兩個(gè)數(shù)據(jù)集（高級(jí)） 129
14.1 準(zhǔn)備工作 130
14.2 操作步驟 130
14.3 示例說(shuō)明 131
14.4 補(bǔ)充說(shuō)明 134
第15章使用MapReduce實(shí)現(xiàn)集合操作（中級(jí)） 135
15.1 準(zhǔn)備工作 135
15.2 操作步驟 136
15.3 示例說(shuō)明 137
15.4 補(bǔ)充說(shuō)明 140
第16章使用MapReduce實(shí)現(xiàn)交叉相關(guān)（中級(jí)） 141
16.1 準(zhǔn)備工作 141
16.2 操作步驟 142
16.3 示例說(shuō)明 142
16.4 補(bǔ)充說(shuō)明 145
第17章使用MapReduce實(shí)現(xiàn)簡(jiǎn)單搜索（中級(jí)） 146
17.1 準(zhǔn)備工作 147
17.2 操作步驟 147
17.3 示例說(shuō)明 148
17.4 補(bǔ)充說(shuō)明 150
第18章使用MapReduce實(shí)現(xiàn)簡(jiǎn)單的圖操作（高級(jí)） 151
18.1 準(zhǔn)備工作 152
18.2 操作步驟 152
18.3 示例說(shuō)明 153
18.4 補(bǔ)充說(shuō)明 157
第19章使用MapReduce實(shí)現(xiàn)Kmeans（高級(jí)） 158
19.1 準(zhǔn)備工作 159
19.2 操作步驟 159
19.3 示例說(shuō)明 160
19.4 補(bǔ)充說(shuō)明 164