分布式實(shí)時(shí)計(jì)算框架原理及實(shí)踐案例

定　價(jià)：￥79.00

作　者：	王成光
出版社：	電子工業(yè)出版社
叢編項(xiàng)：
標(biāo)　簽：	暫缺

購(gòu)買(mǎi)這本書(shū)可以去

ISBN：	9787121296208	出版時(shí)間：	2016-09-01	包裝：
開(kāi)本：	16開(kāi)	頁(yè)數(shù)：	292	字?jǐn)?shù)：

內(nèi)容簡(jiǎn)介

　　“授人以魚(yú)不如授人以漁”，《分布式實(shí)時(shí)計(jì)算框架原理及實(shí)踐案例》是作者以如此初心寫(xiě)成的，主要參考當(dāng)前主流分布式實(shí)時(shí)計(jì)算框架Storm的任務(wù)分發(fā)和Spark Streaming的Mini-Batch設(shè)計(jì)思想，以及底層實(shí)現(xiàn)技術(shù)，開(kāi)源了作者自研的輕量級(jí)分布式實(shí)時(shí)計(jì)算框架——Light_drtc，并且重點(diǎn)介紹設(shè)計(jì)思想和相關(guān)實(shí)現(xiàn)技術(shù)（Kafka/RabbitMQ、Redis/SSDB 、GuavaCache、MongoDB、HBase、ES／SolrCloud、Thrift、Avro、Jetty），最后從工程角度向大家介紹完整的個(gè)性化推薦系統(tǒng)，并實(shí)例介紹Light_drtc在用戶畫(huà)像實(shí)時(shí)更新的應(yīng)用?！斗植际綄?shí)時(shí)計(jì)算框架原理及實(shí)踐案例》描述淺顯易懂，希望讀者理解分布式實(shí)時(shí)計(jì)算的實(shí)現(xiàn)原理，并快速上手解決實(shí)際問(wèn)題。

作者簡(jiǎn)介

　　王成光，目前任職一點(diǎn)資訊研發(fā)架構(gòu)師，碩士畢業(yè)8年，曾先后任職窩窩團(tuán)、優(yōu)購(gòu)、搜狐、網(wǎng)易等架構(gòu)師、技術(shù)專家職位，專注于搜索、推薦、數(shù)據(jù)挖掘領(lǐng)域研發(fā)工作，涉足技術(shù)范圍：搜索：ES／SolrCloud分布式計(jì)算：Hadoop、Storm和SparkMQ： Kafka、RabbitMQ、ActiveMQ、ZeroMQNoSQL： Reids/SSDB、Mongo3.0、HBase1.0、AeroSpikeSOA微服務(wù)： RPC和Web Service

圖書(shū)目錄

第1 章分布式實(shí)時(shí)計(jì)算框架介紹.1
1.1 分布式計(jì)算Hadoop.1
1.2 分布式實(shí)時(shí)計(jì)算........3
1.2.1 Spark Streaming..3
1.2.2 Storm .......6
1.2.3 其他框架.8
1.3 為什么自研......8
1.4 總結(jié)......10
第2 章 light_drtc 簡(jiǎn)介及使用說(shuō)明......... 11
2.1 light_drtc 框架簡(jiǎn)介 11
2.2 light_drtc 代碼結(jié)構(gòu)12
2.3 light_drtc 重要配置項(xiàng).......14
2.4 light_drtc 和Storm 比較...15
2.5 light_drtc 使用說(shuō)明16
2.5.1 ACN（AN 和CN 整合）作為獨(dú)立服務(wù)....16
2.5.2 CN、AN 作為獨(dú)立服務(wù)........20
2.5.3 任務(wù)計(jì)算JN.....23
2.6 總結(jié)......26
第3 章 light_drtc 核心技術(shù)實(shí)現(xiàn)...27
3.1 light_drtc 技術(shù)架構(gòu)27
3.2 light_drtc 計(jì)算框架設(shè)計(jì)思想....30
3.2.1 CN 設(shè)計(jì)思想....30
3.2.2 AN 多主模式設(shè)計(jì)思想..........31
3.2.3 JN 設(shè)計(jì)思想.....34
3.3 light_drtc 核心技術(shù)的實(shí)現(xiàn).........36
3.3.1 實(shí)時(shí)收集數(shù)據(jù)CN.......36
3.3.2 任務(wù)協(xié)調(diào)管理AN.......40
3.3.3 任務(wù)計(jì)算JN.....49
3.4 總結(jié)......50
第4 章消息隊(duì)列MQ.51
4.1 消息隊(duì)列使用場(chǎng)景.51
4.2 消息隊(duì)列原理..........53
4.2.1 MQ 使用流程...53
4.2.2 MQ 基本概念...54
4.2.3 MQ 通信模式...55
4.2.4 目前知名MQ 比較.....56
4.3 MQ 消費(fèi)狀態(tài)監(jiān)控..61
4.3.1 KafkaOffsetMonitor 介紹.......62
4.3.2 KafkaOffsetMonitor 部署.......62
4.4 RabbitMQ 和Kafka 的基本使用.........64
4.4.1 RabbitMQ 讀寫(xiě)實(shí)例...64
4.4.2 Kafka 讀寫(xiě)實(shí)例68
4.5 總結(jié)......71
第5 章內(nèi)存數(shù)據(jù)庫(kù)Redis3.0 及SSDB..........72
5.1 Redis 相關(guān)介紹........72
5.1.1 Redis3.0 集群架構(gòu)......73
5.1.2 Redis3.0 集群選舉與容錯(cuò)......74
5.1.3 SSDB 簡(jiǎn)介.......75
5.2 Redis3.0 集群搭建..76
5.2.1 集群所依賴的Ruby 環(huán)境......77
5.2.2 Redis 集群創(chuàng)建77
5.2.3 Redis 集群驗(yàn)證78
5.2.4 SSDB 簡(jiǎn)單部署..........79
5.3 Redis 管理及使用...81
5.3.1 Redis 基本使用81
5.3.2 Redis 管理........83
5.4 Redis 客戶端應(yīng)用...86
5.4.1 Redis3.0 客戶端..........86
5.4.2 SSDB 客戶端...89
5.5 本地緩存Guava Cache.....90
5.5.1 認(rèn)識(shí)Guava Cache .......90
5.5.2 Guava Cache 使用.......91
5.5.3 Java 客戶端使用.........94
5.6 總結(jié)......97
第6 章 NoSQL：MongoDB3.0 和HBase1.0 .........98
6.1 MongoDB3.0 和HBase1.0 新特性......99
6.1.1 MongoDB3.0 新特性..99
6.1.2 HBase1.0 新特性.......102
6.1.3 MongoDB 和HBase 比較....104
6.2 MongoDB3.0 集群和索引........105
6.2.1 MongoDB3.0 集群....105
6.2.2 Mongo 索引介紹.......107
6.3 HBase 底層實(shí)現(xiàn)介紹......108
6.3.1 HBase 相關(guān)Hadoop 體系....108
6.3.2 HBase 系統(tǒng)架構(gòu)........ 110
6.4 Mongo 和HBase 客戶端使用. 113
6.4.1 Mongo 客戶端 113
6.4.2 HBase 客戶端. 119
6.5 總結(jié).....124
第7 章全文檢索：ElasticSearch2.x..125
7.1 認(rèn)識(shí)ElasticSearch 和Solr........125
7.1.1 ElasticSearch 和Solr 基本介紹......125
7.1.2 ES 基本概念...127
7.1.3 ES 和SolrCloud 集群結(jié)構(gòu)...129
7.1.4 ES 使用案例...130
7.2 ES 和Solr 比較分析.......131
7.2.1 ES 和Solr 發(fā)展比較.131
7.2.2 ES 和Solr 綜合比較.132
7.3 ES 集群介紹135
7.3.1 插件安裝........135
7.3.2 中文分詞安裝136
7.3.3 ES2.X 集群節(jié)點(diǎn)類型138
7.3.4 ES 配置事項(xiàng)...142
7.4 ES 客戶端使用......144
7.4.1 ES 客戶端連接..........145
7.4.2 ES 基本操作...146
7.4.3 ES 高級(jí)使用...150
7.5 ES 在自研框架中的作用..........154
7.6 總結(jié).....155
第8 章微服務(wù)架構(gòu)通信——RPC 和Web Service ........156
8.1 微服務(wù)架構(gòu)由來(lái)....156
8.1.1 微服務(wù)與SOA 比較..157
8.1.2 微服務(wù)架構(gòu)的優(yōu)缺點(diǎn)159
8.1.3 微服務(wù)雪崩效應(yīng)的防范.......161
8.2 RPC 介紹及實(shí)踐...163
8.2.1 Thrift/Nifty 介紹........163
8.2.2 Avro 介紹.......168
8.2.3 Dubbo/Dubbox 介紹..180
8.2.4 GRPC/ProtoBuf 介紹185
8.2.5 ZeroC ICE.......191
8.3 Web Service 介紹及實(shí)踐..........199
8.3.1 SOAP 和Rest .200
8.3.2 JWS（JDK 自身實(shí)現(xiàn)Web Service）........202
8.3.3 Jetty：嵌入式Servlet 容器..204
8.3.4 基于Spring MVC......206
8.3.5 其他Web Service 框架........ 211
8.4 總結(jié).....212
第9 章綜合實(shí)例：新聞推薦中的用戶畫(huà)像近實(shí)時(shí)更新213
9.1 個(gè)性化推薦系統(tǒng)組成.....213
9.1.1 用戶行為收集214
9.1.2 行為日志解析216
9.1.3 常用推薦算法221
9.1.4 用戶畫(huà)像數(shù)據(jù)倉(cāng)庫(kù)...245
9.1.5 元數(shù)據(jù)索引庫(kù)247
9.1.6 用戶推薦服務(wù)248
9.2 新聞推薦中用戶畫(huà)像近實(shí)時(shí)更新設(shè)計(jì)......248
9.2.1 新聞推薦中用戶畫(huà)像構(gòu)成...250
9.2.2 新聞推薦中用戶畫(huà)像標(biāo)簽數(shù)據(jù)字典.........251
9.2.3 新聞推薦用戶畫(huà)像實(shí)時(shí)更新流程..257
9.3 新聞推薦用戶畫(huà)像近實(shí)時(shí)更新技術(shù)實(shí)現(xiàn)..260
9.3.1 Storm 接入Kafka 實(shí)時(shí)計(jì)算實(shí)例...260
9.3.2 Spark Streaming 接入Kafka 實(shí)時(shí)計(jì)算實(shí)例........265
9.3.3 Light_drtc 接入Kafka..........270
9.3.4 用戶畫(huà)像實(shí)時(shí)更新核心實(shí)現(xiàn)..........270
9.4 總結(jié).....280