注冊 | 登錄讀書好,好讀書,讀好書!
讀書網-DuShu.com
當前位置: 首頁出版圖書科學技術計算機/網絡家庭與辦公軟件Storm技術內幕與大數據實踐

Storm技術內幕與大數據實踐

Storm技術內幕與大數據實踐

定 價:¥49.00

作 者: 陳敏敏 等著
出版社: 人民郵電出版社
叢編項:
標 簽: 計算機/網絡 軟件工程/開發(fā)項目管理

購買這本書可以去


ISBN: 9787115388537 出版時間: 2015-05-01 包裝:
開本: 頁數: 字數:  

內容簡介

  《Storm技術內幕與大數據實踐》內容主要圍繞實時大數據系統(tǒng)的各個方面展開,從實時平臺總體介紹到集群源碼、運維監(jiān)控、實時系統(tǒng)擴展、以用戶畫像為主的數據平臺,最后到推薦、廣告、搜索等具體的大數據應用。書中提到的不少問題是實際生產環(huán)境中因為數據量增長而遇到的一些真實問題,對即將或正在運用實時系統(tǒng)處理大數據問題的團隊會有所幫助。

作者簡介

  陳敏敏 1號店個性精準化部門資深架構師,在此之前曾服務于微軟和三星電子等公司,長期從事大數據、搜索和推薦平臺相關工作。目前主要關注于NoSQL、實時計算框架、推薦、廣告投放等相關技術。王新春 大眾點評網數據平臺資深工程師,負責點評實時計算平臺相關工作,推動流式計算和實時計算在點評的應用和推廣,一直致力于大數據和分布式系統(tǒng)的研究和應用。目前主要從事NoSQL、實時分布式系統(tǒng)的研究與開發(fā)。黃奉線 1號店基礎架構部分布式存儲團隊負責人,推動流式計算在1號店的應用,獲得CTO特別獎,長期從事基礎架構相關工作。目前主要關注于NoSQL、開源、流式計算、分布式存儲等相關技術。

圖書目錄

第1章 緒論
 1.1 Storm的基本組件
  1.1.1 集群組成
  1.1.2 核心概念
  1.1.3 Storm的可靠性
  1.1.4 Storm的特性
 1.2 其他流式處理框架
  1.2.1 Apache S4
  1.2.2 Spark Streaming
  1.2.3 流計算和Storm的應用
第2章 實時平臺介紹
 2.1 實時平臺架構介紹
 2.2 Kafka架構
  2.2.1 Kafka的基本術語和概念
  2.2.2 Kafka在實時平臺中的應用
  2.2.3 消息的持久化和順序讀寫
  2.2.4 sendfile系統(tǒng)調用和零復制
  2.2.5 Kafka的客戶端
  2.2.6 Kafka的擴展
 2.3 大眾點評實時平臺
  2.3.1 相關數據
  2.3.2 實時平臺簡介
  2.3.3 Blackhole
 2.4 1號店實時平臺
第3章 Storm集群部署和配置
 3.1 Storm的依賴組件
 3.2 Storm的部署環(huán)境
 3.3 部署Storm服務
  3.3.1 部署ZooKeeper
  3.3.2 部署Storm
  3.3.3 配置Storm
 3.4 啟動Storm
 3.5 Storm的守護進程
 3.6 部署Storm的其他節(jié)點
 3.7 提交Topology
第4章 Storm內部剖析
 4.1 Storm客戶端
 4.2 Nimbus
  4.2.1 啟動Nimbus服務
  4.2.2 Nimbus服務的執(zhí)行過程
  4.2.3 分配Executor
  4.2.4 調度器
  4.2.5 默認調度器DefaultScheduler
  4.2.6 均衡調度器EvenScheduler
 4.3 Supervisor
  4.3.1 ISupervisor接口
  4.3.2 Supervisor的共享數據
  4.3.3 Supervisor的執(zhí)行過程
 4.4 Worker
  4.4.1 Worker中的數據流
  4.4.2 創(chuàng)建Worker的過程
 4.5 Executor
  4.5.1 Executor的創(chuàng)建
  4.5.2 創(chuàng)建Spout的Executor
  4.5.3 創(chuàng)建Bolt的Executor
 4.6 Task
  4.6.1 Task的上下文對象
  4.6.2 Task的創(chuàng)建
 4.7 Storm中的統(tǒng)計
  4.7.1 stats框架
  4.7.2 metric框架
 4.8 Ack框架
  4.8.1 Ack的原理
  4.8.2 Acker Bolt
 4.9 Storm總體架構
第5章 Storm運維和監(jiān)控
 5.1 主機信息監(jiān)控
 5.1 日志和監(jiān)控
 5.2 Storm UI和NimbusClient
 5.3 Storm Metric的使用
 5.4 Storm ZooKeeper的目錄
 5.5 Storm Hook的使用
第6章 Storm的擴展
 6.1 Storm UI的擴展
  6.1.1 Storm UI原生功能
  6.1.2 Storm UI新功能需求
  6.1.3 Storm的Thrift接口
 6.2 資源隔離
  6.2.1 CGroup測試
  6.2.2 基于CGroup的資源隔離的實現(xiàn)
第7章 Storm開發(fā)
 7.1 簡單示例
 7.2 調試和日志
 7.3 Storm Trident
 7.4 Strom DRPC
第8章 基于Storm的實時數據平臺
 8.1 Hadoop到Storm的代碼遷移經驗
 8.2 實時用戶畫像
  8.2.1 簡單實時畫像
  8.2.2 實時畫像優(yōu)化
  8.2.3 實時畫像的毫秒級更新
 8.3 其他場景畫像
 8.4 畫像的興趣度模型構建
 8.5 外部畫像融合經驗分享
 8.6 交互式查詢和分析用戶畫像
 8.7 實時產品和店鋪信息更新
第9章 大數據應用案例
 9.1 實時DAU計算
 9.2 實時個性化推薦
  9.2.1 推薦系統(tǒng)介紹
  9.2.2 實時推薦系統(tǒng)的方法
  9.2.3 基于Storm的實時推薦系統(tǒng)
 9.3 廣告投放的精準化
  9.3.1 點擊率預測
  9.3.2 搜索引擎營銷
  9.3.3 精準化營銷與千人千面
 9.4 實時意圖和搜索
  9.4.1 用戶意圖預測
  9.4.2 搜索比價
  9.4.3 搜索排序
第10章 Storm使用經驗和性能優(yōu)化
 10.1 使用經驗
  10.1.1 使用rebalance命令動態(tài)調整并發(fā)度
  10.1.2 使用tick消息做定時器
  10.1.3 使用組件的并行度代替線程池
  10.1.4 不要用DRPC批量處理大數據
  10.1.5 不要在Spout中處理耗時的操作
  10.1.6 log4j的使用技巧
  10.1.7 注意fieldsGrouping的數據均衡性
  10.1.8 優(yōu)先使用localOrShuffleGrouping
  10.1.9 設置合理的MaxSpoutPending值
  10.1.10 設置合理的Worker數
  10.1.11 平衡吞吐量和時效性
 10.2 性能優(yōu)化
  10.2.1 找到Topology的性能瓶頸
  10.2.2 GC參數優(yōu)化
  10.3 性能優(yōu)化原則
 附錄A Kafka原理
 附錄B 將Storm源碼導入Eclipse

本目錄推薦

掃描二維碼
Copyright ? 讀書網 m.ranfinancial.com 2005-2020, All Rights Reserved.
鄂ICP備15019699號 鄂公網安備 42010302001612號