實戰(zhàn)Elasticsearch、Logstash、Kibana：分布式大數(shù)據(jù)搜索與日志挖掘及可視化解決方案

2015年5月第1章概述
1.1Elasticsearch的安裝與簡單配置
1.2走近Elasticsearch
1.2.1Elasticsearch是什么
1.2.2Elasticsearch中涉及到的相關概念
1.2.3Elasticsearch API的簡單使用方式
1.2.4Elasticsearch RTF版本中的部分插件簡介
1.2.5Elasticsearch 基本架構
1.3Elasticsearch索引及其構建
1.3.1概述
1.3.2借助Head工具構建索引
1.3.3Mapping簡述
1.4信息檢索及其構建
1.5實例
1.6擴展知識與閱讀
1.7本章小結
第2章文檔索引及管理
2.1文檔索引概述
2.2建立索引
2.3通過映像Mapping配置索引
2.3.1在索引中使用映像
2.3.2管理/配置映像
2.3.3獲取映像信息
2.3.4刪除映像
2.4管理索引文件
2.4.1打開、關閉、檢測、刪除索引文件
2.4.2清空索引緩存
2.4.3刷新索引數(shù)據(jù)
[1][2][1][3]2.4.4優(yōu)化索引數(shù)據(jù)
2.4.5Flush操作
2.5設置中文分詞器
2.6對文檔的其他操作
2.6.1獲取指定的文檔信息
2.6.2刪除文檔中的信息
2.6.3數(shù)據(jù)更新
2.6.4基于POST方式批量獲取文檔
2.6.5刪除部分文檔
2.7擴展知識與閱讀
2.8本章小結
第3章信息檢索與結果過濾
3.1實驗數(shù)據(jù)集描述
3.2簡單檢索
3.3基本檢索
3.3.1設置不同字段的排序權重
3.3.2指定返回的字段子集
3.3.3Term查詢、Terms查詢、Wildcard通配符查詢
3.3.4Match、Match_all、Match_phrase查詢
3.3.5Query_string查詢
3.3.6Prefix、Range查詢
3.3.7More_like_this、Fuzzy_like_this查詢
3.3.8跨字段檢索
3.4Filter概述
3.5常用Filter及其應用
3.5.1And Filter及Or Filter
3.5.2Bool Filter
3.5.3Exists Filter和Missing Filter
3.5.4Type Filter
3.5.5Match_all Filter
3.5.6Not Filter
3.5.7Query Filter
3.6復合查詢
3.7結果排序
3.8擴展知識與閱讀
3.9本章小結
第4章信息統(tǒng)計分析與搜索提示
4.1Facets概述
4.2各種不同的Facets統(tǒng)計
4.2.1Terms Facets: 指定字段的分布情況統(tǒng)計
4.2.2Range Facets: 在某個范圍的分布情況統(tǒng)計
4.2.3Histogram Facets
4.2.4Date_histogram Facets
4.2.5Statistical Facets
4.2.6Terms_stats Facets
4.3Aggregations
4.3.1概述
4.3.2最值、求和、均值統(tǒng)計
4.3.3Stats Aggregations及Extended Stats Aggregations
4.3.4Terms Aggregations
4.3.5Range Aggregations
4.3.6Date_range Aggregations
4.3.7Histogram Aggregations
4.3.8Date_histogram Aggregations
4.3.9Filter Aggregations
4.3.10Missing Aggregations
4.4搜索提示
4.5擴展知識與閱讀
4.6本章小結
第5章Elasticsearch部分功能的Java客戶端實現(xiàn)
5.1Elasticsearch節(jié)點實例化
5.1.1通過Maven添加對Elasticsearch依賴
5.1.2初始化Elasticsearch Client
5.2索引數(shù)據(jù)
5.2.1準備JSON數(shù)據(jù)
5.2.2索引JSON數(shù)據(jù)
5.3對索引文檔的操作
5.3.1獲取索引文檔
5.3.2刪除索引文檔
5.3.3更新索引文檔
5.3.4批量操作索引文件
5.3.5簡單的統(tǒng)計操作
5.4信息檢索
5.4.1概述
5.4.2MultiSearch
5.4.3Query DSL概述
5.4.4MatchQuery
5.4.5MatchAllQuery
5.4.6MultiMatchQuery
5.4.7BoolQuery
5.4.8TermQuery
5.4.9WildcardQuery
5.4.10QueryString
5.4.11MoreLikeThis
5.4.12Filter概述
5.4.13TermFilter
5.4.14ExistsFilter
5.4.15MatchAllFilter
5.4.16QueryFilter
5.4.17RangeFilter
5.4.18TypeFilter
5.4.19過濾器間的組合: BoolFilter、NotFilter、OrFilter、AndFilter
5.5統(tǒng)計分析
5.5.1Facets
5.5.2Aggregations
5.6對檢索結果的進一步處理
5.6.1控制每頁的顯示數(shù)量及顯示排序依據(jù)
5.6.2基于Scroll方法的檢索結果及其分頁
5.6.3高亮顯示檢索詞
5.7擴展知識與閱讀
5.8本章小結
第6章Elasticsearch配置與集群管理
6.1Elasticsearch部分基本配置及其說明
6.2提高索引和查詢效率的策略
6.3監(jiān)控集群狀態(tài)
6.4控制索引分片與副本分配
6.5擴展知識與閱讀
6.6本章小結
第7章基于Logstash的日志處理
7.1概述
7.2Input: 處理輸入的日志數(shù)據(jù)
7.2.1處理基于File方式輸入的日志信息
7.2.2處理基于Generator產(chǎn)生的日志信息
7.2.3處理基于Log4j的日志信息
7.2.4處理基于Redis的日志信息
7.2.5處理基于Stdin方式輸入的信息
7.2.6處理基于TCP傳輸?shù)娜罩緮?shù)據(jù)
7.2.7處理基于UDP傳輸?shù)娜罩緮?shù)據(jù)
7.3Codecs: 格式化日志數(shù)據(jù)
7.3.1JSON格式
7.3.2Rubydebug格式
7.3.3Plain格式
7.4基于Filter的日志處理與轉(zhuǎn)換
7.4.1JSON Filter
7.4.2Grok Filter
7.4.3Kv Filter
7.5Output: 處理輸出的日志數(shù)據(jù)
7.5.1將處理后的日志輸出到Elasticsearch中
7.5.2將處理后的日志輸出至文件中
7.5.3將處理后的部分日志輸出到csv格式的文件中
7.5.4將處理后的日志輸出到redis中
7.5.5將處理后的部分日志通過UDP協(xié)議輸出
7.5.6將處理后的部分日志通過TCP協(xié)議輸出
7.5.7將收集到的日志信息傳輸?shù)阶远x的HTTP接口中
7.6擴展知識與閱讀
7.7本章小結
第8章基于Kibana的數(shù)據(jù)分析可視化
8.1安裝Kibana
8.2Kibana概述
8.2.1在儀表盤上添加新行
8.2.2在行中添加新面板
8.2.3設置Query和Filtering
8.3常用面板類型
8.3.1Histogram
8.3.2Table
8.3.3Map和Bettermap
8.3.4Terms
8.3.5Text
8.3.6Sparklines
8.3.7Trends
8.4網(wǎng)站性能監(jiān)控可視化應用的設計與實現(xiàn)
8.4.1概述
8.4.2Page View
8.4.3響應/請求時間
8.4.4流量走勢與統(tǒng)計
8.4.5狀態(tài)碼監(jiān)控
8.4.6UA行
8.5Kibana V4簡介
8.5.1新建視圖
8.5.2建立Dashboard
8.5.3配置
8.6擴展知識與閱讀
8.7本章小結
第9章網(wǎng)絡信息檢索與分析實踐
9.1信息采集
9.2基于Python的信息檢索及Web端設計
9.2.1安裝Python及Django
9.2.2安裝Elasticsearch的Python插件
9.2.3Web頁面設計
9.3基于Logstash的日志處理
9.3.1安裝和配置Nginx
9.3.2設計面向日志文件的Pattern
9.3.3在Logstash中進行相關配置
9.4基于Kibana的日志分析結果可視化設計與實現(xiàn)
9.4.1圖表1: 狀態(tài)碼走勢分析
9.4.2圖表2: 查詢詞分析
9.4.3圖表3: 分析各狀態(tài)碼隨時間的變遷情況
9.4.4集成上述圖表
9.5擴展知識與閱讀
9.6本章小結
參考文獻