注冊 | 登錄讀書好,好讀書,讀好書!
讀書網(wǎng)-DuShu.com
當(dāng)前位置: 首頁出版圖書科學(xué)技術(shù)計(jì)算機(jī)/網(wǎng)絡(luò)家庭與辦公軟件大數(shù)據(jù)平臺(tái)異常檢測分析系統(tǒng)的若干關(guān)鍵技術(shù)研究

大數(shù)據(jù)平臺(tái)異常檢測分析系統(tǒng)的若干關(guān)鍵技術(shù)研究

大數(shù)據(jù)平臺(tái)異常檢測分析系統(tǒng)的若干關(guān)鍵技術(shù)研究

定 價(jià):¥89.00

作 者: 肖如良 著
出版社: 電子工業(yè)出版社
叢編項(xiàng):
標(biāo) 簽: 暫缺

ISBN: 9787121352225 出版時(shí)間: 2020-06-01 包裝: 平裝
開本: 16開 頁數(shù): 204 字?jǐn)?shù):  

內(nèi)容簡介

  大數(shù)據(jù)技術(shù)生態(tài)體系中的各類技術(shù)構(gòu)件本身沒有可自省的安全機(jī)制,構(gòu)件間使用的RPC協(xié)議也沒有安全機(jī)制,大數(shù)據(jù)平臺(tái)的安全性面臨著巨大挑戰(zhàn),如何高效、快速地檢測大數(shù)據(jù)平臺(tái)中的應(yīng)用異常對提高大數(shù)據(jù)平臺(tái)的安全性具有重要意義。本書在介紹相關(guān)研究工作及相關(guān)基礎(chǔ)內(nèi)容之后,主要針對大數(shù)據(jù)平臺(tái)的應(yīng)用層日志數(shù)據(jù),研究了平臺(tái)異常的檢測與分析問題,構(gòu)建了大數(shù)據(jù)平臺(tái)異常的離線檢測分析的方法體系及實(shí)時(shí)檢測的機(jī)制。研究了基于數(shù)據(jù)流二重概念漂移檢測的增量學(xué)習(xí)、分布式日志的**頻繁序列模式挖掘算法、基于**頻繁模式的動(dòng)態(tài)規(guī)則庫構(gòu)建算法、基于Web會(huì)話流的分布式實(shí)時(shí)異常定位算法、基于**信息系數(shù)的在線異常檢測算法、基于聚類分析的離線異常檢測算法、基于相鄰請求的動(dòng)態(tài)時(shí)間閾值會(huì)話識(shí)別算法、基于會(huì)話特征相似性模糊聚類的SFAD異常檢測算法、基于貝葉斯粒子群的異常檢測算法、平臺(tái)異常時(shí)的推測式任務(wù)調(diào)度策略、基于實(shí)時(shí)負(fù)載的推測式任務(wù)調(diào)度算法。分析了大數(shù)據(jù)平臺(tái)異常檢測分析(RADA)系統(tǒng)在實(shí)現(xiàn)時(shí)所采用的大數(shù)據(jù)技術(shù)與組件技術(shù)選型,針對RADA系統(tǒng)進(jìn)行了深入的結(jié)構(gòu)化分析,介紹了基于融合架構(gòu)的RADA系統(tǒng)概要設(shè)計(jì),研究了RADA系統(tǒng)的詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)方法,完整地總結(jié)了大數(shù)據(jù)平臺(tái)異常的實(shí)時(shí)檢測技術(shù)與分析RADA系統(tǒng)的關(guān)鍵技術(shù)。本書可為產(chǎn)業(yè)界與學(xué)術(shù)界相關(guān)人員提供應(yīng)用研發(fā)的幫助,可供計(jì)算機(jī)專業(yè)、軟件工程專業(yè)的相關(guān)工程技術(shù)人員、研究人員學(xué)習(xí)、參考。

作者簡介

  肖如良,福建師范大學(xué)軟件學(xué)院教授,中國通信學(xué)會(huì)云計(jì)算機(jī)專委委員、中國計(jì)算機(jī)學(xué)會(huì)學(xué)術(shù)工委委員、福建省人工智能學(xué)會(huì)常務(wù)理事,中國計(jì)算機(jī)學(xué)會(huì)高級會(huì)員,IEEE計(jì)算機(jī)學(xué)會(huì)會(huì)員、ACM會(huì)員。福建師范大學(xué)智能軟件工程中心Web智能新技術(shù)研發(fā)實(shí)驗(yàn)室負(fù)責(zé)人,多個(gè)期刊及多個(gè)國際會(huì)議的論文審稿人。

圖書目錄

第1章 緒論 1
1.1 大數(shù)據(jù)平臺(tái)異常檢測分析研究的背景與意義 1
1.2 大數(shù)據(jù)平臺(tái)異常檢測分析技術(shù)的國內(nèi)外相關(guān)研究進(jìn)展 3
1.2.1 大數(shù)據(jù)平臺(tái)異常檢測分析技術(shù)的國內(nèi)外研究現(xiàn)狀 3
1.2.2 大數(shù)據(jù)平臺(tái)異常檢測分析系統(tǒng)的國內(nèi)外研究現(xiàn)狀 5
1.3 本書的主要貢獻(xiàn) 7
1.4 本書的組織結(jié)構(gòu) 8
1.5 本章小結(jié) 11
第2章 大數(shù)據(jù)平臺(tái)異常檢測分析的相關(guān)基礎(chǔ) 12
2.1 引言 12
2.2 日志 12
2.3 日志預(yù)處理 13
2.4 異常檢測 14
2.4.1 異常檢測的定義 14
2.4.2 幾類常見的異常檢測算法 14
2.5 入侵檢測Snort系統(tǒng) 16
2.6 Web用戶行為模式挖掘 17
2.7 本章小結(jié) 19
第3章 基于數(shù)據(jù)流二重概念漂移檢測的增量學(xué)習(xí) 20
3.1 引言 20
3.2 二重概念漂移檢測機(jī)制 20
3.3 基于數(shù)據(jù)屬性的二重概念漂移檢測機(jī)制 21
3.4 基于分類性能的二重概念漂移檢測機(jī)制 22
3.5 基于增量SVM與二重檢測的概念漂移數(shù)據(jù)流分類模型TDD-ISVM 23
3.6 TDD-ISVM算法的時(shí)間復(fù)雜度分析 25
3.7 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析 26
3.7.1 實(shí)驗(yàn)數(shù)據(jù)集 26
3.7.2 實(shí)驗(yàn)結(jié)果與分析 26
3.8 本章小結(jié) 29
第4章 分布式日志的最大頻繁序列模式挖掘算法 31
4.1 引言 31
4.2 序列模式挖掘相關(guān)工作 32
4.3 動(dòng)機(jī)與背景 33
4.3.1 使用分布式計(jì)算框架的動(dòng)機(jī)與背景 33
4.3.2 使用PrefixSpan算法挖掘序列模式的動(dòng)機(jī)與背景 34
4.3.3 改進(jìn)PrefixSpan算法提取局部最大頻繁序列的動(dòng)機(jī)與背景 34
4.3.4 改進(jìn)PrefixSpan算法提取全局最大頻繁序列的動(dòng)機(jī)與背景 35
4.4 分布式日志最大頻繁序列模式挖掘算法描述 35
4.4.1 基于Spark的分布式計(jì)算框架 35
4.4.2 算法總體描述 36
4.4.3 算法第一階段:各節(jié)點(diǎn)提取局部最大頻繁序列 37
4.4.4 算法第二階段:各節(jié)點(diǎn)集成,提取全局最大頻繁序列 37
4.5 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析 38
4.5.1 實(shí)驗(yàn)數(shù)據(jù)集 38
4.5.2 實(shí)驗(yàn)結(jié)果與分析 38
4.6 本章小結(jié) 41
第5章 基于最大頻繁模式的動(dòng)態(tài)規(guī)則庫構(gòu)建算法 42
5.1 引言 42
5.2 動(dòng)態(tài)Web用戶訪問序列數(shù)據(jù)庫DWASD的構(gòu)建 43
5.3 基于DWASD的分布式PrefixSpan算法 44
5.3.1 PrefixSpan算法改進(jìn)描述 44
5.3.2 算法的時(shí)間復(fù)雜度分析 46
5.4 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析 46
5.4.1 實(shí)驗(yàn)數(shù)據(jù)集 46
5.4.2 實(shí)驗(yàn)結(jié)果與分析 46
5.5 本章小結(jié) 48
第6章 基于Web會(huì)話流的分布式實(shí)時(shí)異常定位算法 49
6.1 引言 49
6.2 基于Web會(huì)話流的實(shí)時(shí)異常定位框架 50
6.3 基于混合生物基因序列比對的異常定位AL_HBGSA算法 50
6.3.1 基本概念 51
6.3.2 AL_HBGSA序列比對算法 51
6.3.3 AL_HBGSA算法的時(shí)間復(fù)雜度分析 54
6.4 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析 54
6.4.1 實(shí)驗(yàn)數(shù)據(jù)集 54
6.4.2 實(shí)驗(yàn)結(jié)果與分析 55
6.5 本章小結(jié) 59
第7章 基于最大信息系數(shù)的在線異常檢測算法 60
7.1 引言 60
7.2 相關(guān)基礎(chǔ) 60
7.2.1 用戶活躍度 60
7.2.2 最大信息系數(shù) 61
7.3 基于最大信息系數(shù)的在線異常檢測算法介紹 62
7.4 算法的時(shí)間復(fù)雜度分析 64
7.5 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析 64
7.5.1 實(shí)驗(yàn)數(shù)據(jù)集 64
7.5.2 實(shí)驗(yàn)結(jié)果與分析 65
7.6 本章小結(jié) 68
第8章 基于聚類分析的離線異常檢測算法 69
8.1 引言 69
8.2 基本聚類算法 69
8.2.1 K-means聚類算法 69
8.2.2 Canopy聚類算法 70
8.2.3 CMBK聚類算法 71
8.3 基于改進(jìn)聚類分析的離線異常檢測算法 72
8.3.1 異常指數(shù) 72
8.3.2 CMBK4AD離線異常檢測算法 73
8.4 算法的時(shí)間復(fù)雜度分析 73
8.5 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析 73
8.5.1 實(shí)驗(yàn)數(shù)據(jù)集 74
8.5.2 實(shí)驗(yàn)結(jié)果與分析 74
8.6 本章小結(jié) 76
第9章 基于相鄰請求的動(dòng)態(tài)時(shí)間閾值會(huì)話識(shí)別算法 77
9.1 引言 77
9.2 相關(guān)基礎(chǔ) 78
9.2.1 頁面訪問時(shí)間閾值 78
9.2.2 用戶訪問時(shí)間閾值 78
9.2.3 設(shè)置頁面時(shí)間閾值 79
9.3 DAITS算法 79
9.4 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析 81
9.4.1 實(shí)驗(yàn)數(shù)據(jù)集 81
9.4.2 實(shí)驗(yàn)結(jié)果與分析 81
9.5 本章小結(jié) 82
第10章 基于會(huì)話特征相似性模糊聚類的SFAD異常檢測算法 83
10.1 引言 83
10.2 基本工作 85
10.2.1 會(huì)話特征中網(wǎng)絡(luò)權(quán)重的計(jì)算 85
10.2.2 會(huì)話特征相似性的計(jì)算 85
10.2.3 會(huì)話數(shù)據(jù)集的模糊聚類方法 86
10.3 會(huì)話特征相似性模糊聚類的異常檢測算法 87
10.3.1 會(huì)話的數(shù)據(jù)結(jié)構(gòu)及生成 87
10.3.2 建立用戶相似性矩陣 88
10.3.3 檢測和定位異常用戶 88
10.4 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析 89
10.4.1 數(shù)據(jù)集描述 89
10.4.2 實(shí)驗(yàn)結(jié)果與分析 90
10.5 本章小結(jié) 93
第11章 基于貝葉斯粒子群的異常檢測算法 94
11.1 引言 94
11.2 基于樸素貝葉斯分類的異常檢測模型ADM-NBC 95
11.2.1 用戶會(huì)話特征提取 95
11.2.2 ADM-NBC的構(gòu)建 96
11.3 基于ADM-NBC的WNB-PSO算法 97
11.3.1 加權(quán)樸素貝葉斯分類算法 97
11.3.2 粒子群優(yōu)化算法 97
11.3.3 改進(jìn)的粒子群優(yōu)化算法 99
11.3.4 WNB-PSO算法描述 99
11.4 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析 101
11.4.1 實(shí)驗(yàn)數(shù)據(jù)集 101
11.4.2 實(shí)驗(yàn)結(jié)果與分析 101
11.5 本章小結(jié) 104
第12章 平臺(tái)異常時(shí)的推測式任務(wù)調(diào)度策略 105
12.1 引言 105
12.2 多用戶作業(yè)調(diào)度器 105
12.2.1 公平調(diào)度器 105
12.2.2 計(jì)算能力調(diào)度器 107
12.3 推測執(zhí)行調(diào)度算法 109
12.3.1 Hadoop-Original推測執(zhí)行調(diào)度算法 110
12.3.2 LATE推測執(zhí)行調(diào)度算法 110
12.3.3 基于備份任務(wù)完成時(shí)間的推測執(zhí)行調(diào)度策略 111
12.3.4 Mantri系統(tǒng)推測執(zhí)行調(diào)度策略 112
12.4 本章小結(jié) 112
第13章 基于實(shí)時(shí)負(fù)載的推測式任務(wù)調(diào)度算法 113
13.1 引言 113
13.1.1 Hadoop-Original推測式任務(wù)調(diào)度算法的不足 113
13.1.2 LATE推測式任務(wù)調(diào)度算法的不足 113
13.2 推測式任務(wù)調(diào)度算法改進(jìn) 114
13.2.1 基于混合進(jìn)度比的任務(wù)進(jìn)度估算方法 114
13.2.2 慢任務(wù)判定方法 115
13.2.3 慢節(jié)點(diǎn)判定方法 116
13.3 節(jié)點(diǎn)負(fù)載分級模型 117
13.4 基于實(shí)時(shí)負(fù)載的推測式任務(wù)調(diào)度算法流程 119
13.5 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析 120
13.5.1 實(shí)驗(yàn)平臺(tái)及部署 120
13.5.2 測試作業(yè)選擇及評估方式 121
13.5.3 實(shí)驗(yàn)方案 122
13.5.4 實(shí)驗(yàn)結(jié)果與分析 122
13.6 本章小結(jié) 126
第14章 大數(shù)據(jù)Lambda架構(gòu)與微服務(wù)架構(gòu)技術(shù)選型 127
14.1 引言 127
14.2 大數(shù)據(jù)技術(shù)Lambda架構(gòu) 127
14.2.1 Hadoop技術(shù)基礎(chǔ) 127
14.2.2 Spark技術(shù)生態(tài)體系 129
14.2.3 基于Flume+Kafka的大數(shù)據(jù)收集組件 130
14.2.4 基于Spark的大數(shù)據(jù)處理組件 131
14.2.5 基于HBase的大數(shù)據(jù)存儲(chǔ)與管理組件 131
14.2.6 基于MLlib的大數(shù)據(jù)分析及挖掘組件 131
14.2.7 基于Spark Streaming的大數(shù)據(jù)流處理組件 132
14.3 微服務(wù)架構(gòu)的有關(guān)組件技術(shù)選型 132
14.3.1 微服務(wù)架構(gòu) 132
14.3.2 Spring Boot 133
14.3.3 MyBatis 133
14.3.4 Spring Cloud 134
14.4 本章小結(jié) 135
第15章 大數(shù)據(jù)平臺(tái)異常檢測分析系統(tǒng)的結(jié)構(gòu)化分析 136
15.1 引言 136
15.2 問題與場景描述 136
15.3 初步需求分析 137
15.4 系統(tǒng)數(shù)據(jù)流 137
15.4.1 頂層數(shù)據(jù)流 137
15.4.2 第一層數(shù)據(jù)流 138
15.4.3 第二層數(shù)據(jù)流 138
15.4.4 第三層數(shù)據(jù)流 139
15.5 功能需求 139
15.6 非功能需求 140
15.7 本章小結(jié) 140
第16章 基于融合架構(gòu)的RADA系統(tǒng)概要設(shè)計(jì) 141
16.1 引言 141
16.1.1 RADA系統(tǒng)邏輯架構(gòu)的初步構(gòu)建 141
16.1.2 RADA系統(tǒng)物理架構(gòu)的初步構(gòu)建 141
16.2 RADA系統(tǒng)邏輯架構(gòu)設(shè)計(jì) 142
16.2.1 基于微服務(wù)架構(gòu)的RADA系統(tǒng)邏輯架構(gòu)設(shè)計(jì) 143
16.2.2 基于Lambda架構(gòu)的RADA系統(tǒng)邏輯架構(gòu)設(shè)計(jì) 143
16.2.3 基于微服務(wù)架構(gòu)和Lambda架構(gòu)的RADA系統(tǒng)技術(shù)架構(gòu)設(shè)計(jì) 143
16.3 運(yùn)行部署環(huán)境 144
16.3.1 系統(tǒng)運(yùn)行網(wǎng)絡(luò)環(huán)境 144
16.3.2 系統(tǒng)運(yùn)行硬件環(huán)境 145
16.3.3 系統(tǒng)運(yùn)行軟件環(huán)境 145
16.4 日志預(yù)處理子系統(tǒng)概要設(shè)計(jì) 145
16.4.1 上傳離線日志 146
16.4.2 處理離線日志 147
16.4.3 獲取實(shí)時(shí)日志 148
16.4.4 處理實(shí)時(shí)日志 148
16.4.5 日志規(guī)范化 149
16.4.6 處理規(guī)范化日志 150
16.4.7 添加日志模板 151
16.4.8 處理日志模板 152
16.5 監(jiān)控告警子系統(tǒng)概要設(shè)計(jì) 153
16.5.1 設(shè)置告警方式 154
16.5.2 離線異常檢測 154
16.5.3 實(shí)時(shí)異常檢測 156
16.5.4 查詢異常信息 156
16.5.5 更新規(guī)則庫 156
16.6 數(shù)據(jù)庫設(shè)計(jì) 158
16.6.1 數(shù)據(jù)庫實(shí)體關(guān)系分析 158
16.6.2 數(shù)據(jù)字典 159
16.7 本章小結(jié) 162
第17章 RADA系統(tǒng)的詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)方法 163
17.1 引言 163
17.2 RADA系統(tǒng)架構(gòu)的實(shí)現(xiàn)機(jī)制 163
17.2.1 RADA系統(tǒng)中微服務(wù)架構(gòu)的實(shí)現(xiàn) 163
17.2.2 RADA系統(tǒng)中Lambda架構(gòu)的實(shí)現(xiàn) 164
17.3 日志預(yù)處理的詳細(xì)設(shè)計(jì) 164
17.3.1 控制層設(shè)計(jì) 164
17.3.2 服務(wù)層設(shè)計(jì) 166
17.3.3 持久化層設(shè)計(jì) 168
17.4 監(jiān)控告警模塊的詳細(xì)設(shè)計(jì) 169
17.4.1 控制層設(shè)計(jì) 169
17.4.2 服務(wù)層設(shè)計(jì) 170
17.4.3 持久層設(shè)計(jì) 171
17.5 核心用例的實(shí)現(xiàn) 172
17.5.1 上傳離線日志 172
17.5.2 離線日志規(guī)范化處理 173
17.5.3 離線異常檢測 174
17.5.4 獲取實(shí)時(shí)日志 177
17.5.5 實(shí)時(shí)日志規(guī)范化處理 178
17.5.6 實(shí)時(shí)異常檢測 178
17.6 本章小結(jié) 179
第18章 總結(jié)與展望 180
18.1 總結(jié) 180
18.2 展望 181
附錄A 182
參考文獻(xiàn) 185

本目錄推薦

掃描二維碼
Copyright ? 讀書網(wǎng) m.ranfinancial.com 2005-2020, All Rights Reserved.
鄂ICP備15019699號 鄂公網(wǎng)安備 42010302001612號