網(wǎng)絡(luò)安全態(tài)勢感知：提取、理解和預(yù)測

前言

第一部分　基礎(chǔ)知識

第1章　開啟網(wǎng)絡(luò)安全態(tài)勢感知的旅程 2

1.1　引言 2

1.2　網(wǎng)絡(luò)安全簡史 3

1.2.1　計算機(jī)網(wǎng)絡(luò) 3

1.2.2　惡意代碼 4

1.2.3　漏洞利用 6

1.2.4　高級持續(xù)性威脅 7

1.2.5　網(wǎng)絡(luò)安全設(shè)施 8

1.3　網(wǎng)絡(luò)安全態(tài)勢感知 10

1.3.1　為什么需要態(tài)勢感知 10

1.3.2　態(tài)勢感知的定義 12

1.3.3　網(wǎng)絡(luò)安全態(tài)勢感知的定義 13

1.3.4　網(wǎng)絡(luò)安全態(tài)勢感知參考模型 14

1.3.5　網(wǎng)絡(luò)安全態(tài)勢感知的周期 17

1.4　我國網(wǎng)絡(luò)安全態(tài)勢感知政策和發(fā)展 19

1.4.1　我國網(wǎng)絡(luò)安全態(tài)勢感知政策 19

1.4.2　我國網(wǎng)絡(luò)安全態(tài)勢感知的曲線發(fā)展歷程 20

1.5　國外先進(jìn)的網(wǎng)絡(luò)安全態(tài)勢感知經(jīng)驗 21

1.5.1　美國網(wǎng)絡(luò)安全態(tài)勢感知建設(shè)方式 21

1.5.2　美國網(wǎng)絡(luò)安全國家戰(zhàn)略 21

1.5.3　可信互聯(lián)網(wǎng)連接 22

1.5.4　信息安全持續(xù)監(jiān)控 23

1.5.5　可借鑒的經(jīng)驗 24

1.6　網(wǎng)絡(luò)安全態(tài)勢感知建設(shè)意見 24

第2章　大數(shù)據(jù)平臺和技術(shù) 26

2.1　引言 26

2.2　大數(shù)據(jù)基礎(chǔ) 27

2.2.1　大數(shù)據(jù)的定義和特點(diǎn) 27

2.2.2　大數(shù)據(jù)關(guān)鍵技術(shù) 28

2.2.3　大數(shù)據(jù)計算模式 28

2.3　大數(shù)據(jù)應(yīng)用場景 29

2.4　大數(shù)據(jù)主流平臺框架 30

2.4.1　Hadoop 30

2.4.2　Spark 32

2.4.3　Storm 33

2.5　大數(shù)據(jù)生態(tài)鏈的網(wǎng)絡(luò)安全態(tài)勢感知應(yīng)用架構(gòu) 34

2.6　大數(shù)據(jù)采集與預(yù)處理技術(shù) 34

2.6.1　傳感器 36

2.6.2　網(wǎng)絡(luò)爬蟲 37

2.6.3　日志收集系統(tǒng) 39

2.6.4　數(shù)據(jù)抽取工具 40

2.6.5　分布式消息隊列系統(tǒng) 42

2.7　大數(shù)據(jù)存儲與管理技術(shù) 46

2.7.1　分布式文件系統(tǒng) 46

2.7.2　分布式數(shù)據(jù)庫 50

2.7.3　分布式協(xié)調(diào)系統(tǒng) 53

2.7.4　非關(guān)系型數(shù)據(jù)庫 55

2.7.5　資源管理調(diào)度 57

2.8　大數(shù)據(jù)處理與分析技術(shù) 64

2.8.1　批量數(shù)據(jù)處理 64

2.8.2　交互式數(shù)據(jù)分析 67

2.8.3　流式計算 71

2.8.4　圖計算 74

2.8.5　高級數(shù)據(jù)查詢語言Pig 75

2.9　大數(shù)據(jù)可視化技術(shù) 76

2.9.1　大數(shù)據(jù)可視化含義 76

2.9.2　基本統(tǒng)計圖表 76

2.9.3　大數(shù)據(jù)可視化分類 77

2.9.4　高級分析工具 77

2.10　國外先進(jìn)的大數(shù)據(jù)實踐經(jīng)驗 78

2.10.1　大數(shù)據(jù)平臺 78

2.10.2　網(wǎng)絡(luò)分析態(tài)勢感知能力 79

第二部分　態(tài)勢提取

第3章　網(wǎng)絡(luò)安全數(shù)據(jù)范圍 82

3.1　引言 82

3.2　完整內(nèi)容數(shù)據(jù) 82

3.3　提取內(nèi)容數(shù)據(jù) 85

3.4　會話數(shù)據(jù) 86

3.5　統(tǒng)計數(shù)據(jù) 88

3.6　元數(shù)據(jù) 90

3.7　日志數(shù)據(jù) 93

3.8　告警數(shù)據(jù) 98

第4章　網(wǎng)絡(luò)安全數(shù)據(jù)采集 100

4.1　引言 100

4.2　制定數(shù)據(jù)采集計劃 100

4.3　主動式采集 102

4.3.1　通過SNMP采集數(shù)據(jù) 102

4.3.2　通過Telnet采集數(shù)據(jù) 103

4.3.3　通過SSH采集數(shù)據(jù) 103

4.3.4　通過WMI采集數(shù)據(jù) 104

4.3.5　通過多種文件傳輸協(xié)議采集數(shù)據(jù) 104

4.3.6　利用JDBC/ODBC采集數(shù)據(jù)庫信息 105

4.3.7　通過代理和插件采集數(shù)據(jù) 106

4.3.8　通過漏洞和端口掃描采集數(shù)據(jù) 107

4.3.9　通過“蜜罐”和“蜜網(wǎng)”采集數(shù)據(jù) 107

4.4　被動式采集 108

4.4.1　通過有線和無線采集數(shù)據(jù) 108

4.4.2　通過集線器和交換機(jī)采集數(shù)據(jù) 110

4.4.3　通過Syslog采集數(shù)據(jù) 112

4.4.4　通過SNMP Trap采集數(shù)據(jù) 112

4.4.5　通過NetFlow/IPFIX/sFlow采集流數(shù)據(jù) 113

4.4.6　通過Web Service/MQ采集數(shù)據(jù) 114

4.4.7　通過DPI/DFI采集和檢測數(shù)據(jù) 115

4.5　數(shù)據(jù)采集工具 116

4.6　采集點(diǎn)部署 117

4.6.1　需考慮的因素 117

4.6.2　關(guān)注網(wǎng)絡(luò)出入口點(diǎn) 118

4.6.3　掌握IP地址分布 118

4.6.4　靠近關(guān)鍵資產(chǎn) 119

4.6.5　創(chuàng)建采集全景視圖 119

第5章　網(wǎng)絡(luò)安全數(shù)據(jù)預(yù)處理 121

5.1　引言 121

5.2　數(shù)據(jù)預(yù)處理的主要內(nèi)容 121

5.2.1　數(shù)據(jù)審核 121

5.2.2　數(shù)據(jù)篩選 122

5.2.3　數(shù)據(jù)排序 122

5.3　數(shù)據(jù)預(yù)處理方法 123

5.4　數(shù)據(jù)清洗 123

5.4.1　不完整數(shù)據(jù) 124

5.4.2　不一致數(shù)據(jù) 124

5.4.3　噪聲數(shù)據(jù) 124

5.4.4　數(shù)據(jù)清洗過程 125

5.4.5　數(shù)據(jù)清洗工具 126

5.5　數(shù)據(jù)集成 126

5.5.1　數(shù)據(jù)集成的難點(diǎn) 126

5.5.2　數(shù)據(jù)集成類型層次 127

5.5.3　數(shù)據(jù)集成方法模式 128

5.6　數(shù)據(jù)歸約 129

5.6.1　特征歸約 130

5.6.2　維歸約 130

5.6.3　樣本歸約 131

5.6.4　數(shù)量歸約 131

5.6.5　數(shù)據(jù)壓縮 132

5.7　數(shù)據(jù)變換 132

5.7.1　數(shù)據(jù)變換策略 133

5.7.2　數(shù)據(jù)變換處理內(nèi)容 133

5.7.3　數(shù)據(jù)變換方法 133

5.8　數(shù)據(jù)融合 135

5.8.1　數(shù)據(jù)融合與態(tài)勢感知 135

5.8.2　數(shù)據(jù)融合的層次分類 136

5.8.3　數(shù)據(jù)融合相關(guān)算法 137

第三部分　態(tài)勢理解

第6章　網(wǎng)絡(luò)安全檢測與分析 142

6.1　引言 142

6.2　入侵檢測 143

6.2.1　入侵檢測通用模型 143

6.2.2　入侵檢測系統(tǒng)分類 144

6.2.3　入侵檢測的分析方法 146

6.2.4　入侵檢測技術(shù)的現(xiàn)狀和發(fā)展趨勢 151

6.3　入侵防御 152

6.3.1　入侵防御產(chǎn)生的原因 152

6.3.2　入侵防御的工作原理 153

6.3.3　入侵防御系統(tǒng)的類型 154

6.3.4　入侵防御與入侵檢測的區(qū)別 155

6.4　入侵容忍 156

6.4.1　入侵容忍的產(chǎn)生背景 156

6.4.2　入侵容忍的實現(xiàn)方法 156

6.4.3　入侵容忍技術(shù)分類 157

6.4.4　入侵容忍與入侵檢測的區(qū)別 157

6.5　安全分析 158

6.5.1　安全分析流程 158

6.5.2　數(shù)據(jù)包分析 160

6.5.3　計算機(jī)/網(wǎng)絡(luò)取證 163

6.5.4　惡意軟件分析 164

第7章　網(wǎng)絡(luò)安全態(tài)勢指標(biāo)構(gòu)建 167

7.1　引言 167

7.2　態(tài)勢指標(biāo)屬性的分類 168

7.2.1　定性指標(biāo) 168

7.2.2　定量指標(biāo) 169

7.3　網(wǎng)絡(luò)安全態(tài)勢指標(biāo)的提取 169

7.3.1　指標(biāo)提取原則和過程 170

7.3.2　網(wǎng)絡(luò)安全屬性的分析 172

7.3.3　網(wǎng)絡(luò)安全態(tài)勢指標(biāo)選取示例 178

7.4　網(wǎng)絡(luò)安全態(tài)勢指標(biāo)體系的構(gòu)建 179

7.4.1　指標(biāo)體系的構(gòu)建原則 179

7.4.2　基礎(chǔ)運(yùn)行維指標(biāo) 179

7.4.3　脆弱維指標(biāo) 180

7.4.4　風(fēng)險維指標(biāo) 181

7.4.5　威脅維指標(biāo) 182

7.4.6　綜合指標(biāo)體系和指數(shù)劃分 183

7.5　指標(biāo)的合理性檢驗 184

7.6　指標(biāo)的標(biāo)準(zhǔn)化處理 185

7.6.1　定量指標(biāo)的標(biāo)準(zhǔn)化 186

7.6.2　定性指標(biāo)的標(biāo)準(zhǔn)化 188

第8章　網(wǎng)絡(luò)安全態(tài)勢評估 189

8.1　引言 189

8.2　網(wǎng)絡(luò)安全態(tài)勢評估的內(nèi)涵 190

8.3　網(wǎng)絡(luò)安全態(tài)勢評估的基本內(nèi)容 190

8.4　網(wǎng)絡(luò)安全態(tài)勢指數(shù)計算基本理論 192

8.4.1　排序歸一法 192

8.4.2　層次分析法 193

8.5　網(wǎng)絡(luò)安全態(tài)勢評估方法分類 194

8.6　網(wǎng)絡(luò)安全態(tài)勢評估常用的融合方法 196

8.6.1　基于邏輯關(guān)系的融合評價方法 196

8.6.2　基于數(shù)學(xué)模型的融合評價方法 197

8.6.3　基于概率統(tǒng)計的融合評價方法 204

8.6.4　基于規(guī)則推理的融合評價方法 207

第9章　網(wǎng)絡(luò)安全態(tài)勢可視化 212

9.1　引言 212

9.2　數(shù)據(jù)可視化基本理論 213

9.2.1　數(shù)據(jù)可視化一般流程 213

9.2.2　可視化設(shè)計原則與步驟 214

9.3　什么是網(wǎng)絡(luò)安全態(tài)勢可視化 216

9.4　網(wǎng)絡(luò)安全態(tài)勢可視化形式 217

9.4.1　層次化數(shù)據(jù)的可視化 217

9.4.2　網(wǎng)絡(luò)數(shù)據(jù)的可視化 217

9.4.3　可視化系統(tǒng)交互 219

9.4.4　安全儀表盤 220

9.5　網(wǎng)絡(luò)安全態(tài)勢可視化的前景 221

第四部分　態(tài)勢預(yù)測

第10章　典型的網(wǎng)絡(luò)安全態(tài)勢預(yù)測方法 224

10.1　引言 224

10.2　灰色理論預(yù)測 225

10.2.1　灰色系統(tǒng)理論的產(chǎn)生及發(fā)展 225

10.2.2　灰色理論建立依據(jù) 226

10.2.3　灰色預(yù)測及其類型 226

10.2.4　灰色預(yù)測模型 227

10.3　時間序列預(yù)測 234

10.3.1　時間序列分析的基本特征 235

10.3.2　時間序列及其類型 235

10.3.3　時間序列預(yù)測的步驟 236

10.3.4　時間序列分析方法 238

10.4　回歸分析預(yù)測 240

10.4.1　回歸分析的定義和思路 241

10.4.2　回歸模型的種類 241

10.4.3　回歸分析預(yù)測的步驟 242

10.4.4　回歸分析預(yù)測方法 242

10.5　總結(jié) 245

第11章　網(wǎng)絡(luò)安全態(tài)勢智能預(yù)測 246

11.1　引言 246

11.2　神經(jīng)網(wǎng)絡(luò)預(yù)測 247

11.2.1　人工神經(jīng)網(wǎng)絡(luò)概述 247

11.2.2　神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法 248

11.2.3　神經(jīng)網(wǎng)絡(luò)預(yù)測模型類型 249

11.2.4　BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和學(xué)習(xí)原理 252

11.3　支持向量機(jī)預(yù)測 254

11.3.1　支持向量機(jī)方法的基本思想 254

11.3.2　支持向量機(jī)的特點(diǎn) 255

11.3.3　支持向量回歸機(jī)的分類 257

11.3.4　支持向量機(jī)核函數(shù)的選取 260

11.4　人工免疫預(yù)測 261

11.4.1　人工免疫系統(tǒng)概述 262

11.4.2　人工免疫模型相關(guān)機(jī)理 262

11.4.3　人工免疫相關(guān)算法 264

11.5　復(fù)合式攻擊預(yù)測 267

11.5.1　基于攻擊行為因果關(guān)系的復(fù)合式攻擊預(yù)測方法 268

11.5.2　基于貝葉斯博弈理論的復(fù)合式攻擊預(yù)測方法 269

11.5.3　基于CTPN的復(fù)合式攻擊預(yù)測方法 270

11.5.4　基于意圖的復(fù)合式攻擊預(yù)測方法 272

第12章　其他 274

12.1　引言 274

12.2　網(wǎng)絡(luò)安全人員 274

12.2.1　網(wǎng)絡(luò)安全人員范圍 274

12.2.2　需要具備的技能 275

12.2.3　能力級別分類 277

12.2.4　安全團(tuán)隊建設(shè) 278

12.3　威脅情報分析 279

12.3.1　網(wǎng)絡(luò)威脅情報 279

12.3.2　威脅情報來源 280

12.3.3　威脅情報管理 281

12.3.4　威脅情報共享 282

參考文獻(xiàn) 283