網(wǎng)絡(luò)安全態(tài)勢(shì)感知：提取、理解和預(yù)測(cè)

前言

第一部分　基礎(chǔ)知識(shí)

第1章　開啟網(wǎng)絡(luò)安全態(tài)勢(shì)感知的旅程 2

1.1　引言 2

1.2　網(wǎng)絡(luò)安全簡(jiǎn)史 3

1.2.1　計(jì)算機(jī)網(wǎng)絡(luò) 3

1.2.2　惡意代碼 4

1.2.3　漏洞利用 6

1.2.4　高級(jí)持續(xù)性威脅 7

1.2.5　網(wǎng)絡(luò)安全設(shè)施 8

1.3　網(wǎng)絡(luò)安全態(tài)勢(shì)感知 10

1.3.1　為什么需要態(tài)勢(shì)感知 10

1.3.2　態(tài)勢(shì)感知的定義 12

1.3.3　網(wǎng)絡(luò)安全態(tài)勢(shì)感知的定義 13

1.3.4　網(wǎng)絡(luò)安全態(tài)勢(shì)感知參考模型 14

1.3.5　網(wǎng)絡(luò)安全態(tài)勢(shì)感知的周期 17

1.4　我國(guó)網(wǎng)絡(luò)安全態(tài)勢(shì)感知政策和發(fā)展 19

1.4.1　我國(guó)網(wǎng)絡(luò)安全態(tài)勢(shì)感知政策 19

1.4.2　我國(guó)網(wǎng)絡(luò)安全態(tài)勢(shì)感知的曲線發(fā)展歷程 20

1.5　國(guó)外先進(jìn)的網(wǎng)絡(luò)安全態(tài)勢(shì)感知經(jīng)驗(yàn) 21

1.5.1　美國(guó)網(wǎng)絡(luò)安全態(tài)勢(shì)感知建設(shè)方式 21

1.5.2　美國(guó)網(wǎng)絡(luò)安全國(guó)家戰(zhàn)略 21

1.5.3　可信互聯(lián)網(wǎng)連接 22

1.5.4　信息安全持續(xù)監(jiān)控 23

1.5.5　可借鑒的經(jīng)驗(yàn) 24

1.6　網(wǎng)絡(luò)安全態(tài)勢(shì)感知建設(shè)意見 24

第2章　大數(shù)據(jù)平臺(tái)和技術(shù) 26

2.1　引言 26

2.2　大數(shù)據(jù)基礎(chǔ) 27

2.2.1　大數(shù)據(jù)的定義和特點(diǎn) 27

2.2.2　大數(shù)據(jù)關(guān)鍵技術(shù) 28

2.2.3　大數(shù)據(jù)計(jì)算模式 28

2.3　大數(shù)據(jù)應(yīng)用場(chǎng)景 29

2.4　大數(shù)據(jù)主流平臺(tái)框架 30

2.4.1　Hadoop 30

2.4.2　Spark 32

2.4.3　Storm 33

2.5　大數(shù)據(jù)生態(tài)鏈的網(wǎng)絡(luò)安全態(tài)勢(shì)感知應(yīng)用架構(gòu) 34

2.6　大數(shù)據(jù)采集與預(yù)處理技術(shù) 34

2.6.1　傳感器 36

2.6.2　網(wǎng)絡(luò)爬蟲 37

2.6.3　日志收集系統(tǒng) 39

2.6.4　數(shù)據(jù)抽取工具 40

2.6.5　分布式消息隊(duì)列系統(tǒng) 42

2.7　大數(shù)據(jù)存儲(chǔ)與管理技術(shù) 46

2.7.1　分布式文件系統(tǒng) 46

2.7.2　分布式數(shù)據(jù)庫(kù) 50

2.7.3　分布式協(xié)調(diào)系統(tǒng) 53

2.7.4　非關(guān)系型數(shù)據(jù)庫(kù) 55

2.7.5　資源管理調(diào)度 57

2.8　大數(shù)據(jù)處理與分析技術(shù) 64

2.8.1　批量數(shù)據(jù)處理 64

2.8.2　交互式數(shù)據(jù)分析 67

2.8.3　流式計(jì)算 71

2.8.4　圖計(jì)算 74

2.8.5　高級(jí)數(shù)據(jù)查詢語(yǔ)言Pig 75

2.9　大數(shù)據(jù)可視化技術(shù) 76

2.9.1　大數(shù)據(jù)可視化含義 76

2.9.2　基本統(tǒng)計(jì)圖表 76

2.9.3　大數(shù)據(jù)可視化分類 77

2.9.4　高級(jí)分析工具 77

2.10　國(guó)外先進(jìn)的大數(shù)據(jù)實(shí)踐經(jīng)驗(yàn) 78

2.10.1　大數(shù)據(jù)平臺(tái) 78

2.10.2　網(wǎng)絡(luò)分析態(tài)勢(shì)感知能力 79

第二部分　態(tài)勢(shì)提取

第3章　網(wǎng)絡(luò)安全數(shù)據(jù)范圍 82

3.1　引言 82

3.2　完整內(nèi)容數(shù)據(jù) 82

3.3　提取內(nèi)容數(shù)據(jù) 85

3.4　會(huì)話數(shù)據(jù) 86

3.5　統(tǒng)計(jì)數(shù)據(jù) 88

3.6　元數(shù)據(jù) 90

3.7　日志數(shù)據(jù) 93

3.8　告警數(shù)據(jù) 98

第4章　網(wǎng)絡(luò)安全數(shù)據(jù)采集 100

4.1　引言 100

4.2　制定數(shù)據(jù)采集計(jì)劃 100

4.3　主動(dòng)式采集 102

4.3.1　通過(guò)SNMP采集數(shù)據(jù) 102

4.3.2　通過(guò)Telnet采集數(shù)據(jù) 103

4.3.3　通過(guò)SSH采集數(shù)據(jù) 103

4.3.4　通過(guò)WMI采集數(shù)據(jù) 104

4.3.5　通過(guò)多種文件傳輸協(xié)議采集數(shù)據(jù) 104

4.3.6　利用JDBC/ODBC采集數(shù)據(jù)庫(kù)信息 105

4.3.7　通過(guò)代理和插件采集數(shù)據(jù) 106

4.3.8　通過(guò)漏洞和端口掃描采集數(shù)據(jù) 107

4.3.9　通過(guò)“蜜罐”和“蜜網(wǎng)”采集數(shù)據(jù) 107

4.4　被動(dòng)式采集 108

4.4.1　通過(guò)有線和無(wú)線采集數(shù)據(jù) 108

4.4.2　通過(guò)集線器和交換機(jī)采集數(shù)據(jù) 110

4.4.3　通過(guò)Syslog采集數(shù)據(jù) 112

4.4.4　通過(guò)SNMP Trap采集數(shù)據(jù) 112

4.4.5　通過(guò)NetFlow/IPFIX/sFlow采集流數(shù)據(jù) 113

4.4.6　通過(guò)Web Service/MQ采集數(shù)據(jù) 114

4.4.7　通過(guò)DPI/DFI采集和檢測(cè)數(shù)據(jù) 115

4.5　數(shù)據(jù)采集工具 116

4.6　采集點(diǎn)部署 117

4.6.1　需考慮的因素 117

4.6.2　關(guān)注網(wǎng)絡(luò)出入口點(diǎn) 118

4.6.3　掌握IP地址分布 118

4.6.4　靠近關(guān)鍵資產(chǎn) 119

4.6.5　創(chuàng)建采集全景視圖 119

第5章　網(wǎng)絡(luò)安全數(shù)據(jù)預(yù)處理 121

5.1　引言 121

5.2　數(shù)據(jù)預(yù)處理的主要內(nèi)容 121

5.2.1　數(shù)據(jù)審核 121

5.2.2　數(shù)據(jù)篩選 122

5.2.3　數(shù)據(jù)排序 122

5.3　數(shù)據(jù)預(yù)處理方法 123

5.4　數(shù)據(jù)清洗 123

5.4.1　不完整數(shù)據(jù) 124

5.4.2　不一致數(shù)據(jù) 124

5.4.3　噪聲數(shù)據(jù) 124

5.4.4　數(shù)據(jù)清洗過(guò)程 125

5.4.5　數(shù)據(jù)清洗工具 126

5.5　數(shù)據(jù)集成 126

5.5.1　數(shù)據(jù)集成的難點(diǎn) 126

5.5.2　數(shù)據(jù)集成類型層次 127

5.5.3　數(shù)據(jù)集成方法模式 128

5.6　數(shù)據(jù)歸約 129

5.6.1　特征歸約 130

5.6.2　維歸約 130

5.6.3　樣本歸約 131

5.6.4　數(shù)量歸約 131

5.6.5　數(shù)據(jù)壓縮 132

5.7　數(shù)據(jù)變換 132

5.7.1　數(shù)據(jù)變換策略 133

5.7.2　數(shù)據(jù)變換處理內(nèi)容 133

5.7.3　數(shù)據(jù)變換方法 133

5.8　數(shù)據(jù)融合 135

5.8.1　數(shù)據(jù)融合與態(tài)勢(shì)感知 135

5.8.2　數(shù)據(jù)融合的層次分類 136

5.8.3　數(shù)據(jù)融合相關(guān)算法 137

第三部分　態(tài)勢(shì)理解

第6章　網(wǎng)絡(luò)安全檢測(cè)與分析 142

6.1　引言 142

6.2　入侵檢測(cè) 143

6.2.1　入侵檢測(cè)通用模型 143

6.2.2　入侵檢測(cè)系統(tǒng)分類 144

6.2.3　入侵檢測(cè)的分析方法 146

6.2.4　入侵檢測(cè)技術(shù)的現(xiàn)狀和發(fā)展趨勢(shì) 151

6.3　入侵防御 152

6.3.1　入侵防御產(chǎn)生的原因 152

6.3.2　入侵防御的工作原理 153

6.3.3　入侵防御系統(tǒng)的類型 154

6.3.4　入侵防御與入侵檢測(cè)的區(qū)別 155

6.4　入侵容忍 156

6.4.1　入侵容忍的產(chǎn)生背景 156

6.4.2　入侵容忍的實(shí)現(xiàn)方法 156

6.4.3　入侵容忍技術(shù)分類 157

6.4.4　入侵容忍與入侵檢測(cè)的區(qū)別 157

6.5　安全分析 158

6.5.1　安全分析流程 158

6.5.2　數(shù)據(jù)包分析 160

6.5.3　計(jì)算機(jī)/網(wǎng)絡(luò)取證 163

6.5.4　惡意軟件分析 164

第7章　網(wǎng)絡(luò)安全態(tài)勢(shì)指標(biāo)構(gòu)建 167

7.1　引言 167

7.2　態(tài)勢(shì)指標(biāo)屬性的分類 168

7.2.1　定性指標(biāo) 168

7.2.2　定量指標(biāo) 169

7.3　網(wǎng)絡(luò)安全態(tài)勢(shì)指標(biāo)的提取 169

7.3.1　指標(biāo)提取原則和過(guò)程 170

7.3.2　網(wǎng)絡(luò)安全屬性的分析 172

7.3.3　網(wǎng)絡(luò)安全態(tài)勢(shì)指標(biāo)選取示例 178

7.4　網(wǎng)絡(luò)安全態(tài)勢(shì)指標(biāo)體系的構(gòu)建 179

7.4.1　指標(biāo)體系的構(gòu)建原則 179

7.4.2　基礎(chǔ)運(yùn)行維指標(biāo) 179

7.4.3　脆弱維指標(biāo) 180

7.4.4　風(fēng)險(xiǎn)維指標(biāo) 181

7.4.5　威脅維指標(biāo) 182

7.4.6　綜合指標(biāo)體系和指數(shù)劃分 183

7.5　指標(biāo)的合理性檢驗(yàn) 184

7.6　指標(biāo)的標(biāo)準(zhǔn)化處理 185

7.6.1　定量指標(biāo)的標(biāo)準(zhǔn)化 186

7.6.2　定性指標(biāo)的標(biāo)準(zhǔn)化 188

第8章　網(wǎng)絡(luò)安全態(tài)勢(shì)評(píng)估 189

8.1　引言 189

8.2　網(wǎng)絡(luò)安全態(tài)勢(shì)評(píng)估的內(nèi)涵 190

8.3　網(wǎng)絡(luò)安全態(tài)勢(shì)評(píng)估的基本內(nèi)容 190

8.4　網(wǎng)絡(luò)安全態(tài)勢(shì)指數(shù)計(jì)算基本理論 192

8.4.1　排序歸一法 192

8.4.2　層次分析法 193

8.5　網(wǎng)絡(luò)安全態(tài)勢(shì)評(píng)估方法分類 194

8.6　網(wǎng)絡(luò)安全態(tài)勢(shì)評(píng)估常用的融合方法 196

8.6.1　基于邏輯關(guān)系的融合評(píng)價(jià)方法 196

8.6.2　基于數(shù)學(xué)模型的融合評(píng)價(jià)方法 197

8.6.3　基于概率統(tǒng)計(jì)的融合評(píng)價(jià)方法 204

8.6.4　基于規(guī)則推理的融合評(píng)價(jià)方法 207

第9章　網(wǎng)絡(luò)安全態(tài)勢(shì)可視化 212

9.1　引言 212

9.2　數(shù)據(jù)可視化基本理論 213

9.2.1　數(shù)據(jù)可視化一般流程 213

9.2.2　可視化設(shè)計(jì)原則與步驟 214

9.3　什么是網(wǎng)絡(luò)安全態(tài)勢(shì)可視化 216

9.4　網(wǎng)絡(luò)安全態(tài)勢(shì)可視化形式 217

9.4.1　層次化數(shù)據(jù)的可視化 217

9.4.2　網(wǎng)絡(luò)數(shù)據(jù)的可視化 217

9.4.3　可視化系統(tǒng)交互 219

9.4.4　安全儀表盤 220

9.5　網(wǎng)絡(luò)安全態(tài)勢(shì)可視化的前景 221

第四部分　態(tài)勢(shì)預(yù)測(cè)

第10章　典型的網(wǎng)絡(luò)安全態(tài)勢(shì)預(yù)測(cè)方法 224

10.1　引言 224

10.2　灰色理論預(yù)測(cè) 225

10.2.1　灰色系統(tǒng)理論的產(chǎn)生及發(fā)展 225

10.2.2　灰色理論建立依據(jù) 226

10.2.3　灰色預(yù)測(cè)及其類型 226

10.2.4　灰色預(yù)測(cè)模型 227

10.3　時(shí)間序列預(yù)測(cè) 234

10.3.1　時(shí)間序列分析的基本特征 235

10.3.2　時(shí)間序列及其類型 235

10.3.3　時(shí)間序列預(yù)測(cè)的步驟 236

10.3.4　時(shí)間序列分析方法 238

10.4　回歸分析預(yù)測(cè) 240

10.4.1　回歸分析的定義和思路 241

10.4.2　回歸模型的種類 241

10.4.3　回歸分析預(yù)測(cè)的步驟 242

10.4.4　回歸分析預(yù)測(cè)方法 242

10.5　總結(jié) 245

第11章　網(wǎng)絡(luò)安全態(tài)勢(shì)智能預(yù)測(cè) 246

11.1　引言 246

11.2　神經(jīng)網(wǎng)絡(luò)預(yù)測(cè) 247

11.2.1　人工神經(jīng)網(wǎng)絡(luò)概述 247

11.2.2　神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法 248

11.2.3　神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型類型 249

11.2.4　BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和學(xué)習(xí)原理 252

11.3　支持向量機(jī)預(yù)測(cè) 254

11.3.1　支持向量機(jī)方法的基本思想 254

11.3.2　支持向量機(jī)的特點(diǎn) 255

11.3.3　支持向量回歸機(jī)的分類 257

11.3.4　支持向量機(jī)核函數(shù)的選取 260

11.4　人工免疫預(yù)測(cè) 261

11.4.1　人工免疫系統(tǒng)概述 262

11.4.2　人工免疫模型相關(guān)機(jī)理 262

11.4.3　人工免疫相關(guān)算法 264

11.5　復(fù)合式攻擊預(yù)測(cè) 267

11.5.1　基于攻擊行為因果關(guān)系的復(fù)合式攻擊預(yù)測(cè)方法 268

11.5.2　基于貝葉斯博弈理論的復(fù)合式攻擊預(yù)測(cè)方法 269

11.5.3　基于CTPN的復(fù)合式攻擊預(yù)測(cè)方法 270

11.5.4　基于意圖的復(fù)合式攻擊預(yù)測(cè)方法 272

第12章　其他 274

12.1　引言 274

12.2　網(wǎng)絡(luò)安全人員 274

12.2.1　網(wǎng)絡(luò)安全人員范圍 274

12.2.2　需要具備的技能 275

12.2.3　能力級(jí)別分類 277

12.2.4　安全團(tuán)隊(duì)建設(shè) 278

12.3　威脅情報(bào)分析 279

12.3.1　網(wǎng)絡(luò)威脅情報(bào) 279

12.3.2　威脅情報(bào)來(lái)源 280

12.3.3　威脅情報(bào)管理 281

12.3.4　威脅情報(bào)共享 282

參考文獻(xiàn) 283