JavaScript物聯(lián)網(wǎng)架構(gòu)與數(shù)據(jù)處理

目錄

本書贊譽(yù)

序一

序二

前言

第一篇　基礎(chǔ)篇

第1章　物聯(lián)網(wǎng)系統(tǒng)基礎(chǔ)  2

1.1　萬物互聯(lián)與互聯(lián)網(wǎng)進(jìn)化論  3

1.2　物聯(lián)網(wǎng)的核心數(shù)據(jù)的流動(dòng)  4

1.2.1　現(xiàn)代物聯(lián)網(wǎng)的對(duì)稱性  4

1.2.2　現(xiàn)代物聯(lián)網(wǎng)的IP化  4

1.3　端到端物聯(lián)網(wǎng)解決方案  5

1.3.1　JavaScript老樹新花  5

1.3.2　物聯(lián)網(wǎng)節(jié)點(diǎn)JavaScript開發(fā)  6

1.3.3　物聯(lián)網(wǎng)客戶端JavaScript開發(fā)  7

1.4　物聯(lián)網(wǎng)大數(shù)據(jù)的必然趨勢  9

1.5　物聯(lián)網(wǎng)機(jī)器學(xué)習(xí)的必然趨勢  11

1.6　本章小結(jié)  12

第2章　Node.js基礎(chǔ)  14

2.1　標(biāo)準(zhǔn)庫  14

2.1.1　簡單模塊定義和使用  15

2.1.2　標(biāo)準(zhǔn)庫API編程  16

2.1.3　標(biāo)準(zhǔn)庫console模塊  18

2.2　V8引擎  22

2.2.1　編譯執(zhí)行  23

2.2.2　垃圾回收  24

2.3　非阻塞式I/O  25

2.4　事件循環(huán)  27

2.5　包管理器NPM  30

2.5.1　包結(jié)構(gòu)  31

2.5.2　包管理  33

2.6　Node.js開發(fā)環(huán)境  34

2.7　微服務(wù)架構(gòu)  35

2.8　本章小結(jié)  37

第二篇　數(shù)據(jù)篇

第3章　基于JavaScript物聯(lián)網(wǎng)數(shù)據(jù)收集  40

3.1　嵌入式系統(tǒng)特點(diǎn)  40

3.1.1　高集成度  40

3.1.2　資源受限  41

3.1.3　長壽命  42

3.1.4　環(huán)境苛刻  42

3.2　實(shí)時(shí)數(shù)據(jù)收集  43

3.2.1　強(qiáng)實(shí)時(shí)任務(wù)  44

3.2.2　準(zhǔn)實(shí)時(shí)任務(wù)  44

3.2.3　弱實(shí)時(shí)任務(wù)與最終實(shí)時(shí)任務(wù)  45

3.2.4　時(shí)延、抖動(dòng)與吞吐量  46

3.3　Node.js物聯(lián)網(wǎng)節(jié)點(diǎn)開發(fā)  49

3.3.1　內(nèi)存分配與優(yōu)化  50

3.3.2　延時(shí)測量與性能優(yōu)化  58

3.3.3　Node.js 跨語言調(diào)用  60

3.3.4　Node.js 物聯(lián)網(wǎng)通信協(xié)議開發(fā)  61

3.3.5　Node.js代碼遠(yuǎn)程部署與更新  65

3.3.6　Node.js 服務(wù)發(fā)現(xiàn)  70

3.4　IoT.js物聯(lián)網(wǎng)節(jié)點(diǎn)開發(fā)  73

3.5　Espruino的物聯(lián)網(wǎng)節(jié)點(diǎn)開發(fā)  75

3.6　本章小結(jié)  76

第4章　基于JavaScript數(shù)據(jù)存儲(chǔ)與處理  77

4.1　大數(shù)據(jù)基礎(chǔ)  77

4.1.1　指數(shù)增長  77

4.1.2　水平擴(kuò)展  79

4.1.3　MapReduce  80

4.1.4　高可用性  82

4.1.5　模式可復(fù)制  83

4.2　大數(shù)據(jù)實(shí)時(shí)處理  84

4.2.1　時(shí)間序列  84

4.2.2　Lambda架構(gòu)  85

4.2.3　JavaScript物聯(lián)網(wǎng)實(shí)時(shí)數(shù)據(jù)處理  88

4.3　Kafka大數(shù)據(jù)消息總線  89

4.3.1　消息總線  90

4.3.2　Kafka集群  91

4.3.3　數(shù)據(jù)存儲(chǔ)  95

4.3.4　高可用性  98

4.3.5　連接器  98

4.3.6　JavaScript Kafka 數(shù)據(jù)收發(fā)  100

4.3.7　Kafka即服務(wù)  101

4.4　Spark大數(shù)據(jù)處理平臺(tái)  104

4.4.1　HDFS  105

4.4.2　RDD  107

4.4.3　變換與動(dòng)作  108

4.4.4　DAG調(diào)度器  110

4.4.5　數(shù)據(jù)幀  111

4.4.6　流處理  113

4.4.7　EclairJS JavaScript大數(shù)據(jù)處理  113

4.5　ElasticSearch大數(shù)據(jù)索引平臺(tái)  116

4.5.1　JSON文檔  117

4.5.2　模板與映射  118

4.5.3　確切值與全文文本  120

4.5.4　Lucene引擎與倒排索引  121

4.5.5　分片與副本  122

4.5.6　RESTful接口的JavaScript編程  122

4.6　本章小結(jié)  125

第5章　基于JavaScript物聯(lián)網(wǎng)數(shù)據(jù)分析  126

5.1　人工智能與機(jī)器學(xué)習(xí)  126

5.1.1　監(jiān)督學(xué)習(xí)  128

5.1.2　強(qiáng)化學(xué)習(xí)  134

5.2　深度學(xué)習(xí)  138

5.2.1　多層感知器網(wǎng)絡(luò)  139

5.2.2　卷積神經(jīng)網(wǎng)絡(luò)  145

5.2.3　遞歸神經(jīng)網(wǎng)絡(luò)  149

5.2.4　大規(guī)模深度學(xué)習(xí)  152

5.3　深度學(xué)習(xí)物聯(lián)網(wǎng)數(shù)據(jù)分析  155

5.3.1　基于卷積神經(jīng)網(wǎng)絡(luò)的物聯(lián)網(wǎng)視頻監(jiān)控物體識(shí)別  155

5.3.2　基于Q深度學(xué)習(xí)的物聯(lián)網(wǎng)掃地機(jī)器人  156

5.4　本章小結(jié)  158

第6章　基于JavaScript物聯(lián)網(wǎng)數(shù)據(jù)展示與交互  159

6.1　物聯(lián)網(wǎng)網(wǎng)頁應(yīng)用開發(fā)  159

6.1.1　HTML  160

6.1.2　CSS  165

6.1.3　本地?cái)?shù)據(jù)存儲(chǔ)  170

6.1.4　AJAX  171

6.1.5　WebSocket  174

6.1.6　多媒體  176

6.1.7　數(shù)據(jù)可視化  179

6.2　Angular.js網(wǎng)頁應(yīng)用開發(fā)  186

6.2.1　單頁應(yīng)用  187

6.2.2　MVC設(shè)計(jì)模式  189

6.2.3　雙向綁定  191

6.2.4　依賴注入  192

6.2.5　URL路由  193

6.3　Ionic移動(dòng)應(yīng)用開發(fā)  195

6.3.1　Cordova  196

6.3.2　UI組件  197

6.3.3　Ionic集成開發(fā)環(huán)境  199

6.3.4　物聯(lián)網(wǎng)單頁應(yīng)用程序  201

6.4　本章小結(jié)  205

第7章　基于JavaScript物聯(lián)網(wǎng)數(shù)據(jù)安全  206

7.1　物聯(lián)網(wǎng)的安全挑戰(zhàn)  206

7.1.1　未來已經(jīng)來臨  206

7.1.2　早期物聯(lián)網(wǎng)安全  207

7.1.3　現(xiàn)代物聯(lián)網(wǎng)安全  208

7.2　攻擊表面與安全防護(hù)  209

7.2.1　設(shè)備安全  210

7.2.2　網(wǎng)絡(luò)安全  211

7.2.3　數(shù)據(jù)安全  213

7.3　安全獵手與擊殺鏈  215

7.3.1　基于大數(shù)據(jù)的物聯(lián)網(wǎng)安全監(jiān)控系統(tǒng)設(shè)計(jì)  216

7.3.2　物聯(lián)網(wǎng)安全監(jiān)控系統(tǒng)擊殺實(shí)戰(zhàn)  219

7.4　JavaScript物聯(lián)網(wǎng)數(shù)據(jù)安全  221

7.4.1　JavaScript程序漏洞掃描  221

7.4.2　JavaScript網(wǎng)絡(luò)傳輸加密  222

7.4.3　JavaScript實(shí)現(xiàn)訪問控制  225

7.5　本章小結(jié)  227

第三篇　實(shí)戰(zhàn)篇

第8章　物聯(lián)網(wǎng)智能網(wǎng)關(guān)系統(tǒng)開發(fā)  230

8.1　物聯(lián)網(wǎng)智能網(wǎng)關(guān)  230

8.2　開源硬件OpenFPGAduino  231

8.2.1　開源硬件簡介  232

8.2.2　OpenFPGAduino硬件設(shè)計(jì)  234

8.2.3　OpenFPGAduino軟件設(shè)計(jì)  235

8.3　Node.js物聯(lián)網(wǎng)系統(tǒng)開發(fā)  236

8.3.1　Arduino.js網(wǎng)絡(luò)系統(tǒng)  237

8.3.2　Express HTTP服務(wù)  237

8.3.3　微服務(wù)架構(gòu)  238

8.3.4　數(shù)據(jù)庫微服務(wù)  242

8.3.5　服務(wù)發(fā)現(xiàn)  244

8.3.6　物聯(lián)網(wǎng)協(xié)議轉(zhuǎn)換  246

8.3.7　硬件訪問  248

8.3.8　硬件仿真  252

8.3.9　Mocha集成測試  254

8.4　FPGA實(shí)時(shí)性系統(tǒng)開發(fā)  256

8.4.1　FPGA簡介  256

8.4.2　Qsys總線  257

8.4.3　內(nèi)核空間驅(qū)動(dòng)  259

8.4.4　用戶空間驅(qū)動(dòng)  260

8.4.5　FPGA在線應(yīng)用配置  261

8.5　本章小結(jié)  262

第9章　物聯(lián)網(wǎng)云管理與開發(fā)環(huán)境  264

9.1　云計(jì)算與云服務(wù)  264

9.1.1　虛擬化  265

9.1.2　容器化  266

9.2　物聯(lián)網(wǎng)云服務(wù)  272

9.3　基于HTML的嵌入式軟件開發(fā)環(huán)境  274

9.4　基于Blockly的云軟件開發(fā)環(huán)境  275

9.5　基于Docker與云存儲(chǔ)的云開發(fā)編譯部署環(huán)境  280

9.6　基于Yeelink云的物聯(lián)網(wǎng)遠(yuǎn)程管理與控制  285

9.7　基于Plot.ly數(shù)據(jù)可視化云服務(wù)    288

9.8　基于聽云物聯(lián)網(wǎng)運(yùn)維服務(wù)  289

9.9　本章小結(jié)  291

第10章　物聯(lián)網(wǎng)生物芯片實(shí)驗(yàn)測試系統(tǒng)  292

10.1　生物芯片測試平臺(tái)  292

10.2　生物芯片測試平臺(tái)總體設(shè)計(jì)  294

10.3　平臺(tái)電源與機(jī)箱系統(tǒng)設(shè)計(jì)  296

10.4　控溫控濕度平臺(tái)系統(tǒng)設(shè)計(jì)  298

10.5　實(shí)驗(yàn)試劑注射進(jìn)樣系統(tǒng)設(shè)計(jì)  302

10.6　高精度三軸移動(dòng)定位系統(tǒng)設(shè)計(jì)  304

10.7　顯微鏡圖像監(jiān)控系統(tǒng)設(shè)計(jì)  309

10.8　物聯(lián)網(wǎng)實(shí)驗(yàn)自動(dòng)化控制系統(tǒng)設(shè)計(jì)  309

10.9　本章小結(jié)  312

第11章　物聯(lián)網(wǎng)大數(shù)據(jù)分析系統(tǒng)  313

11.1　物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)  313

11.1.1　物聯(lián)網(wǎng)絡(luò)三層架構(gòu)  315

11.1.2　物聯(lián)網(wǎng)大數(shù)據(jù)信息處理平臺(tái)設(shè)計(jì)  316

11.2　物聯(lián)網(wǎng)數(shù)據(jù)匯聚  319

11.2.1　物聯(lián)網(wǎng)MQTT Kafka網(wǎng)橋  319

11.2.2　物聯(lián)網(wǎng)數(shù)據(jù)平面Kafka聚合網(wǎng)關(guān)管理  322

11.2.3　物聯(lián)網(wǎng)控制平面ZooKeeper節(jié)點(diǎn)管理  323

11.3　物聯(lián)網(wǎng)數(shù)據(jù)清洗  324

11.3.1　抽取變換加載  325

11.3.2　一致性檢查  326

11.3.3　重復(fù)數(shù)據(jù)去除  327

11.4　物聯(lián)網(wǎng)數(shù)據(jù)統(tǒng)計(jì)分析與機(jī)器學(xué)習(xí)  334

11.4.1　統(tǒng)計(jì)分析與機(jī)器學(xué)習(xí)  335

11.4.2　基于Spark批處理統(tǒng)計(jì)分析  335

11.4.3　基于Kappa架構(gòu)實(shí)時(shí)統(tǒng)計(jì)分析  336

11.4.4　在線機(jī)器學(xué)習(xí)  338

11.4.5　基于RLS的異常檢測  339

11.5　物聯(lián)網(wǎng)日志異常檢測與監(jiān)控系統(tǒng)設(shè)計(jì)  341

11.5.1　物聯(lián)網(wǎng)日志分析  341

11.5.2　LogStash日志收集與解析  342

11.5.3　ElasticSearch日志存儲(chǔ)與索引  344

11.5.4　Kibana日志可視化  344

11.5.5　日志異常檢測與告警  346

11.6　物聯(lián)網(wǎng)數(shù)據(jù)安全日志機(jī)器學(xué)習(xí)系統(tǒng)設(shè)計(jì)  350

11.6.1　攻擊指紋DGA  351

11.6.2　DGA應(yīng)用實(shí)例DNS隧道  353

11.6.3　自然語言處理   355

11.6.4　深度學(xué)習(xí)識(shí)別DGA  358

11.7　本章小結(jié)  364