走近大數(shù)據(jù)

目 錄 \t
第　1章 大數(shù)據(jù)，心中有數(shù)　1
1．1　從一場親子講座談起　2
1．2　數(shù)據(jù)非今日變大，為什么今天火了　3
1．3　大數(shù)據(jù)帶來的改變漸漸發(fā)生了　6
1．4　大數(shù)據(jù)，首先是數(shù)據(jù)　8
1．5　再議數(shù)據(jù)規(guī)?！?0
1．6　大數(shù)據(jù)概念正解　11
1．6．1　大數(shù)據(jù)等于數(shù)據(jù)大嗎　11
1．6．2　大數(shù)據(jù)>數(shù)據(jù)大　11
1．6．3　大數(shù)據(jù)內(nèi)涵——4V屬性　12
1．6．4　大數(shù)據(jù)原理模擬　12
1．7　再談大數(shù)據(jù)帶來的真正改變　14
第　2章 大數(shù)據(jù)，順勢而為　15
2．1　大數(shù)據(jù)發(fā)展基礎(chǔ)　16
2．1．1　大數(shù)據(jù)商用的前提　16
2．1．2　大數(shù)據(jù)發(fā)展引擎——云計(jì)算　16
2．1．3　大數(shù)據(jù)發(fā)展的ABCT模式　23
2．2　大數(shù)據(jù)兩個(gè)關(guān)鍵變化　25
2．3　大數(shù)據(jù)獲取與管理　25
2．3．1　大數(shù)據(jù)獲取　25
2．3．2　大數(shù)據(jù)管理　26
2．4　大數(shù)據(jù)存儲　27
2．5　大數(shù)據(jù)分析　28
2．6　大數(shù)據(jù)創(chuàng)新應(yīng)用　29
2．7　大數(shù)據(jù)安全　31
2．8　大數(shù)據(jù)發(fā)展對我們的要求　31
第3章　準(zhǔn)備好了嗎？——大數(shù)據(jù)技術(shù)及應(yīng)用　33
3．1　大數(shù)據(jù)的基石——Hadoop技術(shù)和應(yīng)用　35
3．1．1　源自一位爸爸的愛——Hadoop介紹　35
3．1．2　海量、非結(jié)構(gòu)化數(shù)據(jù)的存儲寶典——Hadoop應(yīng)用場景　36
3．1．3　“打仗親兄弟，上陣父子兵”（拼的是團(tuán)隊(duì)?。狧adoop
生態(tài)系統(tǒng)　41
3．1．4　如何擺布呢？——Hadoop實(shí)施建議　45
3．1．5　Hadoop的“七寸”——技術(shù)關(guān)鍵點(diǎn)　53
3．2　近期發(fā)展勢頭最猛的技術(shù)——Spark的應(yīng)用　57
3．2．1　“星星之火，可以燎原”——Spark簡介　57
3．2．2　“速度決定一切”——Spark應(yīng)用場景　58
3．2．3　“另立門戶”的節(jié)奏——Spark生態(tài)系統(tǒng)　60
3．2．4　“火花”的關(guān)鍵點(diǎn)——Spark實(shí)施建議　63
3．2．5　“照單抓藥”即可——Spark參數(shù)配置　69
3．3　“中檔價(jià)格買中檔車的配置”——MPP數(shù)據(jù)庫的應(yīng)用　72
3．3．1　“不共享”的并行處理架構(gòu)——MPP數(shù)據(jù)庫簡介　72
3．3．2　完全支持SQL--MPP數(shù)據(jù)庫應(yīng)用場景　72
3．3．3　“這樣的配置來兩打”——MPP數(shù)據(jù)庫實(shí)施建議　74
3．3．4　“對面的女孩看過來”——技術(shù)關(guān)注點(diǎn)　78
3．4　“速度決定一切！”——流處理技術(shù)的應(yīng)用　80
3．4．1　“流水不腐”——流處理技術(shù)簡介　80
3．4．2　“最快的奔跑”——流處理技術(shù)應(yīng)用場景　81
3．4．3　看看誰跑得快？——流處理技術(shù)典型產(chǎn)品　82
3．4．4　短跑運(yùn)動員的配置清單——流處理技術(shù)實(shí)施建議　83
3．5　NoSQL技術(shù)的應(yīng)用　87
3．5．1　NoSQL技術(shù)簡介　88
3．5．2　“大數(shù)據(jù)量查詢”——適用場景　88
3．5．3　“都有誰？”——典型產(chǎn)品　89
3．5．4　如何租給更多人？——多租戶實(shí)現(xiàn)方式　92
3．6　在內(nèi)存里跑數(shù)據(jù)庫——內(nèi)存數(shù)據(jù)庫的應(yīng)用　93
3．6．1　傳統(tǒng)數(shù)據(jù)庫的“土豪”配置——內(nèi)存數(shù)據(jù)庫簡介　93
3．6．2　提速的奢華方式——適用場景　94
3．6．3　哪些是“土豪”的必備——典型產(chǎn)品　95
3．6．4　“土豪”要關(guān)注什么？——技術(shù)關(guān)注點(diǎn)　96
3．7　如何采集更多的數(shù)據(jù)——數(shù)據(jù)采集　97
3．7．1　“沒有數(shù)據(jù)就是無米之炊”——數(shù)據(jù)采集簡介　97
3．7．2　不同的采集方式——適用場景　98
3．7．3　各種工具——技術(shù)簡介　98
3．8　數(shù)據(jù)庫如何分布？——分布式關(guān)系型數(shù)據(jù)庫的應(yīng)用　106
3．8．1　“分布+傳統(tǒng)數(shù)據(jù)庫”——分布式關(guān)系型數(shù)據(jù)庫簡介　106
3．8．2　數(shù)據(jù)庫的延伸——適用場景　106
3．8．3　支持SQL的分布式數(shù)據(jù)庫——典型產(chǎn)品　107
3．8．4　技術(shù)關(guān)注點(diǎn)　109
3．9　互聯(lián)網(wǎng)的“殺手級應(yīng)用”——搜索引擎　109
3．9．1　搜索引擎簡介　109
3．9．2　搜索什么？——適用場景　110
3．9．3　產(chǎn)品簡介　110
3．9．4　技術(shù)關(guān)注點(diǎn)　111
3．10　資源隔離的利器——容器的應(yīng)用　111
3．10．1　獨(dú)立的集裝箱——容器簡介　112
3．10．2　容器與虛擬機(jī)的區(qū)別　113
3．10．3　集裝箱能用在哪里？——容器應(yīng)用場景　114
3．10．4　如何部署？——Docker實(shí)施建議　115
第4章　大數(shù)據(jù)如何顯示分析結(jié)果？——數(shù)據(jù)分析與數(shù)據(jù)可視化　119
4．1　收集大數(shù)據(jù)就是為了分析——數(shù)據(jù)分析　120
4．1．1　分析方法有哪些？——數(shù)據(jù)分析簡介　120
4．1．2　數(shù)據(jù)分析的過程——適用場景　123
4．1．3　分析工具有哪些？——典型產(chǎn)品　123
4．1．4　什么最火？——深度學(xué)習(xí)典型產(chǎn)品　125
4．2　大數(shù)據(jù)也要學(xué)習(xí)“包裝”技術(shù)——數(shù)據(jù)可視化　129
4．2．1　如何讓數(shù)據(jù)更美觀？——數(shù)據(jù)可視化簡介　129
4．2．2　什么時(shí)候數(shù)據(jù)需要美化？——適用場景　130
4．2．3　美化數(shù)據(jù)結(jié)果的工具——典型產(chǎn)品　130
第5章　如何構(gòu)建開放的大數(shù)據(jù)平臺？——大數(shù)據(jù)開放平臺構(gòu)建　133
5．1　為什么要開放？——概述　134
5．1．1　開放是趨勢——大數(shù)據(jù)開放平臺的意義　134
5．1．2　誰在使用開放平臺？——大數(shù)據(jù)開放平臺主要角色　135
5．1．3　開放哪些內(nèi)容？——大數(shù)據(jù)開放平臺開放的內(nèi)容與范圍　135
5．2　看看別人家的平臺——大數(shù)據(jù)開放平臺參考架構(gòu)　137
5．3　開放哪些內(nèi)容？——基礎(chǔ)能力的開放　138
5．3．1　自己采集所需——數(shù)據(jù)采集能力開放　138
5．3．2　自己存儲數(shù)據(jù)——數(shù)據(jù)存儲能力開放　140
5．3．3　自己決定處理方式——數(shù)據(jù)處理能力開放　142
5．3．4　自己決定展現(xiàn)形式——展現(xiàn)能力開放　144
5．4　把管理權(quán)力也開放出去——數(shù)據(jù)管理能力的開放　145
5．4．1　自己設(shè)計(jì)作業(yè)任務(wù)——任務(wù)調(diào)度能力開放　145
5．4．2　自己編排數(shù)據(jù)字典——元數(shù)據(jù)管理能力開放　148
5．4．3　自己管理自己的數(shù)據(jù)質(zhì)量——數(shù)據(jù)質(zhì)量管理能力開放　149
5．4．4　自己承擔(dān)安全員——數(shù)據(jù)安全管理能力開放　149
5．4．5　能提供哪些服務(wù)？——服務(wù)目錄能力開放　150
5．5　如何管理系統(tǒng)？——平臺管理　151
5．5．1　系統(tǒng)有什么料？——資源管理　152
5．5．2　如何調(diào)度作業(yè)？——負(fù)載管理　152
5．5．3　資源如何分配——配額管理　153
5．5．4　能否計(jì)費(fèi)？——計(jì)量管理　153
5．6　“眾人拾柴火焰高”——開發(fā)者門戶　154
5．6．1　“你是誰？”——注冊認(rèn)證　154
5．6．2　“來個(gè)廚房”——資源申請　155
5．6．3　“再來二斤牛肉、一壺好酒”——數(shù)據(jù)申請　156
5．6．4　“吃飽喝足”——開發(fā)上線　157
第6章　安全無小事——大數(shù)據(jù)安全　159
6．1　安全很重要——大數(shù)據(jù)安全概述　160
6．2　非法入侵——數(shù)據(jù)訪問安全　161
6．2．1　你有權(quán)限嗎？——用戶認(rèn)證　161
6．2．2　誰可以訪問？——用戶管理　164
6．2．3　我授權(quán)給你——用戶授權(quán)　166
6．3　數(shù)據(jù)加密？——數(shù)據(jù)服務(wù)安全　169
6．3．1　屏蔽隱私內(nèi)容——數(shù)據(jù)脫敏　169
6．3．2　追查泄露者——數(shù)字水印　170
6．3．3　有口令嗎？——安全令牌管理　171
6．3．4　全程防護(hù)——服務(wù)攻擊檢測　171
6．4　數(shù)據(jù)存在保險(xiǎn)箱就安全嗎？——數(shù)據(jù)存儲安全　173
6．4．1　看不懂的天書——加密　173
6．4．2　不能接觸——數(shù)據(jù)隔離　174
第7章　建設(shè)之后，運(yùn)維工作更重要——大數(shù)據(jù)運(yùn)維管理平臺　177
7．1　如何構(gòu)建運(yùn)維環(huán)境——大數(shù)據(jù)運(yùn)維管理平臺簡介　178
7．2　功能點(diǎn)有哪些——大數(shù)據(jù)運(yùn)維管理平臺功能介紹　178
7．2．1　用戶管理　179
7．2．2　節(jié)點(diǎn)管理　179
7．2．3　組件管理　180
7．2．4　監(jiān)控與告警管理　181
7．2．5　日志管理　181
7．3　運(yùn)維產(chǎn)品有哪些——典型產(chǎn)品　182
7．3．1　產(chǎn)品列表　182
7．3．2　Ambari產(chǎn)品介紹　183
7．3．3　實(shí)施建議　184
第8章　數(shù)據(jù)質(zhì)量管理　185
8．1　數(shù)據(jù)質(zhì)量信息存儲　186
8．2　數(shù)據(jù)質(zhì)量監(jiān)控平臺　186
8．2．1　采集管理　187
8．2．2　規(guī)則管理　188
8．2．3　告警管理　193
8．2．4　申告處理　195
8．2．5　知識總結(jié)　196
8．2．6　質(zhì)量報(bào)告　197
8．2．7　任務(wù)調(diào)度　197
8．3　數(shù)據(jù)質(zhì)量應(yīng)用功能　198
附錄A　某公司大數(shù)據(jù)系統(tǒng)建設(shè)案例　201
附錄B　SH公司大數(shù)據(jù)PaaS平臺實(shí)施經(jīng)驗(yàn)　215
附錄C　FJ公司關(guān)于大數(shù)據(jù)高速路況實(shí)時(shí)監(jiān)測項(xiàng)目實(shí)施經(jīng)驗(yàn)　221
附錄D　其他公司大數(shù)據(jù)案例　229
附錄E　D-Docker技術(shù)原理　241