數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)導(dǎo)論

第1章 什么是大數(shù)據(jù) 1
1.1 數(shù)據(jù)、大數(shù)據(jù)及數(shù)據(jù)挖掘 1
1.1.1 數(shù)據(jù) 1
1.1.2 大數(shù)據(jù) 2
1.1.3 數(shù)據(jù)挖掘 3
1.1.4 數(shù)據(jù)挖掘的技術(shù)基礎(chǔ) 4
1.2 大數(shù)據(jù)與統(tǒng)計學(xué) 6
1.3 機器學(xué)習(xí)與人工智能 7
1.3.1 機器學(xué)習(xí)與人工智能 7
1.3.2 機器學(xué)習(xí)的定義 8
1.4 相關(guān)領(lǐng)域應(yīng)用 9
1.4.1 數(shù)據(jù)挖掘的相關(guān)案例 9
1.4.2 大數(shù)據(jù)應(yīng)用領(lǐng)域 12
1.5 小結(jié) 15
1.6 習(xí)題 16
第2章 Python基礎(chǔ)知識 17
2.1 Python概述 17
2.1.1 Python簡介 17
2.1.2 Python的特點 18
2.1.3 Python集成開發(fā)環(huán)境的搭建 19
2.2 Python數(shù)據(jù)類型 22
2.2.1 數(shù)字 22
2.2.2 字符串 27
2.2.3 索引與分片 33
2.2.4 列表 35
2.2.5 元組 41
2.2.6 可變與不可變類型 44
2.2.7 字典 46
2.2.8 集合與不可變集合 50
2.3 判斷與循環(huán) 56
2.3.1 判斷語句 56
2.3.2 循環(huán)語句 62
2.3.3 一些簡單實例 69
2.4 函數(shù)與模塊 72
2.4.1. Python函數(shù) 72
2.4.2 內(nèi)置函數(shù) 77
2.4.3 模塊 81
2.4.4 階段案例—學(xué)生管理系統(tǒng) 86
2.5 文件讀寫 91
2.5.1 讀文件 91
2.5.2 寫文件 92
2.5.3 中文文件的讀寫 94
2.6 異常與警告 95
2.6.1 異常 95
2.6.2 警告 103
2.7 本章小結(jié) 104
2.8 習(xí)題 105
第3章 數(shù)據(jù)分析與可視化 107
3.1 Python數(shù)據(jù)分析包 107
3.1.1 Pandas 107
3.1.2 Numpy 108
3.1.3 SciPy 108
3.1.4 Matplotlib 109
3.2 數(shù)據(jù)準(zhǔn)備 110
3.2.1 數(shù)據(jù)類型 110
3.2.2 數(shù)據(jù)結(jié)構(gòu) 110
3.2.3 數(shù)據(jù)導(dǎo)入 119
3.2.4 數(shù)據(jù)導(dǎo)出 122
3.3 數(shù)據(jù)處理 125
3.3.1 數(shù)據(jù)清洗 125
3.3.2 數(shù)據(jù)抽取 130
3.3.3 排名索引 141
3.3.4 數(shù)據(jù)合并 145
3.3.5 數(shù)據(jù)計算 150
3.3.6 數(shù)據(jù)分組 151
3.3.7 日期處理 153
3.4 數(shù)據(jù)分析 159
3.4.1 基本統(tǒng)計 159
3.4.2 分組分析 161
3.4.3 分布分析 162
3.4.4 交叉分析 165
3.4.5 結(jié)構(gòu)分析 167
3.4.6 相關(guān)分析 169
3.5 數(shù)據(jù)可視化 171
3.5.1 餅圖 171
3.5.2 散點圖 172
3.5.3 折線圖 174
3.5.4 柱形圖 179
3.5.5 直方圖 182
3.6 本章小結(jié) 183
3.7 習(xí)題 184
第4章 數(shù)據(jù)挖掘（SQL/Python） 186
4.1 數(shù)據(jù)挖掘緒論 186
4.1.1 數(shù)據(jù)挖掘定義 186
4.1.2 數(shù)據(jù)挖掘源起 187
4.1.3 數(shù)據(jù)挖掘研究目標(biāo) 188
4.1.4 數(shù)據(jù)挖掘開源工具 190
4.2數(shù)據(jù)存儲 194
4.2.1 數(shù)據(jù)庫數(shù)據(jù) 194
4.2.2 數(shù)據(jù)倉庫 195
4.2.3 數(shù)據(jù)倉庫建模和實現(xiàn) 197
4.2.4 非關(guān)系型數(shù)據(jù)庫 201
4.2.5 實時流數(shù)據(jù)與框架 203
4.3 數(shù)據(jù)挖掘技術(shù) 204
4.3.1 分類與預(yù)測 204
4.3.2 聚類分析 207
4.3.3 關(guān)聯(lián)規(guī)則 212
4.3.4 離群點檢測 215
4.3.5 時間序列分析 218
4.4 數(shù)據(jù)挖掘應(yīng)用 220
4.4.1 系統(tǒng)日志和時間挖掘 220
4.4.2 社交媒體挖掘 222
4.4.3 文本挖掘 225
4.4.4 推薦系統(tǒng) 227
4.4.5 數(shù)據(jù)挖掘與智慧城市 228
4.5 習(xí)題 232
第5章 機器學(xué)習(xí) 241
5.1機器學(xué)習(xí)概述 241
5.1.1 機器學(xué)習(xí)的概念 241
5.1.2 機器學(xué)習(xí)的歷史 242
5.1.3 機器學(xué)習(xí)的發(fā)展 243
5.2 回歸分析 243
5.2.1 線性回歸介紹 243
5.2.2 線性回歸相關(guān)性 247
5.2.3 多項式回歸數(shù)據(jù)擬合 250
5.2.4 非線性回歸 250
5.3 分類算法 251
5.3.1 k近鄰算法 251
5.3.2 決策樹算法 253
5.3.3 支持向量機算法 255
5.3.4 樸素貝葉斯算法 256
5.4 聚類算法 259
5.4.1 k-means算法 259
5.4.2 層次聚類算法 262
5.5 深度學(xué)習(xí) 263
5.5.1 人工神經(jīng)網(wǎng)絡(luò) 263
5.5.2 感知機和深度神經(jīng)網(wǎng)絡(luò) 264
5.5.3 循環(huán)網(wǎng)絡(luò) 265
5.5.4 卷積神經(jīng)網(wǎng)絡(luò) 266
5.5.5 自編碼器 267
5.6 機器學(xué)習(xí)的應(yīng)用 268
5.7 本章小結(jié) 270
5.8 習(xí)題 271
第6章 大數(shù)據(jù)處理 273
6.1 Hadoop概述 273
6.1.1 Hadoop簡介 273
6.1.2 Hadoop的特性 274
6.1.3 Hadoop的發(fā)展 274
6.2 Hadoop生態(tài)系統(tǒng) 275
6.2.1 HDFS 276
6.2.2 MapReduce 276
6.2.3 HBase 277
6.2.4 Hive 277
6.2.5 Pig 277
6.2.6 Zookeeper 277
6.2.7 Mahout 277
6.2.8 Sqoop 277
6.2.9 Flume 278
6.2.10 Ambari 278
6.3 Hadoop集群的安裝與配置 278
6.3.1 操作系統(tǒng)CentOS的安裝 279
6.3.2 創(chuàng)建Hadoop用戶與系統(tǒng)設(shè)置 279
6.3.3 安裝Java 280
6.3.4 安裝Hadoop 281
6.3.5 克隆虛擬機與網(wǎng)絡(luò)設(shè)置 284
6.3.6 SSH無密碼登錄設(shè)置 285
6.3.7 啟停和驗證集群 286
6.4 分布式文件系統(tǒng)HDFS 288
6.4.1 HDFS相關(guān)概念 288
6.4.2 HDFS體系結(jié)構(gòu) 289
6.4.3 HDFS的數(shù)據(jù)讀寫過程 290
6.4.4 HDFS文件訪問與控制 293
6.4.5 編程實踐：HDFS文件上傳、下載與讀寫 294
6.5 MapReduce編程模型 295
6.5.1 MapReduce基本原理 295
6.5.2 MapReduce的工作機制 297
6.5.3 編程實踐：統(tǒng)計日志 299
6.6 資源管理調(diào)度框架YARN 303
6.6.1 YARN設(shè)計思路 303
6.6.2 YARN體系結(jié)構(gòu) 304
6.6.3 YARN工作流程 306
6.6.4 編程實踐：在YARN上運行WordCount程序 307
6.7 Spark 310
6.7.1 Spark簡介 310
6.7.2 Spark生態(tài)系統(tǒng) 311
6.7.3 Spark運行架構(gòu) 312
6.7.4 Spark的部署和應(yīng)用架構(gòu) 316
6.7.5 Spark集群的安裝與配置 317
6.7.6 Pyspark安裝與配置 321
6.7.7 編程實踐：統(tǒng)計素數(shù)數(shù)量 326
6.8 本章小結(jié) 328
6.9 習(xí)題 329