數(shù)據(jù)挖掘基礎(chǔ)（第2版）

第1 章 數(shù)據(jù)挖掘的概念
1.1 數(shù)據(jù)挖掘概述 1
1.1.1 什么是數(shù)據(jù)挖掘 2
1.1.2 數(shù)據(jù)挖掘常用算法概述 2
1.1.3 數(shù)據(jù)挖掘常用工具概述 3
1.2 數(shù)據(jù)探索 5
1.2.1 數(shù)據(jù)概述 5
1.2.2 數(shù)據(jù)質(zhì)量 6
1.2.3 數(shù)據(jù)預(yù)處理 8
1.3 數(shù)據(jù)挖掘的應(yīng)用 10
1.3.1 數(shù)據(jù)挖掘的現(xiàn)狀及發(fā)展趨勢 10
1.3.2 數(shù)據(jù)挖掘需要解決的問題 10
1.3.3 數(shù)據(jù)挖掘的應(yīng)用場景 12
1.4 作業(yè)與練習(xí) 15
參考文獻(xiàn) 15
第2 章 分類
2.1 分類概述 16
2.1.1 分類的基本概念 16
2.1.2 解決分類問題的一般方法 16
2.1.3 分類模型的過擬合 18
2.2 決策樹 18
2.2.1 決策樹的工作原理及構(gòu)建 18
2.2.2 決策樹歸納算法 19
2.2.3 處理決策樹中的過擬合 21
2.3 貝葉斯決策與分類器 21
2.3.1 規(guī)則分類器 21
2.3.2 貝葉斯定理在分類中的應(yīng)用 22
2.3.3 樸素貝葉斯在分類中的應(yīng)用 23
2.4 支持向量機(jī) 24
2.4.1 最大邊緣超平面 24
VIII 數(shù)據(jù)挖掘基礎(chǔ)（第2 版）
2.4.2 線性支持向量機(jī)SVM 25
2.4.3 非線性支持向量機(jī)SVM 27
2.5 分類在實(shí)際場景中的應(yīng)用案例 31
2.5.1 在關(guān)鍵字檢索中的應(yīng)用 31
2.5.2 在甄別欺詐行為中的應(yīng)用 32
2.5.3 在在線廣告推薦中的應(yīng)用 32
2.5.4 在Web 機(jī)器人檢測中的應(yīng)用 34
2.6 作業(yè)與練習(xí) 35
參考文獻(xiàn) 35
第3 章 聚類
3.1 聚類概述 36
3.1.1 聚類的基本概念 36
3.1.2 聚類的評價標(biāo)準(zhǔn) 37
3.1.3 聚類算法的選擇 39
3.2 聚類算法 39
3.2.1 層次聚類算法 39
3.2.2 劃分聚類算法 40
3.2.3 基于密度的聚類算法 41
3.2.4 基于網(wǎng)格的聚類算法 42
3.2.5 基于模型的聚類算法 43
3.2.6 使用Spark 實(shí)現(xiàn)K-means 的訓(xùn)練 43
3.3 聚合分析方法 45
3.3.1 歐氏距離 45
3.3.2 聚合過程 45
3.3.3 聚類樹 47
3.3.4 聚合分析方法應(yīng)用實(shí)例 48
3.4 聚類在實(shí)際場景中的應(yīng)用案例 49
3.4.1 在電網(wǎng)中的應(yīng)用 49
3.4.2 在電力用戶用電行為分析中的應(yīng)用 49
3.4.3 在電商中的應(yīng)用 50
3.4.4 聚類實(shí)現(xiàn)的例子 50
3.5 作業(yè)與練習(xí) 56
參考文獻(xiàn) 56
第4 章 關(guān)聯(lián)規(guī)則
4.1 關(guān)聯(lián)規(guī)則概述 57
4.1.1 經(jīng)典案例導(dǎo)入 57
4.1.2 關(guān)聯(lián)規(guī)則的基本概念和定義 58
4.1.3 關(guān)聯(lián)規(guī)則的分類 60
4.2 關(guān)聯(lián)規(guī)則的挖掘過程 61
4.2.1 知識回顧 61
4.2.2 頻繁項(xiàng)集產(chǎn)生 62
4.2.3 強(qiáng)關(guān)聯(lián)規(guī)則 63
4.2.4 關(guān)聯(lián)規(guī)則評價標(biāo)準(zhǔn) 64
4.3 關(guān)聯(lián)規(guī)則的Apriori 算法 65
4.3.1 知識回顧 65
4.3.2 Apriori 算法的核心思想 66
4.3.3 Apriori 算法描述 66
4.3.4 Apriori 算法評價 68
4.3.5 Apriori 算法改進(jìn) 68
4.4 關(guān)聯(lián)規(guī)則的FP-growth 算法 69
4.4.1 構(gòu)建FP 樹 70
4.4.2 從FP 樹中挖掘頻繁項(xiàng)集 72
4.4.3 FP-growth 算法與Apriori 算法的區(qū)別 73
4.4.4 使用Spark 實(shí)現(xiàn)FP-growth 算法的訓(xùn)練 73
4.5 實(shí)戰(zhàn)：關(guān)聯(lián)規(guī)則挖掘?qū)嵗? 74
4.5.1 關(guān)聯(lián)規(guī)則挖掘技術(shù)在國內(nèi)外的應(yīng)用現(xiàn)狀 74
4.5.2 關(guān)聯(lián)規(guī)則應(yīng)用實(shí)例 75
4.5.3 關(guān)聯(lián)規(guī)則在大型超市中應(yīng)用的步驟 77
4.6 作業(yè)與練習(xí) 79
參考文獻(xiàn) 79
第5 章 綜合實(shí)戰(zhàn)—日志的挖掘與應(yīng)用
5.1 日志的概念 80
5.1.1 日志是什么 80
5.1.2 日志能做什么 81
5.2 日志處理 82
5.2.1 產(chǎn)生日志 82
5.2.2 傳輸日志 83
5.2.3 存儲日志 85
5.2.4 分析日志 88
5.2.5 日志規(guī)范與標(biāo)準(zhǔn) 97
5.3 R 語言與日志分析工具 99
5.3.1 R 語言 99
5.3.2 日志分析工具 103
5.3.3 日志分析系統(tǒng)的規(guī)劃建設(shè) 106
5.4 日志挖掘應(yīng)用 110
5.4.1 安全運(yùn)維 110
5.4.2 系統(tǒng)健康分析 110
5.4.3 用戶行為分析 111
5.4.4 業(yè)務(wù)分析設(shè)計 112
5.5 日志分析挖掘?qū)嵗? 113
5.6 作業(yè)與練習(xí) 115
參考文獻(xiàn) 115
第6 章 數(shù)據(jù)挖掘應(yīng)用案例
6.1 電力行業(yè)采用聚類方法進(jìn)行主變油溫分析 116
6.1.1 需求背景及采用的大數(shù)據(jù)分析方法 116
6.1.2 大數(shù)據(jù)分析方法的實(shí)現(xiàn)過程 117
6.1.3 大數(shù)據(jù)分析方法的實(shí)現(xiàn)結(jié)果 119
6.2 銀行信貸評價 119
6.2.1 簡介 119
6.2.2 神經(jīng)網(wǎng)絡(luò)模型 120
6.2.3 實(shí)證檢驗(yàn) 120
6.3 指數(shù)預(yù)測 121
6.3.1 金融時間序列概況 121
6.3.2 小波消噪 122
6.3.3 向量機(jī) 123
6.3.4 指數(shù)預(yù)測 123
6.4 客戶分群的精準(zhǔn)智能營銷 124
6.4.1 挖掘目標(biāo) 124
6.4.2 分析方法和過程 124
6.4.3 建模仿真 128
6.5 使用WEKA 進(jìn)行房屋定價 129
6.6 作業(yè)與練習(xí) 133
參考文獻(xiàn) 133
附錄A