機器學(xué)習(xí)與大數(shù)據(jù)技術(shù)

第 1章 緒論 1
1．1 機器學(xué)習(xí) 3
1．1．1概述 3
1．1．2評價準則 4
1．1．3分類 6
1．1．4常用工具 7
1．2 大數(shù)據(jù) 9
1．3 人工智能 10
1．4 圖像處理技術(shù) 12
第 2章 機器學(xué)習(xí)理論與方法 13
2．1 回歸分析與最小二乘法 13
2．2聚類 15
2．2．1簡介 15
2．2．2基本原理 15
2．2．3常用聚類算法 17
2．3 遺傳算法 20
2．3．1簡介 20
2．3．2基本原理 21
2．3．3特點與應(yīng)用 23
2．4 蟻群算法 23
2．4．1簡介 23
2．4．2基本原理 24
2．4．3特點與應(yīng)用 26
2．5 粒子群算法 27
2．5．1簡介 27
2．5．2基本原理 27
2．5．3特點與應(yīng)用 28
2．6 人工神經(jīng)網(wǎng)絡(luò) 29
2．6．1簡介 29
2．6．2神經(jīng)網(wǎng)絡(luò)基礎(chǔ) 31
2．6．3 BP神經(jīng)網(wǎng)絡(luò) 37
2．6．4 RBF神經(jīng)網(wǎng)絡(luò) 38
2．7支持向量機 40
2．7．1簡介 40
2．7．2基本原理 40
2．7．3特點與應(yīng)用 46
2．8 隱馬爾科夫模型 46
第3章 深度學(xué)習(xí)理論與方法 50
3．1 簡介 50
3．2 常見模型 51
3．2．1卷積神經(jīng)網(wǎng)絡(luò) 52
3．2．2受限玻爾茲曼機 54
3．2．3深度信念網(wǎng)絡(luò) 56
3．2．4自動編碼器 57
3．2．5降噪自動編碼器 59
3．2．6堆疊降噪自動編碼器 59
3．3 應(yīng)用場景 60
3．4 發(fā)展趨勢 61
3．4．1深度集成學(xué)習(xí) 61
3．4．2深度強化學(xué)習(xí) 62
3．4．3深度遷移學(xué)習(xí) 63
第4章 大數(shù)據(jù)處理技術(shù) 65
4．1 大數(shù)據(jù)簡介 65
4．1．1大數(shù)據(jù)概念與特點 65
4．1．2大數(shù)據(jù)類型 66
4．1．3大數(shù)據(jù)應(yīng)用 67
4．2 大數(shù)據(jù)技術(shù) 68
4．2．1數(shù)據(jù)獲取與預(yù)處理技術(shù) 68
4．2．2存儲與管理技術(shù) 71
4．2．3分析與挖掘技術(shù) 72
4．2．4可視化技術(shù) 74
4．3 大數(shù)據(jù)處理框架 79
4．3．1簡介 79
4．3．2 Hadoop 80
4．3．3 Spark 82
4．3．4 Storm 84
4．3．5 HBase 85
4．3．6 Hive 86
4．4 大數(shù)據(jù)面臨挑戰(zhàn) 86
4．4．1數(shù)據(jù)安全性 87
4．4．2計算復(fù)雜性 87
4．4．3計算時效性 87
第5章 大數(shù)據(jù)與智能系統(tǒng)開發(fā)——以農(nóng)業(yè)應(yīng)用為例 88
5．1 農(nóng)業(yè)信息化概述 88
5．1．1農(nóng)業(yè)信息概念 88
5．1．2農(nóng)業(yè)信息分類 88
5．1．3農(nóng)業(yè)信息技術(shù) 89
5．2 農(nóng)業(yè)大數(shù)據(jù)概述 89
5．2．1農(nóng)業(yè)大數(shù)據(jù)概念 89
5．2．2農(nóng)業(yè)大數(shù)據(jù)特點 90
5．2．3農(nóng)業(yè)大數(shù)據(jù)標準 90
5．2．4農(nóng)業(yè)大數(shù)據(jù)發(fā)展趨勢 91
5．3 農(nóng)業(yè)大數(shù)據(jù)技術(shù) 92
5．3．1獲取與預(yù)處理技術(shù) 92
5．3．2存儲與集成技術(shù) 95
5．3．3挖掘與可視化技術(shù) 95
5．3．4發(fā)展趨勢 96
5．4 農(nóng)業(yè)大數(shù)據(jù)機遇、挑戰(zhàn)與對策 97
5．4．1機遇 97
5．4．2挑戰(zhàn)與對策 97
5．5 基于安卓的農(nóng)業(yè)智能 99
5．5．1簡介 99
5．5．2APP開發(fā)步驟 100
5．5．3農(nóng)業(yè)APP 101
第6章 圖像處理與分析技術(shù) 102
6．1 簡介 102
6．1．1常用術(shù)語 102
6．1．2圖像處理與分析基礎(chǔ) 106
6．2 圖像處理技術(shù)在農(nóng)業(yè)中的應(yīng)用 111
6．2．1農(nóng)業(yè)圖像特點 111
6．2．2農(nóng)業(yè)應(yīng)用場景 111
6．3圖像細化算法 112
6．3．1細化算法原理 112
6．3．2改進算法 114
第7章 機器學(xué)習(xí)、大數(shù)據(jù)技術(shù)和圖像處理技術(shù)的應(yīng)用——以農(nóng)業(yè)應(yīng)用為例 118
7．1 簡介 118
7．2 隨機森林在棉蚜等級預(yù)測中的應(yīng)用 118
7．2．1隨機森林原理 118
7．2．2隨機森林構(gòu)建 119
7．2．3袋外數(shù)據(jù)OOB和OOB估計 120
7．2．4實驗結(jié)果與分析 121
7． 3 基于鄰域核函數(shù)的局部支持向量機在樹木圖像分類中的應(yīng)用 127
7．3．1鄰域核函數(shù) 128
7．3．2基于鄰域核函數(shù)的局部支持向量機 129
7．3．3實驗結(jié)果與分析 129
7．4 局部支持向量回歸在小麥蚜蟲預(yù)測中的應(yīng)用 132
7．4．1小麥蚜蟲預(yù)測原理 132
7．4．2數(shù)據(jù)來源與預(yù)處理 132
7．4．3支持向量回歸與局部支持向量回歸 134
7．4．4實驗結(jié)果與分析 136
7．5 深度學(xué)習(xí)在小麥蚜蟲短期預(yù)測中的應(yīng)用 138
7．5．1數(shù)據(jù)來源與預(yù)處理 138
7．5．2模型評價指標 139
7．5．3基于DBN_LSVR的小麥蚜蟲短期預(yù)測模型 140
7．5．4實驗結(jié)果與分析 141
7．6 基于Spark的支持向量機在小麥病害圖像識別中的應(yīng)用 143
7．6．1數(shù)據(jù)來源與預(yù)處理 144
7．6．2 基于Spark的支持向量機 149
7．6．3實驗結(jié)果與分析 151
7．7 Hadoop平臺下基于粒子群的局部支持向量機 153
7．7．1相關(guān)技術(shù)及算法 154
7．7．2改進算法原理 155
7．7．3 MapRuduce實現(xiàn) 155
7．7．4改進思想 156
7．7．5實驗結(jié)果與分析 157
第8章 Python基礎(chǔ) 160
8．1 基礎(chǔ)知識 160
8．1．1Python安裝與使用 160
8．1．2編碼規(guī)范 160
8．1．3模塊導(dǎo)入 161
8．1．4異常處理 163
8．2 語言基礎(chǔ) 164
8．2．1基本數(shù)據(jù)類型 164
8．2．2運算符與表達式 166
8．2．3選擇與循環(huán) 172
8．2．4字符串 176
8．2．5列表、元組與字典 178
8．2．6正則表達式 187
8．3 函數(shù) 190
8．3．1函數(shù)定義 190
8．3．2 函數(shù)調(diào)用 191
8．3．3函數(shù)參數(shù) 192
8．3．4返回值 195
8．3．5變量作用域 196
8．4 類 197
8．4．1類定義 197
8．4．2類方法 198
8．4．3繼承與多態(tài) 199
8．4．4應(yīng)用舉例 199
8．5 文件 206
8．5．1打開和關(guān)閉 206
8．5．2讀寫 207
8．5．3其他操作 208
8．5．4目錄操作 209
第9章 Python數(shù)據(jù)處理與機器學(xué)習(xí) 210
9．1 矩陣計算 210
9．1．1基礎(chǔ)知識 210
9．1．2應(yīng)用舉例 218
9．2 網(wǎng)絡(luò)爬蟲 222
9．2．1基礎(chǔ)知識 222
9．2．2應(yīng)用舉例 226
9．3 數(shù)據(jù)庫 226
9．3．1 Sqlite數(shù)據(jù)庫 226
9．3．2 MySQL數(shù)據(jù)庫 228
9．4 OpenCV圖像編程 230
9．4．1圖像基礎(chǔ)操作 230
9．4．2圖像幾何變換 231
9．4．3圖像濾波 233
9．4．4數(shù)學(xué)形態(tài)學(xué) 235
9．4．5應(yīng)用舉例 236
9．5 數(shù)據(jù)可視化 237
9．5．1 matplotlib可視化 237
9．5．2 plotly可視化 238
9．6 基于Python機器學(xué)習(xí)算法 240
9．6．1線性回歸 240
9．6．2 Logistic回歸 242
9．6．3 K近鄰算法 245
9．6．4 K均值聚類 247
9．6．5決策樹 250
9．7 基于Python大數(shù)據(jù)處理技術(shù) 255
9．7．1 MapReduce編程 255
9．7．2 應(yīng)用舉例 256
9．8 Tensorflow編程 256
9．8．1簡介 256
9．8．2基礎(chǔ)知識 258
9．8．3應(yīng)用舉例 260
參考文獻 261