機(jī)器學(xué)習(xí)實(shí)戰(zhàn)：基于Scikit-Learn和TensorFlow

前言1 

第一部分 機(jī)器學(xué)習(xí)基礎(chǔ) 

第1章 機(jī)器學(xué)習(xí)概覽11 

什么是機(jī)器學(xué)習(xí)12 

為什么要使用機(jī)器學(xué)習(xí)12 

機(jī)器學(xué)習(xí)系統(tǒng)的種類(lèi)15 

監(jiān)督式/無(wú)監(jiān)督式學(xué)習(xí)16 

批量學(xué)習(xí)和在線(xiàn)學(xué)習(xí)21 

基于實(shí)例與基于模型的學(xué)習(xí)24 

機(jī)器學(xué)習(xí)的主要挑戰(zhàn)29 

訓(xùn)練數(shù)據(jù)的數(shù)量不足29 

訓(xùn)練數(shù)據(jù)不具代表性30 

質(zhì)量差的數(shù)據(jù)32 

無(wú)關(guān)特征32 

訓(xùn)練數(shù)據(jù)過(guò)度擬合33 

訓(xùn)練數(shù)據(jù)擬合不足34 

退后一步35 

測(cè)試與驗(yàn)證35 

練習(xí)37 

第2章 端到端的機(jī)器學(xué)習(xí)項(xiàng)目39 

使用真實(shí)數(shù)據(jù)39 

觀察大局40 

框架問(wèn)題41 

選擇性能指標(biāo)42 

檢查假設(shè)45 

獲取數(shù)據(jù)45 

創(chuàng)建工作區(qū)45 

下載數(shù)據(jù)48 

快速查看數(shù)據(jù)結(jié)構(gòu)49 

創(chuàng)建測(cè)試集52 

從數(shù)據(jù)探索和可視化中獲得洞見(jiàn)56 

將地理數(shù)據(jù)可視化57 

尋找相關(guān)性59 

試驗(yàn)不同屬性的組合61 

機(jī)器學(xué)習(xí)算法的數(shù)據(jù)準(zhǔn)備62 

數(shù)據(jù)清理63 

處理文本和分類(lèi)屬性65 

自定義轉(zhuǎn)換器67 

特征縮放68 

轉(zhuǎn)換流水線(xiàn)68 

選擇和訓(xùn)練模型70 

培訓(xùn)和評(píng)估訓(xùn)練集70 

使用交叉驗(yàn)證來(lái)更好地進(jìn)行評(píng)估72 

微調(diào)模型74 

網(wǎng)格搜索74 

隨機(jī)搜索76 

集成方法76 

分析最佳模型及其錯(cuò)誤76 

通過(guò)測(cè)試集評(píng)估系統(tǒng)77 

啟動(dòng)、監(jiān)控和維護(hù)系統(tǒng)78 

試試看79 

練習(xí)79 

第3章 分類(lèi)80 

MNIST80 

訓(xùn)練一個(gè)二元分類(lèi)器82 

性能考核83 

使用交叉驗(yàn)證測(cè)量精度83 

混淆矩陣84 

精度和召回率86 

精度/召回率權(quán)衡87 

ROC曲線(xiàn)90 

多類(lèi)別分類(lèi)器93 

錯(cuò)誤分析95 

多標(biāo)簽分類(lèi)98 

多輸出分類(lèi)99 

練習(xí)100 

第4章 訓(xùn)練模型102 

線(xiàn)性回歸103 

標(biāo)準(zhǔn)方程104 

計(jì)算復(fù)雜度106 

梯度下降107 

批量梯度下降110 

隨機(jī)梯度下降112 

小批量梯度下降114 

多項(xiàng)式回歸115 

學(xué)習(xí)曲線(xiàn)117 

正則線(xiàn)性模型121 

嶺回歸121 

套索回歸123 

彈性網(wǎng)絡(luò)125 

早期停止法126 

邏輯回歸127 

概率估算127 

訓(xùn)練和成本函數(shù)128 

決策邊界129 

Softmax回歸131 

練習(xí)134 

第5章 支持向量機(jī)136 

線(xiàn)性SVM分類(lèi)136 

軟間隔分類(lèi)137 

非線(xiàn)性SVM分類(lèi)139 

多項(xiàng)式核140 

添加相似特征141 

高斯RBF核函數(shù)142 

計(jì)算復(fù)雜度143 

SVM回歸144 

工作原理145 

決策函數(shù)和預(yù)測(cè)146 

訓(xùn)練目標(biāo)146 

二次規(guī)劃148 

對(duì)偶問(wèn)題149 

核化SVM149 

在線(xiàn)SVM151 

練習(xí)152 

第6章 決策樹(shù)154 

決策樹(shù)訓(xùn)練和可視化154 

做出預(yù)測(cè)155 

估算類(lèi)別概率157 

CART訓(xùn)練算法158 

計(jì)算復(fù)雜度158 

基尼不純度還是信息熵159 

正則化超參數(shù)159 

回歸161 

不穩(wěn)定性162 

練習(xí)163 

第7章 集成學(xué)習(xí)和隨機(jī)森林165 

投票分類(lèi)器165 

bagging和pasting168 

Scikit-Learn的bagging和pasting169 

包外評(píng)估170 

Random Patches和隨機(jī)子空間171 

隨機(jī)森林172 

極端隨機(jī)樹(shù)173 

特征重要性173 

提升法174 

AdaBoost175 

梯度提升177 

堆疊法181 

練習(xí)184 

第8章 降維185 

維度的詛咒186 

數(shù)據(jù)降維的主要方法187 

投影187 

流形學(xué)習(xí)189 

PCA190 

保留差異性190 

主成分191 

低維度投影192 

使用Scikit-Learn192 

方差解釋率193 

選擇正確數(shù)量的維度193 

PCA壓縮194 

增量PCA195 

隨機(jī)PCA195 

核主成分分析196 

選擇核函數(shù)和調(diào)整超參數(shù)197 

局部線(xiàn)性嵌入199 

其他降維技巧200 

練習(xí)201 

第二部分 神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí) 

第9章 運(yùn)行TensorFlow205 

安裝207 

創(chuàng)建一個(gè)計(jì)算圖并在會(huì)話(huà)中執(zhí)行208 

管理圖209 

節(jié)點(diǎn)值的生命周期210 

TensorFlow中的線(xiàn)性回歸211 

實(shí)現(xiàn)梯度下降211 

手工計(jì)算梯度212 

使用自動(dòng)微分212 

使用優(yōu)化器214 

給訓(xùn)練算法提供數(shù)據(jù)214 

保存和恢復(fù)模型215 

用TensorBoard來(lái)可視化圖和訓(xùn)練曲線(xiàn)216 

命名作用域219 

模塊化220 

共享變量222 

練習(xí)225 

第10章 人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介227 

從生物神經(jīng)元到人工神經(jīng)元227 

生物神經(jīng)元228 

具有神經(jīng)元的邏輯計(jì)算229 

感知器230 

多層感知器和反向傳播233 

用TensorFlow的高級(jí)API來(lái)訓(xùn)練MLP236 

使用純TensorFlow訓(xùn)練DNN237 

構(gòu)建階段237 

執(zhí)行階段240 

使用神經(jīng)網(wǎng)絡(luò)241 

微調(diào)神經(jīng)網(wǎng)絡(luò)的超參數(shù)242 

隱藏層的個(gè)數(shù)242 

每個(gè)隱藏層中的神經(jīng)元數(shù)243 

激活函數(shù)243 

練習(xí)244 

第11章 訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)245 

梯度消失/爆炸問(wèn)題245 

Xavier初始化和He初始化246 

非飽和激活函數(shù)248 

批量歸一化250 

梯度剪裁254 

重用預(yù)訓(xùn)練圖層255 

重用TensorFlow模型255 

重用其他框架的模型256 

凍結(jié)低層257 

緩存凍結(jié)層257 

調(diào)整、丟棄或替換高層258 

模型動(dòng)物園258 

無(wú)監(jiān)督的預(yù)訓(xùn)練259 

輔助任務(wù)中的預(yù)訓(xùn)練260 

快速優(yōu)化器261 

Momentum優(yōu)化261 

Nesterov梯度加速262 

AdaGrad263 

RMSProp265 

Adam優(yōu)化265 

學(xué)習(xí)速率調(diào)度267 

通過(guò)正則化避免過(guò)度擬合269 

提前停止269 

1和2正則化269 

dropout270 

最大范數(shù)正則化273 

數(shù)據(jù)擴(kuò)充274 

實(shí)用指南275 

練習(xí)276 

第12章 跨設(shè)備和服務(wù)器的分布式TensorFlow279 

一臺(tái)機(jī)器上的多個(gè)運(yùn)算資源280 

安裝280 

管理GPU RAM282 

在設(shè)備上操作284 

并行執(zhí)行287 

控制依賴(lài)288 

多設(shè)備跨多服務(wù)器288 

開(kāi)啟一個(gè)會(huì)話(huà)290 

master和worker服務(wù)290 

分配跨任務(wù)操作291 

跨多參數(shù)服務(wù)器分片變量291 

用資源容器跨會(huì)話(huà)共享狀態(tài)292 

使用TensorFlow隊(duì)列進(jìn)行異步通信294 

直接從圖中加載數(shù)據(jù)299 

在TensorFlow集群上并行化神經(jīng)網(wǎng)絡(luò)305 

一臺(tái)設(shè)備一個(gè)神經(jīng)網(wǎng)絡(luò)305 

圖內(nèi)與圖間復(fù)制306 

模型并行化308 

數(shù)據(jù)并行化309 

練習(xí)314 

第13章 卷積神經(jīng)網(wǎng)絡(luò)31