實(shí)用預(yù)測(cè)分析

Contents 目　　錄 

譯者序 

關(guān)于作者 

關(guān)于審校者 

前言 

第1章預(yù)測(cè)分析入門(mén) 1 

1.1許多行業(yè)中都有預(yù)測(cè)分析 2 

1.1.1市場(chǎng)營(yíng)銷(xiāo)中的預(yù)測(cè)分析 2 

1.1.2醫(yī)療中的預(yù)測(cè)分析 2 

1.1.3其他行業(yè)中的預(yù)測(cè)分析 3 

1.2技能和角色在預(yù)測(cè)分析中都很重要 3 

1.3預(yù)測(cè)分析軟件 4 

1.3.1開(kāi)源軟件 5 

1.3.2閉源軟件 5 

1.3.3和平共處 5 

1.4其他有用的工具 5 

1.4.1超越基礎(chǔ)知識(shí) 6 

1.4.2數(shù)據(jù)分析/研究 6 

1.4.3數(shù)據(jù)工程 6 

1.4.4管理 7 

1.4.5數(shù)據(jù)科學(xué)團(tuán)隊(duì) 7 

1.4.6看待預(yù)測(cè)分析的兩種不同方式 7 

1.5R 8 

1.5.1CRAN 8 

1.5.2安裝R語(yǔ)言 8 

1.5.3其他安裝R語(yǔ)言的方法 8 

1.6預(yù)測(cè)分析項(xiàng)目是如何組織的 9 

1.7圖形用戶界面 10 

1.8RStudio入門(mén) 11 

1.8.1重新布局以保持和示例一致 11 

1.8.2部分重要面板的簡(jiǎn)要描述 12 

1.8.3創(chuàng)建新項(xiàng)目 13 

1.9R語(yǔ)言控制臺(tái) 14 

1.10源代碼窗口 15 

1.11第一個(gè)預(yù)測(cè)模型 16 

1.12第二個(gè)腳本 18 

1.12.1代碼描述 19 

1.12.2predict函數(shù) 20 

1.12.3檢驗(yàn)預(yù)測(cè)誤差 21 

1.13　R語(yǔ)言包 22 

1.13.1stargazer包 22 

1.13.2安裝stargazer包 23 

1.13.3保存工作 24 

1.14參考資料 24 

1.15本章小結(jié) 24 

第2章　建模過(guò)程 25 

2.1結(jié)構(gòu)化方法的優(yōu)點(diǎn) 25 

2.2分析過(guò)程方法 26 

2.2.1CRISP-DM和SEMMA 27 

2.2.2CRISP-DM和SEMMA的圖表 27 

2.2.3敏捷過(guò)程 28 

2.2.4六西格瑪和根本原因 28 

2.2.5是否需要數(shù)據(jù)抽樣 28 

2.2.6使用所有數(shù)據(jù) 29 

2.2.7比較樣本與群體 29 

2.3第一步：理解業(yè)務(wù) 30 

2.4第二步：理解數(shù)據(jù) 36 

2.4.1衡量尺度 36 

2.4.2單變量分析 38 

2.5第三步：數(shù)據(jù)準(zhǔn)備 43 

2.6第四步：建模 44 

2.6.1具體模型說(shuō)明 45 

2.6.2邏輯回歸 46 

2.6.3支持向量機(jī) 47 

2.6.4決策樹(shù) 47 

2.6.5降維技術(shù) 51 

2.6.6主成分 51 

2.6.7聚類(lèi) 52 

2.6.8時(shí)間序列模型 52 

2.6.9樸素貝葉斯分類(lèi)器 53 

2.6.10文本挖掘技術(shù) 54 

2.7第五步：評(píng)估 57 

2.7.1模型驗(yàn)證 58 

2.7.2曲線下面積 59 

2.7.3樣本內(nèi)和樣本外測(cè)試、前進(jìn)測(cè)試 60 

2.7.4訓(xùn)練/測(cè)試/驗(yàn)證數(shù)據(jù)集 60 

2.7.5時(shí)間序列驗(yàn)證 61 

2.7.6最佳冠軍模型的基準(zhǔn)測(cè)試 61 

2.7.7專(zhuān)家意見(jiàn)：人與機(jī)器 61 

2.7.8元分析 61 

2.7.9飛鏢板方法 61 

2.8第六步：部署 62 

2.9參考資料 62 

2.10本章小結(jié) 62 

第3章　輸入和探索數(shù)據(jù) 64 

3.1數(shù)據(jù)輸入 64 

3.1.1文本文件輸入 65 

3.1.2數(shù)據(jù)庫(kù)表格 66 

3.1.3電子表格文件 67 

3.1.4XML和JSON數(shù)據(jù) 67 

3.1.5生成你自己的數(shù)據(jù) 68 

3.1.6處理大型文件的技巧 68 

3.1.7數(shù)據(jù)整理 68 

3.2連接數(shù)據(jù) 69 

3.2.1使用sqldf函數(shù) 69 

3.2.2生成數(shù)據(jù) 70 

3.2.3檢查元數(shù)據(jù) 71 

3.2.4使用內(nèi)部連接和外部連接來(lái)合并數(shù)據(jù) 72 

3.2.5識(shí)別有多個(gè)購(gòu)買(mǎi)記錄的成員 73 

3.2.6清除冗余記錄 74 

3.3探索醫(yī)院數(shù)據(jù)集 74 

3.3.1str(df)函數(shù)的輸出 74 

3.3.2View函數(shù)的輸出 75 

3.3.3colnames函數(shù) 75 

3.3.4summary函數(shù) 76 

3.3.5在瀏覽器中打開(kāi)文件 77 

3.3.6繪制分布圖 77 

3.3.7變量的可視化繪圖 78 

3.4轉(zhuǎn)置數(shù)據(jù)幀 80 

3.5缺失值 84 

3.5.1建立缺失值測(cè)試數(shù)據(jù)集 84 

3.5.2缺失值的不同類(lèi)型 85 

3.5.3糾正缺失值 87 

3.5.4使用替換過(guò)的值運(yùn)行回歸 90 

3.6替換分類(lèi)變量 91 

3.7異常值 91 

3.7.1異常值為什么重要 91 

3.7.2探測(cè)異常值 92 

3.8數(shù)據(jù)轉(zhuǎn)換 96 

3.8.1生成測(cè)試數(shù)據(jù) 97 

3.8.2Box-Cox轉(zhuǎn)換 97 

3.9變量化簡(jiǎn)/變量重要性 98 

3.9.1主成分分析法 98 

3.9.2全子集回歸 102 

3.9.3變量重要性 104 

3.10參考資料 106 

3.11本章小結(jié) 106 

第4章　回歸算法導(dǎo)論 107 

4.1監(jiān)督學(xué)習(xí)模型和無(wú)監(jiān)督學(xué)習(xí)模型 108 

4.1.1監(jiān)督學(xué)習(xí)模型 108 

4.1.2無(wú)監(jiān)督學(xué)習(xí)模型 108 

4.2回歸技術(shù) 109 

4.3廣義線性模型 110 

4.4邏輯回歸 110 

4.4.1比率 111 

4.4.2邏輯回歸系數(shù) 111 

4.4.3示例：在醫(yī)療中使用邏輯回歸來(lái)預(yù)測(cè)疼痛閾值 112 

4.4.4GLM模型擬合 114 

4.4.5檢驗(yàn)殘差項(xiàng) 115 

4.4.6添加變量的分布圖 116 

4.4.7p值及其效應(yīng)量 117 

4.4.8p值及其影響范圍 118 

4.4.9變量選擇 119 

4.4.10交互 121 

4.4.11擬合優(yōu)度統(tǒng)計(jì)量 123 

4.4.12置信區(qū)間和Wald統(tǒng)計(jì) 124 

4.4.13基本回歸診斷圖 124 

4.4.14分布圖類(lèi)型描述 124 

4.4.15擬合優(yōu)度：Hosmer-Lemeshow檢驗(yàn) 126 

4.4.16正則化 127 

4.4.17示例：ElasticNet 128 

4.4.18選擇一個(gè)正確的Lambda 128 

4.4.19基于Lambda輸出可能的系數(shù) 129 

4.5本章小結(jié) 130 

第5章決策樹(shù)、聚類(lèi)和SVM導(dǎo)論 131 

5.1決策樹(shù)算法 131 

5.1.1決策樹(shù)的優(yōu)點(diǎn) 131 

5.1.2決策樹(shù)的缺點(diǎn) 132 

5.1.3決策樹(shù)的基本概念 132 

5.1.4擴(kuò)展樹(shù) 132 

5.1.5不純度 133 

5.1.6控制樹(shù)的增長(zhǎng) 134 

5.1.7決策樹(shù)算法的類(lèi)型 134 

5.1.8檢查目標(biāo)變量 135 

5.1.9在rpart模型中使用公式符號(hào) 135 

5.1.10圖的解釋 136 

5.1.11輸出決策樹(shù)的文本版本 137 

5.1.12修剪 138 

5.1.13渲染決策樹(shù)的其他選項(xiàng) 139 

5.2聚類(lèi)分析 140 

5.2.1聚類(lèi)分析應(yīng)用于多種行業(yè) 140 

5.2.2什么是聚類(lèi) 140 

5.2.3聚類(lèi)的類(lèi)型 141 

5.2.4k均值聚類(lèi)算