實(shí)用預(yù)測分析

Contents 目　　錄 

譯者序 

關(guān)于作者 

關(guān)于審校者 

前言 

第1章預(yù)測分析入門 1 

1.1許多行業(yè)中都有預(yù)測分析 2 

1.1.1市場營銷中的預(yù)測分析 2 

1.1.2醫(yī)療中的預(yù)測分析 2 

1.1.3其他行業(yè)中的預(yù)測分析 3 

1.2技能和角色在預(yù)測分析中都很重要 3 

1.3預(yù)測分析軟件 4 

1.3.1開源軟件 5 

1.3.2閉源軟件 5 

1.3.3和平共處 5 

1.4其他有用的工具 5 

1.4.1超越基礎(chǔ)知識(shí) 6 

1.4.2數(shù)據(jù)分析/研究 6 

1.4.3數(shù)據(jù)工程 6 

1.4.4管理 7 

1.4.5數(shù)據(jù)科學(xué)團(tuán)隊(duì) 7 

1.4.6看待預(yù)測分析的兩種不同方式 7 

1.5R 8 

1.5.1CRAN 8 

1.5.2安裝R語言 8 

1.5.3其他安裝R語言的方法 8 

1.6預(yù)測分析項(xiàng)目是如何組織的 9 

1.7圖形用戶界面 10 

1.8RStudio入門 11 

1.8.1重新布局以保持和示例一致 11 

1.8.2部分重要面板的簡要描述 12 

1.8.3創(chuàng)建新項(xiàng)目 13 

1.9R語言控制臺(tái) 14 

1.10源代碼窗口 15 

1.11第一個(gè)預(yù)測模型 16 

1.12第二個(gè)腳本 18 

1.12.1代碼描述 19 

1.12.2predict函數(shù) 20 

1.12.3檢驗(yàn)預(yù)測誤差 21 

1.13　R語言包 22 

1.13.1stargazer包 22 

1.13.2安裝stargazer包 23 

1.13.3保存工作 24 

1.14參考資料 24 

1.15本章小結(jié) 24 

第2章　建模過程 25 

2.1結(jié)構(gòu)化方法的優(yōu)點(diǎn) 25 

2.2分析過程方法 26 

2.2.1CRISP-DM和SEMMA 27 

2.2.2CRISP-DM和SEMMA的圖表 27 

2.2.3敏捷過程 28 

2.2.4六西格瑪和根本原因 28 

2.2.5是否需要數(shù)據(jù)抽樣 28 

2.2.6使用所有數(shù)據(jù) 29 

2.2.7比較樣本與群體 29 

2.3第一步：理解業(yè)務(wù) 30 

2.4第二步：理解數(shù)據(jù) 36 

2.4.1衡量尺度 36 

2.4.2單變量分析 38 

2.5第三步：數(shù)據(jù)準(zhǔn)備 43 

2.6第四步：建模 44 

2.6.1具體模型說明 45 

2.6.2邏輯回歸 46 

2.6.3支持向量機(jī) 47 

2.6.4決策樹 47 

2.6.5降維技術(shù) 51 

2.6.6主成分 51 

2.6.7聚類 52 

2.6.8時(shí)間序列模型 52 

2.6.9樸素貝葉斯分類器 53 

2.6.10文本挖掘技術(shù) 54 

2.7第五步：評(píng)估 57 

2.7.1模型驗(yàn)證 58 

2.7.2曲線下面積 59 

2.7.3樣本內(nèi)和樣本外測試、前進(jìn)測試 60 

2.7.4訓(xùn)練/測試/驗(yàn)證數(shù)據(jù)集 60 

2.7.5時(shí)間序列驗(yàn)證 61 

2.7.6最佳冠軍模型的基準(zhǔn)測試 61 

2.7.7專家意見：人與機(jī)器 61 

2.7.8元分析 61 

2.7.9飛鏢板方法 61 

2.8第六步：部署 62 

2.9參考資料 62 

2.10本章小結(jié) 62 

第3章　輸入和探索數(shù)據(jù) 64 

3.1數(shù)據(jù)輸入 64 

3.1.1文本文件輸入 65 

3.1.2數(shù)據(jù)庫表格 66 

3.1.3電子表格文件 67 

3.1.4XML和JSON數(shù)據(jù) 67 

3.1.5生成你自己的數(shù)據(jù) 68 

3.1.6處理大型文件的技巧 68 

3.1.7數(shù)據(jù)整理 68 

3.2連接數(shù)據(jù) 69 

3.2.1使用sqldf函數(shù) 69 

3.2.2生成數(shù)據(jù) 70 

3.2.3檢查元數(shù)據(jù) 71 

3.2.4使用內(nèi)部連接和外部連接來合并數(shù)據(jù) 72 

3.2.5識(shí)別有多個(gè)購買記錄的成員 73 

3.2.6清除冗余記錄 74 

3.3探索醫(yī)院數(shù)據(jù)集 74 

3.3.1str(df)函數(shù)的輸出 74 

3.3.2View函數(shù)的輸出 75 

3.3.3colnames函數(shù) 75 

3.3.4summary函數(shù) 76 

3.3.5在瀏覽器中打開文件 77 

3.3.6繪制分布圖 77 

3.3.7變量的可視化繪圖 78 

3.4轉(zhuǎn)置數(shù)據(jù)幀 80 

3.5缺失值 84 

3.5.1建立缺失值測試數(shù)據(jù)集 84 

3.5.2缺失值的不同類型 85 

3.5.3糾正缺失值 87 

3.5.4使用替換過的值運(yùn)行回歸 90 

3.6替換分類變量 91 

3.7異常值 91 

3.7.1異常值為什么重要 91 

3.7.2探測異常值 92 

3.8數(shù)據(jù)轉(zhuǎn)換 96 

3.8.1生成測試數(shù)據(jù) 97 

3.8.2Box-Cox轉(zhuǎn)換 97 

3.9變量化簡/變量重要性 98 

3.9.1主成分分析法 98 

3.9.2全子集回歸 102 

3.9.3變量重要性 104 

3.10參考資料 106 

3.11本章小結(jié) 106 

第4章　回歸算法導(dǎo)論 107 

4.1監(jiān)督學(xué)習(xí)模型和無監(jiān)督學(xué)習(xí)模型 108 

4.1.1監(jiān)督學(xué)習(xí)模型 108 

4.1.2無監(jiān)督學(xué)習(xí)模型 108 

4.2回歸技術(shù) 109 

4.3廣義線性模型 110 

4.4邏輯回歸 110 

4.4.1比率 111 

4.4.2邏輯回歸系數(shù) 111 

4.4.3示例：在醫(yī)療中使用邏輯回歸來預(yù)測疼痛閾值 112 

4.4.4GLM模型擬合 114 

4.4.5檢驗(yàn)殘差項(xiàng) 115 

4.4.6添加變量的分布圖 116 

4.4.7p值及其效應(yīng)量 117 

4.4.8p值及其影響范圍 118 

4.4.9變量選擇 119 

4.4.10交互 121 

4.4.11擬合優(yōu)度統(tǒng)計(jì)量 123 

4.4.12置信區(qū)間和Wald統(tǒng)計(jì) 124 

4.4.13基本回歸診斷圖 124 

4.4.14分布圖類型描述 124 

4.4.15擬合優(yōu)度：Hosmer-Lemeshow檢驗(yàn) 126 

4.4.16正則化 127 

4.4.17示例：ElasticNet 128 

4.4.18選擇一個(gè)正確的Lambda 128 

4.4.19基于Lambda輸出可能的系數(shù) 129 

4.5本章小結(jié) 130 

第5章決策樹、聚類和SVM導(dǎo)論 131 

5.1決策樹算法 131 

5.1.1決策樹的優(yōu)點(diǎn) 131 

5.1.2決策樹的缺點(diǎn) 132 

5.1.3決策樹的基本概念 132 

5.1.4擴(kuò)展樹 132 

5.1.5不純度 133 

5.1.6控制樹的增長 134 

5.1.7決策樹算法的類型 134 

5.1.8檢查目標(biāo)變量 135 

5.1.9在rpart模型中使用公式符號(hào) 135 

5.1.10圖的解釋 136 

5.1.11輸出決策樹的文本版本 137 

5.1.12修剪 138 

5.1.13渲染決策樹的其他選項(xiàng) 139 

5.2聚類分析 140 

5.2.1聚類分析應(yīng)用于多種行業(yè) 140 

5.2.2什么是聚類 140 

5.2.3聚類的類型 141 

5.2.4k均值聚類算