Python數(shù)據(jù)分析與數(shù)據(jù)化運營

目錄 Contents \n
贊譽 \n
前言 \n
第1章　Python和數(shù)據(jù)化運營1 \n
1.1　用Python做數(shù)據(jù)化運營1 \n
1.1.1　Python是什么1 \n
1.1.2　數(shù)據(jù)化運營是什么2 \n
1.1.3　Python用于數(shù)據(jù)化運營5 \n
1.2　數(shù)據(jù)化運營所需的Python相關(guān)工具和組件6 \n
1.2.1　Python程序6 \n
1.2.2　Python IDE7 \n
1.2.3　Python第三方庫8 \n
1.2.4　數(shù)據(jù)庫和客戶端16 \n
1.2.5　SSH遠程客戶端18 \n
1.3　內(nèi)容延伸：Python的OCR和TensorFlow18 \n
1.3.1　OCR工具：Tesseract-OCR18 \n
1.3.2　機器學習框架—TensorFlow19 \n
1.4　第一個用Python實現(xiàn)的數(shù)據(jù)化運營分析實例—銷售預測20 \n
1.4.1　案例概述20 \n
1.4.2　案例過程20 \n
1.4.3　案例小結(jié)28 \n
1.5　本章小結(jié)28 \n
第2章　數(shù)據(jù)化運營的數(shù)據(jù)來源31 \n
2.1　數(shù)據(jù)化運營的數(shù)據(jù)來源類型31 \n
2.1.1　數(shù)據(jù)文件31 \n
2.1.2　數(shù)據(jù)庫32 \n
2.1.3　API33 \n
2.1.4　流式數(shù)據(jù)34 \n
2.1.5　外部公開數(shù)據(jù)34 \n
2.1.6　其他35 \n
2.2　使用Python獲取運營數(shù)據(jù)35 \n
2.2.1　從文本文件讀取運營數(shù)據(jù)35 \n
2.2.2　從Excel獲取運營數(shù)據(jù)46 \n
2.2.3　從關(guān)系型數(shù)據(jù)庫MySQL讀取運營數(shù)據(jù)48 \n
2.2.4　從非關(guān)系型數(shù)據(jù)庫MongoDB讀取運營數(shù)據(jù)56 \n
2.2.5　從API獲取運營數(shù)據(jù)59 \n
2.3　內(nèi)容延伸：讀取非結(jié)構(gòu)化網(wǎng)頁、文本、圖像、視頻、語音64 \n
2.3.1　從網(wǎng)頁中爬取運營數(shù)據(jù)64 \n
2.3.2　讀取非結(jié)構(gòu)化文本數(shù)據(jù)65 \n
2.3.3　讀取圖像數(shù)據(jù)65 \n
2.3.4　讀取視頻數(shù)據(jù)68 \n
2.3.5　讀取語音數(shù)據(jù)70 \n
2.4　本章小結(jié)75 \n
第3章　11條數(shù)據(jù)化運營不得不知道的數(shù)據(jù)預處理經(jīng)驗76 \n
3.1　數(shù)據(jù)清洗：缺失值、異常值和重復值的處理76 \n
3.1.1　數(shù)據(jù)列缺失的4種處理方法76 \n
3.1.2　不要輕易拋棄異常數(shù)據(jù)78 \n
3.1.3　 數(shù)據(jù)重復就需要去重嗎79 \n
3.1.4　代碼實操：Python數(shù)據(jù)清洗81 \n
3.2　將分類數(shù)據(jù)和順序數(shù)據(jù)轉(zhuǎn)換為標志變量89 \n
3.2.1　分類數(shù)據(jù)和順序數(shù)據(jù)是什么89 \n
3.2.2　運用標志方法處理分類和順序數(shù)據(jù)90 \n
3.2.3　代碼實操：Python標志轉(zhuǎn)換90 \n
3.3　大數(shù)據(jù)時代的數(shù)據(jù)降維94 \n
3.3.1　需要數(shù)據(jù)降維的情況94 \n
3.3.2　基于特征選擇的降維94 \n
3.3.3　基于維度轉(zhuǎn)換的降維96 \n
3.3.4　代碼實操：Python數(shù)據(jù)降維97 \n
3.4　解決樣本類別分布不均衡的問題100 \n
3.4.1　哪些運營場景中容易出現(xiàn)樣本不均衡100 \n
3.4.2　通過過抽樣和欠抽樣解決樣本不均衡101 \n
3.4.3　通過正負樣本的懲罰權(quán)重解決樣本不均衡101 \n
3.4.4　通過組合/集成方法解決樣本不均衡102 \n
3.4.5　通過特征選擇解決樣本不均衡102 \n
3.4.6　代碼實操：Python處理樣本不均衡102 \n
3.5　如何解決運營數(shù)據(jù)源的沖突問題106 \n
3.5.1　為什么會出現(xiàn)多數(shù)據(jù)源的沖突107 \n
3.5.2　如何應對多數(shù)據(jù)源的沖突問題109 \n
3.6　數(shù)據(jù)化運營要抽樣還是全量數(shù)據(jù)109 \n
3.6.1　什么時候需要抽樣110 \n
3.6.2　如何進行抽樣110 \n
3.6.3　抽樣需要注意的幾個問題111 \n
3.6.4　代碼實操：Python數(shù)據(jù)抽樣113 \n
3.7　解決運營數(shù)據(jù)的共線性問題116 \n
3.7.1　如何檢驗共線性117 \n
3.7.2　解決共線性的5種常用方法117 \n
3.7.3　代碼實操：Python處理共線性問題118 \n
3.8　有關(guān)相關(guān)性分析的混沌120 \n
3.8.1　相關(guān)和因果是一回事嗎120 \n
3.8.2　相關(guān)系數(shù)低就是不相關(guān)嗎121 \n
3.8.3　代碼實操：Python相關(guān)性分析121 \n
3.9　標準化，讓運營數(shù)據(jù)落入相同的范圍122 \n
3.9.1　實現(xiàn)中心化和正態(tài)分布的Z-Score122 \n
3.9.2　實現(xiàn)歸一化的Max-Min123 \n
3.9.3　用于稀疏數(shù)據(jù)的MaxAbs123 \n
3.9.4　針對離群點的RobustScaler123 \n
3.9.5　代碼實操：Python數(shù)據(jù)標準化處理123 \n
3.10　離散化，對運營數(shù)據(jù)做邏輯分層126 \n
3.10.1　針對時間數(shù)據(jù)的離散化127 \n
3.10.2　針對多值離散數(shù)據(jù)的離散化127 \n
3.10.3　針對連續(xù)數(shù)據(jù)的離散化127 \n
3.10.4　針對連續(xù)數(shù)據(jù)的二值化128 \n
3.10.5　代碼實操：Python數(shù)據(jù)離散化處理128 \n
3.11　數(shù)據(jù)處理應該考慮哪些運營業(yè)務因素133 \n
3.11.1　考慮固定和突發(fā)運營周期133 \n
3.11.2　考慮運營需求的有效性134 \n
3.11.3　考慮交付時要貼合運營落地場景134 \n
3.11.4　不要忽視業(yè)務專家經(jīng)驗135 \n
3.11.5　考慮業(yè)務需求的變動因素136 \n
3.12　內(nèi)容延伸：非結(jié)構(gòu)化數(shù)據(jù)的預處理137 \n
3.12.1　網(wǎng)頁數(shù)據(jù)解析137 \n
3.12.2　網(wǎng)絡用戶日志解析144 \n
3.12.3　圖像的基本預處理148 \n
3.12.4　自然語言文本預處理154 \n
3.13　本章小結(jié)157 \n
第4章　跳過運營數(shù)據(jù)分析和挖掘的“大坑”159 \n
4.1　聚類分析159 \n
4.1.1　當心數(shù)據(jù)異常對聚類結(jié)果的影響160 \n
4.1.2　超大數(shù)據(jù)量時應該放棄K均值算法160 \n
4.1.3　聚類不僅是建模的終點，更是重要的中間預處理過程162 \n
4.1.4　高維數(shù)據(jù)上無法應用聚類嗎163 \n
4.1.5　如何選擇聚類分析算法164 \n
4.1.6　代碼實操：Python聚類分析164 \n
4.2　回歸分析172 \n
4.2.1　注意回歸自變量之間的共線性問題172 \n
4.2.2　相關(guān)系數(shù)、判定系數(shù)和回歸系數(shù)之間到底什么關(guān)系172 \n
4.2.3　判定系數(shù)是否意味著相應的因果聯(lián)系173 \n
4.2.4　注意應用回歸模型時研究自變量是否產(chǎn)生變化173 \n
4.2.5　如何選擇回歸分析算法174 \n
4.2.6　代碼實操：Python回歸分析174 \n
4.3　分類分析183 \n
4.3.1　防止分類模型的過擬合問題183 \n
4.3.2　使用關(guān)聯(lián)算法做分類分析183 \n
4.3.3　用分類分析來提煉規(guī)則、提取變量、處理缺失值184 \n
4.3.4