機(jī)器學(xué)習(xí)項(xiàng)目交付實(shí)戰(zhàn)

第Ⅰ部分 機(jī)器學(xué)習(xí)工程簡(jiǎn)介
第1章 什么是機(jī)器學(xué)習(xí)工程 3
1.1 為什么使用機(jī)器學(xué)習(xí)工程 4
1.2 機(jī)器學(xué)習(xí)工程的核心原則 7
1.2.1 規(guī)劃 7
1.2.2 范圍界定和研究 9
1.2.3 實(shí)驗(yàn) 11
1.2.4 研發(fā) 12
1.2.5 部署 15
1.2.6 評(píng)估 18
1.3 機(jī)器學(xué)習(xí)工程的目標(biāo) 20
1.4 本章小結(jié) 21
第2章 數(shù)據(jù)科學(xué)工程 23
2.1 用提高項(xiàng)目成功率的過(guò)程增強(qiáng)復(fù)雜的專業(yè) 24
2.2 簡(jiǎn)單的基礎(chǔ) 25
2.3 敏捷軟件工程的工作原則 27
2.3.1 溝通與合作 28
2.3.2 擁抱并期待改變 30
2.4 機(jī)器學(xué)習(xí)工程的基礎(chǔ) 31
2.5 本章小結(jié) 32
第3章 在建模之前：規(guī)劃和確定項(xiàng)目范圍 33
3.1 規(guī)劃：你要我預(yù)測(cè)什么 36
3.1.1 項(xiàng)目的基本規(guī)劃 40
3.1.2 首次會(huì)議 45
3.1.3 規(guī)劃演示——進(jìn)行大量演示 47
3.1.4 通過(guò)解決方案構(gòu)建進(jìn)行實(shí)驗(yàn)：磨刀不誤砍柴工 49
3.2 實(shí)驗(yàn)范圍：設(shè)定預(yù)期和界限 51
3.2.1 什么是實(shí)驗(yàn)范圍 52
3.2.2 機(jī)器學(xué)習(xí)團(tuán)隊(duì)的實(shí)驗(yàn)范圍：研究 52
3.2.3 機(jī)器學(xué)習(xí)團(tuán)隊(duì)的實(shí)驗(yàn)范圍：實(shí)驗(yàn) 54
3.3 本章小結(jié) 63
第4章 建模之前：項(xiàng)目的溝通與邏輯 65
4.1 溝通：定義問(wèn)題 67
4.1.1 理解問(wèn)題 68
4.1.2 設(shè)置嚴(yán)格的討論界限 78
4.2 不要浪費(fèi)時(shí)間：與跨職能團(tuán)隊(duì)交流 84
4.2.1 實(shí)驗(yàn)變更會(huì)議：我們知道自己在做什么嗎 85
4.2.2 SME 評(píng)審/原型評(píng)審：我們能解決這個(gè)問(wèn)題嗎 86
4.2.3 開發(fā)進(jìn)度評(píng)審：這會(huì)奏效嗎 87
4.2.4 MVP評(píng)審：是否生成了我們要求的內(nèi)容 88
4.2.5 預(yù)投產(chǎn)評(píng)審：我們真希望沒有搞砸 89
4.3 為實(shí)驗(yàn)設(shè)定限制 90
4.3.1 設(shè)置時(shí)限 90
4.3.2 可以投入生產(chǎn)嗎？ 你想維護(hù)它嗎 92
4.3.3 機(jī)器學(xué)習(xí)項(xiàng)目的TDD、RDD、PDD和CDD 93
4.4 為混亂的業(yè)務(wù)規(guī)則做計(jì)劃 96
4.4.1 通過(guò)計(jì)劃“擁抱混亂” 96
4.4.2 “人機(jī)回環(huán)”設(shè)計(jì) 98
4.4.3 你的備選方案是什么 99
4.5 對(duì)結(jié)果進(jìn)行討論 99
4.6 本章小結(jié) 101
第5章 進(jìn)行實(shí)驗(yàn)：規(guī)劃和研究機(jī)器學(xué)習(xí)項(xiàng)目 103
5.1 設(shè)計(jì)實(shí)驗(yàn) 104
5.1.1 進(jìn)行基礎(chǔ)的研究和規(guī)劃 105
5.1.2 扔掉博客——仔細(xì)閱讀API文檔 108
5.1.3 抽簽決定內(nèi)部黑客馬拉松 112
5.1.4 公平競(jìng)爭(zhēng)環(huán)境 113
5.2 執(zhí)行實(shí)驗(yàn)準(zhǔn)備工作 114
5.2.1 執(zhí)行數(shù)據(jù)分析 115
5.2.2 從腳本轉(zhuǎn)向可重用代碼 121
5.2.3 為實(shí)驗(yàn)構(gòu)建可重用代碼的最后說(shuō)明 128
5.3 本章小結(jié) 131
第6章 進(jìn)行實(shí)驗(yàn)：測(cè)試與評(píng)估 133
6.1 測(cè)試想法 135
6.1.1 在代碼中設(shè)置準(zhǔn)則 136
6.1.2 運(yùn)行快速預(yù)測(cè)測(cè)試 143
6.2 減少可能性 158
6.2.1 正確評(píng)估原型 159
6.2.2 決定前進(jìn)的方向 161
6.2.3 接下來(lái)做什么 163
6.3 本章小結(jié) 164
第7章 實(shí)踐實(shí)驗(yàn)：從原型到MVP 165
7.1 調(diào)整：自動(dòng)化那些惱人的過(guò)程 166
7.1.1 調(diào)優(yōu)選項(xiàng) 168
7.1.2 Hyperopt入門 172
7.1.3 使用Hyperopt調(diào)優(yōu)復(fù)雜的預(yù)測(cè)問(wèn)題 175
7.2 為平臺(tái)和團(tuán)隊(duì)選擇合適的技術(shù) 179
7.2.1 使用Spark的理由 181
7.2.2 用SparkTrials處理來(lái)自Driver的調(diào)優(yōu) 183
7.2.3 用pandas_udf處理來(lái)自Worker的調(diào)優(yōu) 186
7.2.4 為團(tuán)隊(duì)使用新范式：平臺(tái)和技術(shù) 190
7.3 本章小結(jié) 191
第8章 動(dòng)手實(shí)戰(zhàn)：使用MLflow和運(yùn)行時(shí)優(yōu)化實(shí)現(xiàn)MVP 193
8.1 日志記錄：代碼、指標(biāo)和結(jié)果 194
8.1.1 MLflow跟蹤 194
8.1.2 不要通過(guò)打印記錄日志 196
8.1.3 版本控制、分支策略和與他人合作 198
8.2 可伸縮性和并發(fā)性 200
8.2.1 什么是并發(fā) 200
8.2.2 哪些內(nèi)容可以(或不可以)異步運(yùn)行 203
8.3 本章小結(jié) 203
第Ⅱ部分 為投產(chǎn)做準(zhǔn)備：創(chuàng)建可維護(hù)的機(jī)器學(xué)習(xí)項(xiàng)目
第9章 機(jī)器學(xué)習(xí)中的模塊化：編寫可測(cè)試且易讀的代碼 207
9.1 單片腳本及其缺點(diǎn) 209
9.1.1 “巨石”是如何形成的 210
9.1.2 文本墻 210
9.1.3 單片腳本的注意事項(xiàng) 213
9.2 調(diào)試文本墻 215
9.3 對(duì)機(jī)器學(xué)習(xí)代碼進(jìn)行模塊化設(shè)計(jì) 221
9.4 機(jī)器學(xué)習(xí)的測(cè)試驅(qū)動(dòng)開發(fā) 222
9.5 本章小結(jié) 226
第10章 編碼標(biāo)準(zhǔn)和創(chuàng)建可維護(hù)的機(jī)器學(xué)習(xí)代碼 227
10.1 機(jī)器學(xué)習(xí)的代碼異味 228
10.2 命名、結(jié)構(gòu)和代碼體系結(jié)構(gòu) 230
10.2.1 命名約定和結(jié)構(gòu) 231
10.2.2 別耍小聰明 232
10.2.3 代碼體系結(jié)構(gòu) 233
10.3 元組解包和可維護(hù)的替代方案 235
10.3.1 元組解包示例 235
10.3.2 元組解包的可靠替代方案 237
10.4 對(duì)問(wèn)題視而不見：“飲食異?！焙推渌涣甲龇?239
10.4.1 精準(zhǔn)使用try/catch 239
10.4.2 精心設(shè)計(jì)的異常處理 241
10.4.3 正確處理錯(cuò)誤 242
10.5 使用全局可變對(duì)象 244
10.5.1 易變性會(huì)如何傷害你 245
10.5.2 封裝以防止可變性帶來(lái)的副作用 246
10.6 過(guò)多的嵌套的邏輯 248
10.7 本章小結(jié) 254
第11章 模型測(cè)量及其重要性 255
11.1 測(cè)量模型歸因 256
11.1.1 測(cè)量預(yù)測(cè)性能 258
11.1.2 明確相關(guān)性與因果關(guān)系 264
11.2 利用A/B檢驗(yàn)進(jìn)行歸因計(jì)算 268
11.2.1 A/B檢驗(yàn)基礎(chǔ) 268
11.2.2 連續(xù)評(píng)估指標(biāo) 271
11.2.3 使用替代顯示和檢驗(yàn) 276
11.2.4 評(píng)估分類指標(biāo) 280
11.3 本章小結(jié) 283
第12章 通過(guò)觀察漂移以保持你的收益 285
12.1 檢測(cè)漂移 285
12.2 解決漂移問(wèn)題 296
12.2.1 我們可以做些什么 296
12.2.2 應(yīng)對(duì)漂移 298
12.3 本章小結(jié) 299
第13章 機(jī)器學(xué)習(xí)中的開發(fā)“傲慢” 301
13.1 優(yōu)雅的復(fù)雜性與過(guò)度設(shè)計(jì) 302
13.1.1 輕量級(jí)腳本風(fēng)格(命令式) 304
13.1.2 “精心設(shè)計(jì)”的混亂 307
13.2 無(wú)意混淆：如果不是你寫的，你能否讀懂 311
13.2.1 關(guān)于混淆 311
13.2.2 總結(jié)不良編碼習(xí)慣 322
13.3 不成熟的泛化、不成熟的優(yōu)化以及其他顯示你有多聰明的糟糕方式 323
13.3.1 泛化和框架：除非不得已，否則不要使用它們 323
13.3.2 過(guò)早優(yōu)化 325
13.4 你真的想作為“煤礦中的金絲雀”嗎？Alpha測(cè)試和開源“煤礦”中的危險(xiǎn) 332
13.5 技術(shù)驅(qū)動(dòng)的開發(fā)與解決方案驅(qū)動(dòng)的開發(fā) 335
13.6 本章小結(jié) 337
第Ⅲ部分 開發(fā)生產(chǎn)機(jī)器學(xué)習(xí)代碼
第14章 編寫生產(chǎn)代碼 341
14.1 你見到了你的數(shù)據(jù)嗎 342
14.1.1 確保你有數(shù)據(jù) 344
14.1.2 檢查數(shù)據(jù)來(lái)源 345
14.1.3 找到真相的來(lái)源并與之保持一致 348
14.1.4 不要將數(shù)據(jù)清理嵌入生產(chǎn)代碼中 349
14.2 監(jiān)控你的特征 351
14.3 監(jiān)控模型生命周期中的所有其他內(nèi)容 355
14.4 保持一切盡可能簡(jiǎn)單 359
14.4.1 問(wèn)題定義的簡(jiǎn)潔性 361
14.4.2 簡(jiǎn)單的實(shí)現(xiàn) 361
14.5 機(jī)器學(xué)習(xí)項(xiàng)目的線框圖 363
14.6 避免機(jī)器學(xué)習(xí)中的貨物崇拜行為 368
14.7 本章小結(jié) 373
第15章 質(zhì)量和驗(yàn)收測(cè)試 375
15.1 數(shù)據(jù)一致性 376
15.1.1 訓(xùn)練和推理偏差 376
15.1.2 特征存儲(chǔ)簡(jiǎn)介 378
15.1.3 過(guò)程勝于技術(shù) 379
15.1.4 數(shù)據(jù)孤島的危險(xiǎn) 380
15.2 回退和冷啟動(dòng) 382
15.2.1 嚴(yán)重依賴現(xiàn)有技術(shù) 383
15.2.2 冷啟動(dòng)問(wèn)題 385
15.3 最終用戶與內(nèi)部使用測(cè)試 387
15.3.1 有偏見的測(cè)試 390
15.3.2 自己公司的員工測(cè)試自研的產(chǎn)品(dogfooding) 391
15.3.3 SME評(píng)估 392
15.4 模型的可解釋性 393
15.4.1 Shapley加法解釋 394
15.4.2 使用shap包 396
15.5 本章小結(jié) 401
第16章 生產(chǎn)環(huán)境基礎(chǔ)設(shè)施 403
16.1 工件管理 404
16.1.1 MLflow的模型注冊(cè) 405
16.1.2 使用模型注冊(cè)進(jìn)行連接 407
16.2 特征庫(kù) 412
16.2.1 特征庫(kù)的用途 413
16.2.2 使用特征庫(kù) 415
16.2.3 評(píng)估特征庫(kù) 418
16.3 預(yù)測(cè)服務(wù)體系結(jié)構(gòu) 419
16.3.1 確定服務(wù)需求 421
16.3.2 批量外部交付 427
16.3.3 微批量流式傳輸 429
16.3.4 實(shí)時(shí)服務(wù)器端 430
16.3.5 集成模型(邊緣部署) 433
16.4 本章小結(jié) 434
附錄A Big O以及如何考慮運(yùn)行時(shí)性能 435
附錄B 設(shè)置開發(fā)環(huán)境 461