構(gòu)建企業(yè)級(jí)推薦系統(tǒng)：算法、工程實(shí)現(xiàn)與案例分析

前　言
第一篇　推薦系統(tǒng)基礎(chǔ)認(rèn)知
第1章　推薦系統(tǒng)介紹 2
1.1　推薦系統(tǒng)產(chǎn)生的背景 2
1.2　推薦系統(tǒng)解決什么問題 3
1.3　推薦系統(tǒng)的應(yīng)用領(lǐng)域 3
1.4　推薦系統(tǒng)的定義 4
1.5　常用的推薦算法 5
1.5.1　基于內(nèi)容的推薦 5
1.5.2　協(xié)同過濾 5
1.5.3　基于模型的推薦 6
1.5.4　基于社交關(guān)系的推薦 6
1.6　構(gòu)建推薦系統(tǒng)的阻礙與挑戰(zhàn) 6
1.7　推薦系統(tǒng)的價(jià)值 7
1.8　本章小結(jié) 8
第二篇　推薦系統(tǒng)基礎(chǔ)算法
第2章　推薦算法基礎(chǔ) 10
2.1　推薦系統(tǒng)范式 10
2.2　推薦算法3階段pipeline架構(gòu) 14
2.3　推薦召回算法 15
2.3.1　完全非個(gè)性化范式 15
2.3.2　完全個(gè)性化范式 15
2.3.3　群組個(gè)性化范式 19
2.3.4　標(biāo)的物關(guān)聯(lián)標(biāo)的物范式 20
2.3.5　笛卡兒積范式 22
2.4　排序算法 22
2.4.1　logistic回歸模型 23
2.4.2　GBDT模型 24
2.4.3　Wide & Deep模型 24
2.5　推薦算法落地需要關(guān)注的幾個(gè)問題 24
2.5.1　推薦算法工程落地一定要用到排序模塊嗎 24
2.5.2　推薦算法服務(wù)于用戶的兩種形式 25
2.5.3　推薦系統(tǒng)評(píng)估 25
2.6　本章小結(jié) 25
第3章　基于內(nèi)容的推薦算法 27
3.1　什么是基于內(nèi)容的推薦算法 27
3.2　基于內(nèi)容的推薦算法的實(shí)現(xiàn)原理 28
3.2.1　基于用戶和標(biāo)的物特征為用戶推薦的核心思想 29
3.2.2　構(gòu)建用戶特征表示 29
3.2.3　構(gòu)建標(biāo)的物特征表示 30
3.2.4　為用戶做個(gè)性化推薦 36
3.3　基于內(nèi)容的推薦算法應(yīng)用場(chǎng)景 39
3.4　基于內(nèi)容的推薦算法的優(yōu)缺點(diǎn) 40
3.4.1　優(yōu)點(diǎn) 41
3.4.2　缺點(diǎn) 41
3.5　基于內(nèi)容的推薦算法落地需要關(guān)注的問題 42
3.5.1　內(nèi)容來源的獲取 42
3.5.2　怎么利用負(fù)向反饋 43
3.5.3　興趣隨時(shí)間變化 44
3.5.4　數(shù)據(jù)清洗 44
3.5.5　加速計(jì)算與節(jié)省資源 44
3.5.6　解決基于內(nèi)容的推薦越推越窄的問題 44
3.5.7　工程落地技術(shù)選型 45
3.5.8　業(yè)務(wù)的安全性 45
3.6　本章小結(jié) 45
第4章　協(xié)同過濾推薦算法 47
4.1　協(xié)同過濾思想簡(jiǎn)介 47
4.2　協(xié)同過濾算法原理介紹 48
4.2.1　基于用戶的協(xié)同過濾 49
4.2.2　基于標(biāo)的物的協(xié)同過濾 49
4.3　離線協(xié)同過濾算法的工程實(shí)現(xiàn) 49
4.3.1　計(jì)算topN相似度 50
4.3.2　為用戶生成推薦 52
4.4　近實(shí)時(shí)協(xié)同過濾算法的工程實(shí)現(xiàn) 54
4.4.1　獲取用戶在一個(gè)時(shí)間窗口內(nèi)的行為 54
4.4.2　基于用戶行為記錄更新標(biāo)的物關(guān)聯(lián)表CR 55
4.4.3　更新用戶的行為記錄HBase表：UAction 55
4.4.4　為用戶生成個(gè)性化推薦 55
4.5　協(xié)同過濾算法的應(yīng)用場(chǎng)景 57
4.5.1　完全個(gè)性化推薦 57
4.5.2　標(biāo)的物關(guān)聯(lián)標(biāo)的物推薦 58
4.5.3　其他應(yīng)用形式及場(chǎng)景 58
4.6　協(xié)同過濾算法的優(yōu)缺點(diǎn) 58
4.6.1　優(yōu)點(diǎn) 59
4.6.2　缺點(diǎn) 59
4.7　協(xié)同過濾算法落地到業(yè)務(wù)場(chǎng)景需要關(guān)注的問題 60
4.7.1　兩種協(xié)同過濾算法的選擇 60
4.7.2　對(duì)時(shí)間加權(quán) 60
4.7.3　關(guān)于用戶對(duì)標(biāo)的物的評(píng)分 61
4.7.4　相似度計(jì)算 61
4.7.5　冷啟動(dòng)問題 62
4.8　本章小結(jié) 63
第5章　基于樸素ML思想的協(xié)同過濾算法 65
5.1　基于關(guān)聯(lián)規(guī)則的推薦算法 65
5.2　基于樸素貝葉斯的推薦算法 67
5.3　基于聚類的推薦算法 70
5.3.1　基于用戶聚類的推薦 70
5.3.2　基于標(biāo)的物聚類的推薦 71
5.4　YouTube基于關(guān)聯(lián)規(guī)則思路的視頻推薦算法 71
5.4.1　計(jì)算兩個(gè)視頻的相似度（關(guān)聯(lián)度） 72
5.4.2　基于單個(gè)種子視頻生成候選視頻集 72
5.4.3　基于用戶行為為用戶生成推薦候選集 72
5.4.4　推薦結(jié)果排序 73
5.5　Google News基于貝葉斯框架的推薦算法 74
5.5.1　基于用戶過去的行為來分析用戶的興趣點(diǎn) 75
5.5.2　利用貝葉斯框架來建模用戶的興趣 75
5.5.3　為用戶做個(gè)性化推薦 78
5.6　Google News基于用戶聚類的推薦算法 78
5.6.1　基于MinHash聚類 78
5.6.2　基于聚類為用戶做推薦 80
5.7　本章小結(jié) 80
第6章　矩陣分解推薦算法 83
6.1　矩陣分解推薦算法的核心思想 83
6.2　矩陣分解推薦算法的算法原理 84
6.3　矩陣分解推薦算法的求解方法 85
6.3.1　利用SGD來求解矩陣分解 85
6.3.2　利用ALS來求解矩陣分解 86
6.4　矩陣分解推薦算法的拓展與優(yōu)化 87
6.4.1　整合偏差項(xiàng) 87
6.4.2　增加更多的用戶信息輸入 87
6.4.3　整合時(shí)間因素 88
6.4.4　整合用戶對(duì)評(píng)分的置信度 89
6.4.5　隱式反饋 89
6.4.6　整合用戶和標(biāo)的物metadata信息 90
6.5　近實(shí)時(shí)矩陣分解算法 91
6.5.1　算法原理 92
6.5.2　工程實(shí)現(xiàn) 94
6.6　矩陣分解算法的應(yīng)用場(chǎng)景 97
6.6.1　應(yīng)用于完全個(gè)性化推薦場(chǎng)景 97
6.6.2　應(yīng)用于標(biāo)的物關(guān)聯(lián)標(biāo)的物場(chǎng)景 98
6.6.3