用戶(hù)畫(huà)像：平臺(tái)構(gòu)建與業(yè)務(wù)實(shí)踐

目　　錄
前　言
第1章　了解畫(huà)像平臺(tái)　1
1.1　畫(huà)像基本概念　1
1.1.1　什么是畫(huà)像　1
1.1.2　畫(huà)像的重要性　2
1.1.3　畫(huà)像平臺(tái)定位　3
1.2　OLAP介紹　3
1.2.1　OLAP與OLTP對(duì)比　3
1.2.2　OLAP場(chǎng)景關(guān)鍵特征　4
1.2.3　OLAP的3種建模類(lèi)型　5
1.2.4　OLAP相關(guān)技術(shù)發(fā)展歷程　5
1.3　業(yè)界畫(huà)像平臺(tái)介紹　6
1.3.1　神策數(shù)據(jù)　7
1.3.2　火山引擎增長(zhǎng)分析　10
1.3.3　GrowingIO　13
1.3.4　阿里云智能用戶(hù)增長(zhǎng)　16
1.4　畫(huà)像平臺(tái)涉及的崗位　18
1.4.1　數(shù)據(jù)工程師　18
1.4.2　算法工程師　18
1.4.3　研發(fā)工程師　18
1.4.4　產(chǎn)品經(jīng)理　19
1.4.5　運(yùn)營(yíng)人員　19
1.5　本章小結(jié)　19
第2章　畫(huà)像平臺(tái)功能與架構(gòu)　20
2.1　畫(huà)像平臺(tái)主要功能　20
2.1.1　標(biāo)簽管理　20
2.1.2　標(biāo)簽服務(wù)　24
2.1.3　分群功能　25
2.1.4　畫(huà)像分析　28
2.2　畫(huà)像平臺(tái)技術(shù)架構(gòu)　32
2.2.1　畫(huà)像平臺(tái)常見(jiàn)的技術(shù)架構(gòu)　32
2.2.2　畫(huà)像平臺(tái)技術(shù)選型示例　33
2.2.3　業(yè)界畫(huà)像功能技術(shù)選型　35
2.3　畫(huà)像平臺(tái)的3種數(shù)據(jù)模型　36
2.4　本章小結(jié)　38
第3章　標(biāo)簽管理　40
3.1　標(biāo)簽管理整體架構(gòu)　40
3.2　標(biāo)簽分類(lèi)　43
3.2.1　標(biāo)簽實(shí)體及ID類(lèi)型　43
3.2.2　標(biāo)簽分類(lèi)方式　44
3.3　標(biāo)簽管理功能實(shí)現(xiàn)　48
3.3.1　標(biāo)簽存儲(chǔ)　48
3.3.2　標(biāo)簽生產(chǎn)　55
3.3.3　標(biāo)簽數(shù)據(jù)監(jiān)控　67
3.3.4　工程實(shí)現(xiàn)　69
3.4　崗位分工介紹　70
3.5　本章小結(jié)　72
第4章　標(biāo)簽服務(wù)　73
4.1　標(biāo)簽服務(wù)整體架構(gòu)　73
4.2　標(biāo)簽查詢(xún)服務(wù)　74
4.2.1　標(biāo)簽查詢(xún)服務(wù)介紹　74
4.2.2　標(biāo)簽數(shù)據(jù)灌入緩存　76
4.2.3　標(biāo)簽數(shù)據(jù)結(jié)構(gòu)　79
4.2.4　標(biāo)簽數(shù)據(jù)處理　81
4.2.5　工程實(shí)現(xiàn)　83
4.3　標(biāo)簽元數(shù)據(jù)查詢(xún)服務(wù)　85
4.3.1　標(biāo)簽元數(shù)據(jù)查詢(xún)服務(wù)介紹　85
4.3.2　工程實(shí)現(xiàn)　87
4.4　標(biāo)簽實(shí)時(shí)預(yù)測(cè)服務(wù)　89
4.4.1　標(biāo)簽實(shí)時(shí)預(yù)測(cè)服務(wù)介紹　89
4.4.2　工程實(shí)現(xiàn)　90
4.5　ID-Mapping　93
4.6　崗位分工介紹　97
4.7　本章小結(jié)　98
第5章　分群功能　99
5.1　分群功能整體架構(gòu)　99
5.2　基礎(chǔ)數(shù)據(jù)準(zhǔn)備　101
5.2.1　畫(huà)像寬表　101
5.2.2　畫(huà)像BitMap　108
5.3　人群創(chuàng)建方式　111
5.3.1　規(guī)則圈選　112
5.3.2　導(dǎo)入人群　119
5.3.3　組合人群　121
5.3.4　行為明細(xì)　123
5.3.5　人群Lookalike　125
5.3.6　挖掘人群　126
5.3.7　LBS人群　127
5.3.8　其他人群圈選　128
5.3.9　工程實(shí)現(xiàn)　131
5.4　人群數(shù)據(jù)對(duì)外輸出　137
5.5　人群附加功能　138
5.5.1　人群預(yù)估　138
5.5.2　人群拆分　140
5.5.3　人群自動(dòng)更新　141
5.5.4　人群下載　142
5.5.5　ID轉(zhuǎn)換　143
5.6　人群判存服務(wù)　144
5.6.1　Redis方案　144
5.6.2　BitMap方案　147
5.6.3　基于規(guī)則的判存　149
5.7　崗位分工介紹　150
5.8　本章小結(jié)　152
第6章　畫(huà)像分析　153
6.1　畫(huà)像分析整體架構(gòu)　153
6.2　人群畫(huà)像分析　155
6.2.1　人群分布分析　155
6.2.2　人群指標(biāo)分析　156
6.2.3　人群下鉆分析　157
6.2.4　人群交叉分析　158
6.2.5　人群對(duì)比分析　158
6.2.6　工程實(shí)現(xiàn)　159
6.3　人群即席分析　165
6.3.1　分布分析與指標(biāo)分析　166
6.3.2　下鉆分析與交叉分析　167
6.3.3　人群畫(huà)像預(yù)覽　168
6.4　行為明細(xì)分析　169
6.4.1　明細(xì)統(tǒng)計(jì)　171
6.4.2　用戶(hù)分析　173
6.4.3　流程轉(zhuǎn)化　176
6.4.4　價(jià)值分析　179
6.4.5　工程實(shí)現(xiàn)　181
6.5　單用戶(hù)分析　183
6.5.1　用戶(hù)畫(huà)像查詢(xún)　184
6.5.2　用戶(hù)關(guān)系數(shù)據(jù)分析　185
6.5.3　用戶(hù)漲掉粉分析　190
6.5.4　用戶(hù)內(nèi)容流量分析　192
6.6　其他常見(jiàn)分析　193
6.6.1　業(yè)務(wù)分析看板　193
6.6.2　地域分析　195
6.6.3　人群投放分析　197
6.7　崗位分工介紹　199
6.8　本章小結(jié)　200
第7章　從0到1構(gòu)建畫(huà)像平臺(tái)　201
7.1　基礎(chǔ)準(zhǔn)備　201
7.1.1　技術(shù)組件協(xié)作關(guān)系　201
7.1.2　基礎(chǔ)環(huán)境準(zhǔn)備　203
7.2　大數(shù)據(jù)環(huán)境搭建　206
7.2.1　Hadoop　207
7.2.2　Spark　210
7.2.3　Hive　212
7.2.4　ZooKeeper　215
7.2.5　DolphinScheduler　216
7.2.6　Flink　217
7.3　存儲(chǔ)引擎安裝　219
7.3.1　ClickHouse　219
7.3.2　Redis　221
7.3.3　MySQL　222
7.4　工程框架搭建　223
7.4.1　服務(wù)端工程搭建　223
7.4.2　前端工程搭建　237
7.5　運(yùn)行開(kāi)源代碼　238
7.6　本章小結(jié)　240
第8章　畫(huà)像平臺(tái)應(yīng)用與業(yè)務(wù)實(shí)踐　241
8.1　畫(huà)像平臺(tái)常見(jiàn)應(yīng)用案