聯(lián)邦學(xué)習(xí)：算法詳解與系統(tǒng)實現(xiàn)

前言
第一部分 聯(lián)邦學(xué)習(xí)基礎(chǔ)知識
第 1 章 聯(lián)邦學(xué)習(xí)概述 2
1.1 什么是聯(lián)邦學(xué)習(xí) 2
1.1.1 聯(lián)邦學(xué)習(xí)的發(fā)展歷史 3
1.1.2 聯(lián)邦學(xué)習(xí)的工作流程 4
1.1.3 聯(lián)邦學(xué)習(xí)的分類 6
1.2 聯(lián)邦學(xué)習(xí)的應(yīng)用和挑戰(zhàn) 8
1.2.1 聯(lián)邦學(xué)習(xí)的應(yīng)用現(xiàn)狀 8
1.2.2 聯(lián)邦學(xué)習(xí)的核心挑戰(zhàn) 9
1.3 分布式機器學(xué)習(xí)與聯(lián)邦學(xué)習(xí) 10
1.3.1 分布式機器學(xué)習(xí)的發(fā)展歷史 10
1.3.2 分布式機器學(xué)習(xí)概述 11
1.3.3 分布式機器學(xué)習(xí)與聯(lián)邦學(xué)習(xí)的共同發(fā)展 13
1.4 總結(jié) 14
第 2 章 聯(lián)邦學(xué)習(xí)應(yīng)用場景 15
2.1 聯(lián)邦學(xué)習(xí)與金融 15
2.2 聯(lián)邦學(xué)習(xí)與生物醫(yī)學(xué) 17
2.3 聯(lián)邦學(xué)習(xí)與計算機視覺 19
2.4 聯(lián)邦學(xué)習(xí)與自然語言處理 22
2.5 聯(lián)邦學(xué)習(xí)與邊緣計算和云計算 25
2.6 聯(lián)邦學(xué)習(xí)與計算機硬件 27
2.7 總結(jié) 29
第 3 章 常用隱私保護技術(shù) 30
3.1 面向隱私保護的機器學(xué)習(xí) 30
3.1.1 概述 30
3.1.2 面向隱私保護的機器學(xué)習(xí)發(fā)展 33
3.2 常用的隱私保護技術(shù) 34
3.2.1 差分隱私 34
3.2.2 安全多方計算 41
3.2.3 同態(tài)加密 49
3.3 總結(jié) 66
第二部分 聯(lián)邦學(xué)習(xí)算法詳述
第 4 章 縱向聯(lián)邦樹模型算法 68
4.1 樹模型簡介 68
4.2 縱向聯(lián)邦隨機森林算法 69
4.2.1 算法結(jié)構(gòu) 69
4.2.2 算法詳述 70
4.2.3 安全性分析 71
4.3 縱向聯(lián)邦梯度提升算法 75
4.3.1 XGBoost 算法 76
4.3.2 SecureBoost 算法 76
4.3.3 所提算法詳述 77
4.4 總結(jié) 78
第 5 章 縱向聯(lián)邦線性回歸算法 79
5.1 縱向聯(lián)邦線性回歸 80
5.1.1 算法訓(xùn)練過程 81
5.1.2 算法預(yù)測過程 81
5.1.3 縱向聯(lián)邦的一個困境 82
5.2 聯(lián)邦多視角線性回歸 82
5.2.1 基于 BFGS 的二階優(yōu)化方法 84
5.2.2 安全計算協(xié)議 87
5.3 總結(jié) 92
第 6 章 縱向聯(lián)邦核學(xué)習(xí)算法 93
6.1 引言 93
6.2 雙隨機核方法 95
6.2.1 問題定義 95
6.2.2 核方法的簡要介紹 96
6.2.3 隨機傅里葉特征近似 98
6.2.4 雙隨機梯度 98
6.3 所提算法 99
6.3.1 問題表示 100
6.3.2 算法結(jié)構(gòu) 100
6.3.3 算法設(shè)計 101
6.3.4 場景案例 103
6.4 理論分析 105
6.4.1 收斂性分析 105
6.4.2 安全性分析 105
6.4.3 復(fù)雜度分析 106
6.5 實驗驗證 106
6.5.1 實驗設(shè)置 106
6.5.2 實驗結(jié)果和討論 107
6.6 總結(jié) 110
第 7 章 異步縱向聯(lián)邦學(xué)習(xí)算法 111
7.1 引言 111
7.2 相關(guān)工作 112
7.2.1 現(xiàn)有工作概述 112
7.2.2 SGD 類算法回顧 113
7.3 問題表示 114
7.4 所提算法 114
7.4.1 算法框架 114
7.4.2 算法詳述 116
7.4.3 場景案例 119
7.5 理論分析 120
7.5.1 收斂性分析 120
7.5.2 安全性分析 123
7.5.3 復(fù)雜度分析 124
7.6 實驗驗證 125
7.6.1 實驗設(shè)置 125
7.6.2 實驗結(jié)果和討論 127
7.7 總結(jié) 1