基于低維模型的高維數(shù)據(jù)分析：原理、計(jì)算和應(yīng)用

目錄
譯者序
推薦序
前言
致謝
符號(hào)表
第 1 章 緒論 1
1.1 最普遍的任務(wù): 尋找低維結(jié)構(gòu) 1
1.1.1 系統(tǒng)辨識(shí)和時(shí)序數(shù)據(jù) 1
1.1.2 人造世界中的模式和秩序 3
1.1.3 高效數(shù)據(jù)采集和處理 4
1.1.4 用圖模型解釋數(shù)據(jù) 7
1.2 簡(jiǎn)史.8
1.2.1 神經(jīng)科學(xué): 稀疏編碼 9
1.2.2 信號(hào)處理: 稀疏糾錯(cuò) .11
1.2.3 經(jīng)典統(tǒng)計(jì): 稀疏回歸分析 14
1.2.4 數(shù)據(jù)分析: 主成分分析 16
1.3 當(dāng)代 18
1.3.1 從高維災(zāi)難到高維福音 18
1.3.2 壓縮感知、誤差糾正和深度
學(xué)習(xí).20
1.3.3 高維幾何和非漸統(tǒng)計(jì) 21
1.3.4 可擴(kuò)展優(yōu)化: 凸與非凸 23
1.3.5 一場(chǎng)完美的風(fēng)暴 25
1.4 習(xí)題 25
第一部分 基本原理
第 2 章 稀疏信號(hào)模型 28
2.1 稀疏信號(hào)建模的應(yīng)用 28
2.1.1 醫(yī)學(xué)影像中的實(shí)例 29
2.1.2 圖像處理中的實(shí)例 32
2.1.3 人臉識(shí)別的實(shí)例 34
2.2 稀疏解的恢復(fù) 35
2.2.1 線性空間上的范數(shù) 36
2.2.2 .0 范數(shù) 38
2.2.3 最稀疏的解: 最小化 .0
范數(shù).38
2.2.4 .0 最小化的計(jì)算復(fù)雜度.41
2.3 對(duì)稀疏恢復(fù)問(wèn)題進(jìn)行松弛 44
2.3.1 凸函數(shù) .44
2.3.2 .0 范數(shù)的凸替代: .1 范數(shù) .46
2.3.3 .1 最小化的簡(jiǎn)單測(cè)試 48
2.3.4 基于 Logan 現(xiàn)象的稀疏
糾錯(cuò).53
2.4 總結(jié) 54
2.5 注記 55
2.6 習(xí)題 56
第 3 章 稀疏信號(hào)恢復(fù)的凸方法 61
3.1 為什么 .1 最小化能夠成功? 幾何
直觀 61
3.2 關(guān)于不相干矩陣的第一正確性
結(jié)果 64
3.2.1 矩陣的相干性 64
3.2.2 .1 最小化的正確性 66
3.2.3 構(gòu)造一個(gè)不相干矩陣 69
3.2.4 不相干性的局限性 71
3.3 更強(qiáng)的正確性結(jié)果 73
3.3.1 受限等距性質(zhì) 73
3.3.2 受限強(qiáng)凸性條件 75
3.3.3 RIP 條件下 .1 最小化的正
確性.79
3.4 具有受限等距性質(zhì)的矩陣 82
XXIV
3.4.1 Johnson-Lindenstrauss
引理.82
3.4.2 高斯隨機(jī)矩陣的 RIP .85
3.4.3 非高斯矩陣的 RIP.89
3.5 含噪觀測(cè)或者似稀疏性 91
3.5.1 稀疏信號(hào)的穩(wěn)定恢復(fù) 92
3.5.2 非精確稀疏信號(hào)的恢復(fù) 100
3.6 稀疏恢復(fù)中的相變.102
3.6.1 關(guān)于相變的主要結(jié)論 103
3.6.2 通過(guò)系數(shù)空間幾何看相變 104
3.6.3 通過(guò)觀測(cè)空間幾何看相變 107
3.6.4 支撐恢復(fù)的相變 108
3.7 總結(jié) 115
3.8 注記 116
3.9 習(xí)題 117
第 4 章 低秩矩陣恢復(fù)的凸方法 120
4.1 低秩建模的一些實(shí)例 121
4.1.1 從光度測(cè)量中重建三維
形狀 121
4.1.2 推薦系統(tǒng).122
4.1.3 歐幾里得距離矩陣嵌入 123
4.1.4 潛語(yǔ)義分析.124
4.2 用奇異值分解表示低秩矩陣.124
4.2.1 基于非凸優(yōu)化的奇異向量 125
4.2.2 最佳低秩矩陣似 128
4.3 恢復(fù)低秩矩陣 128
4.3.1 一般的秩最小化問(wèn)題 128
4.3.2 秩最小化的凸松弛 129
4.3.3 核范數(shù)作為秩的凸包絡(luò) 132
4.3.4 秩 RIP 條件下的核范數(shù)最小化
問(wèn)題 134
4.3.5 隨機(jī)測(cè)量的秩 RIP 139
4.3.6 噪聲、非精確低秩和相變 144
4.4 低秩矩陣補(bǔ)全 149
4.4.1 利用核范數(shù)最小化求解矩陣
補(bǔ)全 150
4.4.2 增廣拉格朗日乘子法 150
4.4.3 核范數(shù)最小化何時(shí)能夠成
功? .153
4.4.4 證明核范數(shù)最小化的正
確性 155
4.4.5 含噪聲的穩(wěn)定矩陣補(bǔ)全 166
4.5 總結(jié) 167
4.6 注記 168
4.7 習(xí)題 169
第 5 章 分解低秩加稀疏矩陣 175
5.1 魯棒主成分分析和應(yīng)用實(shí)例.175
5.1.1 問(wèn)題描述.175
5.1.2 矩陣剛性和植入團(tuán)猜想 176
5.1.3 魯棒主成分分析的應(yīng)用 178
5.2 基于主成分追蹤的魯棒主成分
分析 180
5.2.1 稀疏低秩分離的凸松弛 180
5.2.2 用交替方向法求解主成分
追蹤 181
5.2.3 主成分追蹤的數(shù)值仿真與
實(shí)驗(yàn) 182
5.3 可辨識(shí)性和精確恢復(fù) 187
5.3.1 可辨識(shí)性條件 .187
5.3.2 主成分追蹤的正確性 189
5.3.3 對(duì)主要結(jié)果的一些擴(kuò)展 198
5.4 含噪聲的穩(wěn)定主成分追蹤 201
5.5 壓縮主成分追蹤 205
5.6 帶有被損壞元素的矩陣補(bǔ)全.206
5.7 總結(jié) 208
5.8 注記 209
5.9 習(xí)題 210
第 6 章 恢復(fù)廣義低維模型 214
6.1 簡(jiǎn)明信號(hào)模型 214
6.1.1 原子集合及幾個(gè)例子 215
6.1.2 結(jié)構(gòu)化信號(hào)的原子范數(shù)最
小化 218
XXV
6.2 幾何、測(cè)度集中與相變 221
6.2.1 作為兩個(gè)不相交的錐的成功
條件 221
6.2.2 固有體積與運(yùn)動(dòng)公式 223
6.2.3 統(tǒng)計(jì)維數(shù)與相變 226
6.2.4 .1 范數(shù)下降錐的統(tǒng)計(jì)
維數(shù) 229
6.2.5 分解結(jié)構(gòu)化信號(hào)中的
相變 232
6.3 凸松弛的局限性 235
6.3.1 多重結(jié)構(gòu)的凸松弛的次
優(yōu)性 235
6.3.2 高階張量不可計(jì)算的凸
松弛 236
6.3.3 雙線性問(wèn)題沒(méi)有凸松弛 237
6.3.4 非線性低維結(jié)構(gòu)的存在 237
6.3.5 非凸問(wèn)題表述和非凸優(yōu)化的
回歸 238
6.4 注記 238
6.5 習(xí)題 239
第 7 章 恢復(fù)低維模型的非凸方法.241
7.1 簡(jiǎn)介 241
7.1.1 非線性、對(duì)稱性與非凸性 242
7.1.2 對(duì)稱性和優(yōu)化問(wèn)題的全局
幾何 245
7.1.3 對(duì)稱非凸問(wèn)題的分類 246
7.2 具有旋轉(zhuǎn)對(duì)稱性的非凸問(wèn)題.248
7.2.1 極簡(jiǎn)的例子: 只含一個(gè)未知數(shù)
的相位恢復(fù).248
7.2.2 廣義相位恢復(fù) .249
7.2.3 低秩矩陣恢復(fù) .252
7.2.4 其他具有旋轉(zhuǎn)對(duì)稱性的非凸
問(wèn)題 258
7.3 具有離散對(duì)稱性的非凸問(wèn)題.258
7.3.1 極簡(jiǎn)例子: 1-稀疏的字典
學(xué)習(xí) 259
7.3.2 字典學(xué)習(xí).262
7.3.3 稀疏盲解卷積 .264
7.3.4 其他具有離散對(duì)稱性的非凸