統(tǒng)計(jì)學(xué)習(xí)理論

引論：歸納和統(tǒng)計(jì)推理問題
0.1 統(tǒng)計(jì)學(xué)中的學(xué)習(xí)理論體系
O.2 統(tǒng)計(jì)推理的兩種方法：特殊方法（參數(shù)推理）和通用方法（非參數(shù)推理）
0.3 參數(shù)方法的體系
O.4 參數(shù)體系的缺點(diǎn)
0.5 經(jīng)典體系后的發(fā)展
0.6 復(fù)興階段
0.7 Glivenko-Cantelli-Kolmogomv理論的推廣
O.8 結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則
0.9 小樣本集推理的主要原則
0.1 0本書的要點(diǎn)
第一部分 學(xué)習(xí)和推廣性理論
第1章 處理學(xué)習(xí)問題的兩種方法
1.1 基于實(shí)例學(xué)習(xí)的一般模型
1.2 最小化經(jīng)驗(yàn)數(shù)據(jù)風(fēng)險(xiǎn)泛函的問題
1.3 模式識(shí)別問題
1.4 回歸估計(jì)問題
1.5 解釋間接測(cè)量結(jié)果的問題
1.6 密度估計(jì)問題（Fisher-Wald表達(dá)）
1.7 基于經(jīng)驗(yàn)數(shù)據(jù)最小化風(fēng)險(xiǎn)泛函的歸納原則
1.8 解函數(shù)估計(jì)問題的經(jīng)典方法
1.9 隨機(jī)對(duì)象的識(shí)別：密度和條件密度估計(jì)
1.10 解近似確定性積分方程的問題
1.11 Glivenko-Cantelli定理
1.12 不適定問題
1.13 學(xué)習(xí)理論的結(jié)構(gòu)
第1附錄解不適定問題的方法
A1.1 解算子方程問題
A1.2 Tikhonov意義下的適定問題
A1.3 正則化方法
第2章 概率測(cè)度估計(jì)與學(xué)習(xí)問題
2.1 隨機(jī)實(shí)驗(yàn)的概率模型
2.2 統(tǒng)計(jì)學(xué)的基本問題
2.3 估計(jì)一致收斂于未知概率測(cè)度的條件
2.4 部分一致收斂性和Glivenko.Cantelli定理的推廣
2.5 在概率測(cè)度估計(jì)一致收斂的條件下最小化風(fēng)險(xiǎn)泛函
2.6 在概率測(cè)度估計(jì)部分一致收斂的條件下最小化風(fēng)險(xiǎn)泛函
2.7 關(guān)于概率測(cè)度估計(jì)收斂方式和學(xué)習(xí)問題表達(dá)的評(píng)述
第3章 經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則一致性的條件
3.1 一致性的經(jīng)典定義
3.2 嚴(yán)格（非平凡）一致性的定義
3.3 經(jīng)驗(yàn)過程
3.4 學(xué)習(xí)理論的關(guān)鍵定理（關(guān)于等價(jià)性的定理）
3.5 關(guān)鍵定理的證明
3.6 最大似然方法的嚴(yán)格一致性
3.7 頻率一致收斂于概率的充分必要條件
3.8 有界實(shí)函數(shù)集均值一致收斂于期望的充分必要條件
3.9 無界函數(shù)集均值一致收斂于期望的充分必要條件
3.10 Kant的劃分問題和Popper的不可證偽學(xué)說
3.11 不可證偽性定理
3.12 一致單邊收斂性經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則和一致性的條件
3.13 學(xué)習(xí)理論的三個(gè)里程碑
第4章 指示損失函數(shù)風(fēng)險(xiǎn)的界
4.1 最簡(jiǎn)單模型的界：悲觀情況
4.2 最簡(jiǎn)單模型的界：樂觀情況
4.3 最簡(jiǎn)單模型的界：一般情況
4.4 基本不等式：悲觀情況
4.5 定理4.1的證明
4.6 基本不等式：一般情況
4.7 定理4.2的證明
4.8 主要的非構(gòu)造性的界
4.9 VC維
4.10 定理4.3的證明
4.11 不同函數(shù)集的VC維的例子
4.12 關(guān)于學(xué)習(xí)機(jī)器推廣能力的界的評(píng)述
4.13 兩個(gè)等分樣本子集上頻率差的界
第4章 附錄關(guān)于ERM原則風(fēng)險(xiǎn)的下界
A4.1 統(tǒng)計(jì)推理中的兩種策略
A4.2 學(xué)習(xí)問題的最小最大損失策略
A4.3 經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則的最大損失的上界
A4.4 樂觀情形下最小最大損失策略的下界
A4.5 悲觀情形下最小最大損失策略的下界
第5章 實(shí)損失函數(shù)風(fēng)險(xiǎn)的界
5.1 最簡(jiǎn)單模型的界：悲觀情形
5.2 實(shí)函數(shù)集的容量
5.3 一般模型的界：悲觀情形
5.4 基本不等式
5.5 一般模型的界：普遍情形
5.6 一致相對(duì)收斂的界
5.7 無界損失函數(shù)集中風(fēng)險(xiǎn)最小化問題的先驗(yàn)信息
5.8 無界非負(fù)函數(shù)集的風(fēng)險(xiǎn)的界
5.9 樣本選擇與野值問題
5.10 界理論的主要結(jié)果
第6章 結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則
6.1 結(jié)構(gòu)風(fēng)險(xiǎn)最小化歸納原則的構(gòu)架
6.2 最小描述長(zhǎng)度和結(jié)構(gòu)風(fēng)險(xiǎn)最小化歸納原則
6.3 結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則的一致性與關(guān)于收斂速率的漸近界
6.4 回歸估計(jì)問題的界
6.5 函數(shù)逼近問題
6.6 局部風(fēng)險(xiǎn)最小化問題
第6章 附錄基于間接測(cè)量的函數(shù)估計(jì)
A6.1 估計(jì)間接測(cè)量結(jié)果的問題
A6.2 關(guān)于利用間接測(cè)量估計(jì)函數(shù)的定理
A6.3 定理的證明
第7章 隨機(jī)不適定問題
7.1 隨機(jī)不適定問題
7.2 解隨機(jī)不適定問題的正則化方法
7.3 定理的證明
7.4 密度估計(jì)方法一致性的條件
7.5 非參數(shù)密度估計(jì)子：基于經(jīng)驗(yàn)分布函數(shù)逼近分布函數(shù)的估計(jì)子
7.6 非經(jīng)典估計(jì)子
7.7 光滑密度函數(shù)的漸近收斂速率
7.8 定理7.4的證明
7.9 密度估計(jì)問題中光滑（正則化）參數(shù)值的選取
7.10 兩個(gè)密度比值的估計(jì)
7.11 直線上兩個(gè)密度比值的估計(jì)
7.12 直線上條件概率的估計(jì)
第8章 估計(jì)給定點(diǎn)上的函數(shù)值
8.1 最小化總體風(fēng)險(xiǎn)的方法
8.2 總體風(fēng)險(xiǎn)的結(jié)構(gòu)最小化方法
8.3 關(guān)于兩個(gè)樣本子集上頻率的一致相對(duì)偏差的界
8.4 關(guān)于兩個(gè)樣本子集上均值的一致相對(duì)偏差的界
8.5 在線性決策規(guī)則集中估計(jì)指示函數(shù)的值
8.6 指示函數(shù)值估計(jì)的樣本選取
8.7 在與參數(shù)成線性關(guān)系的函數(shù)集中估計(jì)實(shí)函數(shù)值
8.8 實(shí)函數(shù)值估計(jì)的樣本選取
8.9 估計(jì)指示函數(shù)值的局部算法
8.10 估計(jì)實(shí)函數(shù)值的局部算法
8.11 在給定樣本集中尋找最好點(diǎn)的問題
第二部分 函數(shù)的支持向量估計(jì)
第9章 感知器及其推廣
9.1 Rosenblatt感知器
9.2 定理的證明
9.3 隨機(jī)逼近方法和指示函數(shù)的Sigmpid逼近方法
9.4 勢(shì)函數(shù)法與徑向基函數(shù)法
9.5 最優(yōu)化理論中的三個(gè)定理
9.6 神經(jīng)網(wǎng)絡(luò)
第10章 估計(jì)指示函數(shù)的支持向量方法
10.1 最優(yōu)超平面
10.2 不可分樣本集的最優(yōu)超平面
10.3 最優(yōu)超平面的統(tǒng)計(jì)特性
10.4 定理的證明
10.5 支持向量機(jī)的思想
10.6 支持向量方法的另一種構(gòu)造方式
10.7 利用界選擇支持向量機(jī)
10.8 模式識(shí)別問題的支持向量機(jī)的例子
10.9 轉(zhuǎn)導(dǎo)推理的支持向量方法
10.10 多類分類
10.11 關(guān)于支持向量方法推廣性的評(píng)述
第11章 估計(jì)實(shí)函數(shù)的支持向量方法
11.1 ε不敏感損失函數(shù)
11.2 魯棒估計(jì)子的損失函數(shù)
11.3 最小化包含ε不敏感損失函數(shù)的風(fēng)險(xiǎn)
11.4 函數(shù)估計(jì)的支持向量機(jī)
11.5 構(gòu)造實(shí)函數(shù)估計(jì)的核
11.6 生成樣條的核
11.7 生成Fourier展開的核
11.8 函數(shù)逼近和回歸估計(jì)的支持向量ANOVA分解
11.9 解線性算子方程的支持向量方法
11.10 密度估計(jì)的支持向量方法
11.11 條件概率函數(shù)和條件密度函數(shù)的估計(jì)
11.12 支持向量方法與稀疏函數(shù)逼近之間的關(guān)系
第12章 模式識(shí)別的支持向量機(jī)
12.1 二次優(yōu)化問題
12.2 數(shù)字識(shí)別問題：美國(guó)郵政服務(wù)數(shù)據(jù)庫(kù)
12.3 切距
12.4 數(shù)字識(shí)別問題：NIST數(shù)據(jù)庫(kù)
12.5 將來的競(jìng)爭(zhēng)
第13章 函數(shù)逼近、回歸估計(jì)和信號(hào)處理的支持向量機(jī)
13.1 模型選擇問題
13.2 正則化線性函數(shù)集上的結(jié)構(gòu)
13.3 利用支持向量方法的函數(shù)逼近
13.4 回歸估計(jì)的支持向量機(jī)
13.5 求解正電子放射層析成像（PET）問題的支持向量方法
13.6 關(guān)于支持向量方法的評(píng)述
第三部分 學(xué)習(xí)理論的統(tǒng)計(jì)學(xué)基礎(chǔ)
第14章 頻率一致收斂于概率的充分必要條件
14.1 頻率一致收斂于概率
14.2 基本引理
14.3 事件集的熵
14.4 熵的漸近性質(zhì)
14.5 一致收斂性的充分必要條件：充分性的證明
14.6 一致收斂性的充分必要條件：必要性的證明
14.7 充分必要條件：必要性的證明（續(xù)）
第15章 均值一致收斂于期望的充分必要條件
15.1 ε熵
15.2 偽立方體
15.3 集合的ε擴(kuò)張
15.4 輔助引理
15.5 一致收斂性的充分必要條件：必要性的證明
15.6 一致收斂性的充分必要條件：充分性的證明
15.7 定理15.1的推論
第16章 均值一致單邊收斂于期望的充分必要條件
16.1 引言
16.2 最大體積部分
16.3 平均對(duì)數(shù)定理
16.4 走廊存在性定理
16.5 鄰近走廊邊界的函數(shù)的存在性定理（潛在不可證偽的定理）
16.6 必要條件
16.7 充分必要條件
注釋與參考文獻(xiàn)評(píng)述
參考文獻(xiàn)
中英文術(shù)語(yǔ)對(duì)照表