機器學習：基于約束的方法

譯者序
前言
練習說明
第1章整體情況
11為什么機器需要學習
111學習任務
112環(huán)境的符號和子符號表示
113生物和人工神經網絡
114學習的協(xié)議
115基于約束的學習
12原則和實踐
121歸納的令人困惑的本質
122學習原則
123時間在學習過程中的作用
124注意力機制的聚焦
13實踐經驗
131度量實驗的成功
132手寫字符識別
133建立機器學習實驗
134試驗和實驗備注
14機器學習面臨的挑戰(zhàn)
141學習觀察
142語言理解
143生活在自己環(huán)境中的代理
15注釋
第2章學習原則
21環(huán)境約束
211損失函數(shù)與風險函數(shù)
212約束引發(fā)的風險函數(shù)的病態(tài)
213風險最小化
214偏差——方差困境
22統(tǒng)計學習
221最大似然估計
222貝葉斯推理
223貝葉斯學習
224圖形模式
225頻率論和貝葉斯方法
23基于信息的學習
231一個啟發(fā)性的示例
232最大熵原理
233最大相互信息
24簡約原則下的學習
241簡約原則
242最小描述長度
243MDL與正則化
244正則化的統(tǒng)計解釋
25注釋
第3章線性閾值機
31線性機
311正規(guī)方程
312待定問題和廣義逆
313嶺回歸
314原始表示和對偶表示
32包含閾值單元的線性機
321謂詞階數(shù)和表示性問題
322線性可分示例的最優(yōu)性
323無法分離的線性可分
33統(tǒng)計視圖
331貝葉斯決策和線性判別分析
332邏輯回歸
333符合貝葉斯決策的獨立原則
334統(tǒng)計框架中的LMS
34算法問題
341梯度下降
342隨機梯度下降
343感知機算法
344復雜性問題
35注釋
第4章核方法
41特征空間
411多項式預處理
412布爾富集
413不變的特征匹配
414高維空間中的線性可分性
42最大邊際問題
421線性可分下的分類
422處理軟約束問題
423回歸
43核函數(shù)
431相似性與核技巧
432內核表征
433再生核映射
434內核類型
44正則化
441正則化的風險
442在RKHS上的正則化
443最小化正則化風險
444正則化算子
45注釋
第5章深層結構
51結構性問題
511有向圖及前饋神經網絡
512深層路徑
513從深層結構到松弛結構
514分類器、回歸器和自動編碼器
52布爾函數(shù)的實現(xiàn)
521“與或”門的典型實現(xiàn)
522通用的“與非”實現(xiàn)
523淺層與深層實現(xiàn)
524基于LTU的實現(xiàn)和復雜性問題
53實值函數(shù)實現(xiàn)
531基于幾何的計算實現(xiàn)
532通用近似
533解空間及分離表面
534深層網絡和表征問題
54卷積網絡
541內核、卷積和感受野
542合并不變性
543深度卷積網絡
55前饋神經網絡上的學習
551監(jiān)督學習
552反向傳播
553符號微分以及自動求導法則
554正則化問題
56復雜度問題
561關于局部最小值的問題
562面臨飽和
563復雜性與數(shù)值問題
57注釋
第6章約束下的學習與推理
61約束機
611學習和推理
612約束環(huán)境的統(tǒng)一視圖
613學習任務的函數(shù)表示
614約束下的推理
62環(huán)境中的邏輯約束
621形式邏輯與推理的復雜度
622含符號和子符號的環(huán)境
623t范數(shù)
624ukasiewicz命題邏輯
63擴散機
631數(shù)據(jù)模型
632時空環(huán)境中的擴散
633循環(huán)神經網絡
64算法問題
641基于內容的逐點約束
642輸入空間中的命題約束
643線性約束的監(jiān)督學習
644擴散約束下的學習
65終身學習代理
651認知行為及時間流動
652能量平衡
653焦點關注、教學及主動學習
654發(fā)展學習
66注釋
第7章結語
第8章練習答案
附錄A有限維的約束優(yōu)化
附錄B正則算子
附錄C變分計算
附錄D符號索引