數(shù)據(jù)智能研究前沿

1 深度生成模型

1.1 引言

1.2 模型定義

1.2.1 生成模型基本概念

1.2.2 基于層次化貝葉斯的建模

1.2.3 基于深度神經(jīng)網(wǎng)絡(luò)的建模

1.3 學(xué)習(xí)方法

1.3.1 最大似然估計(jì)

1.3.2 對(duì)抗式生成網(wǎng)絡(luò)

1.3.3 矩匹配深度生成模型

1.4 “珠算”概率編程庫

1.4.1 模型構(gòu)建

1.4.2 推斷和學(xué)習(xí)算法

1.5 典型應(yīng)用

1.5.1 生成高質(zhì)量的圖片、視頻、音頻

1.5.2 半監(jiān)督學(xué)習(xí)

1.5.3 風(fēng)格遷移

1.5.4 強(qiáng)化學(xué)習(xí)

1.6 總結(jié)與展望

參考文獻(xiàn)

2 生成式對(duì)抗網(wǎng)絡(luò)

2.1 引言

2.2 生成式對(duì)抗網(wǎng)絡(luò)概況

2.2.1 GAN提出的背景

2.2.2 GAN的基本概念

2.2.3 GAN的優(yōu)勢

2.2.4 GAN面臨的挑戰(zhàn)

2.2.5 小結(jié)

2.3 GAN的網(wǎng)絡(luò)結(jié)構(gòu)

2.3.1 DOCN

2.3.2 OGAN

2.3.3 InfoCAN

2.3.4 其他網(wǎng)絡(luò)結(jié)構(gòu)

2.4 GAN的損失函數(shù)

2.4.1 LSGAN

2.4.2 WGAN

2.4.3 WGAN-GP

2.4.4 EBGAN

2.4.5 BEGAN

2.4.6 RGAN

2.5 GAN的正則化方法

2.5.1 批歸一化

2.5.2 權(quán)值歸一化

2.5.3 譜歸一化

2.5.4 正則化方法比較

2.6 GAN的訓(xùn)練與評(píng)價(jià)

2.6.1 訓(xùn)練技巧

2.6.2 優(yōu)化算法

2.6.3 評(píng)價(jià)指標(biāo)

2.7 GAN的應(yīng)用

2.7.1 計(jì)算機(jī)視覺

2.7.2 自然語言處理

2.7.3 智能語音

2.7.4 其他領(lǐng)域

2.8 總結(jié)與展望

參考文獻(xiàn)

3 模型驅(qū)動(dòng)深度學(xué)習(xí)

3.1 模型驅(qū)動(dòng)深度學(xué)習(xí)概述

3.2 優(yōu)化模型驅(qū)動(dòng)的深度學(xué)習(xí)

3.2.1 稀疏編碼優(yōu)化深度網(wǎng)絡(luò)

3.2.2 ADMM深度網(wǎng)絡(luò)及其在壓縮傳感成像中的應(yīng)用

3.3 統(tǒng)計(jì)模型驅(qū)動(dòng)的深度學(xué)習(xí)

3.3.1 MRF統(tǒng)計(jì)分布參數(shù)估計(jì)的深度學(xué)習(xí)方法

3.3.2 條件隨機(jī)場模型驅(qū)動(dòng)的深度學(xué)習(xí)

3.3.3 小結(jié)

3.4 其他領(lǐng)域模型驅(qū)動(dòng)的深度學(xué)習(xí)方法

3.5 總結(jié)與展望

參考文獻(xiàn)

4 自步一課程學(xué)習(xí)

4.1 課程學(xué)習(xí)

4.2 自步學(xué)習(xí)

4.3 自步正則

4.4 自步一課程學(xué)習(xí)

4.5 用武之地

4.6 從強(qiáng)監(jiān)督到弱監(jiān)督

4.6.1 零樣本學(xué)習(xí)

4.6.2 弱監(jiān)督學(xué)習(xí)——多示例學(xué)習(xí)

4.6.3 半監(jiān)督學(xué)習(xí)——自步協(xié)同學(xué)習(xí)

4.7 自步一課程學(xué)習(xí)理論

4.7.1 穩(wěn)健性理論

4.7.2 收斂性理論

4.7.3 凹共軛理論

4.8 元學(xué)習(xí)方法

4.9 總結(jié)與展望

參考文獻(xiàn)

5 強(qiáng)化學(xué)習(xí)

5.1 強(qiáng)化學(xué)習(xí)簡介

5.1.1 強(qiáng)化學(xué)習(xí)模型

5.1.2 馬爾可夫決策過程

5.1.3 學(xué)習(xí)最優(yōu)策略：無模型方法

5.1.4 通過學(xué)習(xí)模型來計(jì)算最優(yōu)策略

5.2 深度強(qiáng)化學(xué)習(xí)

5.2.1 基于值函數(shù)的深度強(qiáng)化學(xué)習(xí)

5.2.2 基于策略梯度的深度強(qiáng)化學(xué)習(xí)

5.2.3 基于行動(dòng)者一評(píng)論家的深度強(qiáng)化學(xué)習(xí)

5.3 遷移強(qiáng)化學(xué)習(xí)

5.3.1 遷移強(qiáng)化學(xué)習(xí)的定義

5.3.2 基于樣例遷移的遷移強(qiáng)化學(xué)習(xí)

5.3.3 基于表示遷移的遷移強(qiáng)化學(xué)習(xí)

5.3.4 基于參數(shù)遷移的遷移強(qiáng)化學(xué)習(xí)

5.3.5 基于關(guān)系遷移的遷移強(qiáng)化學(xué)習(xí)

5.3.6 遷移強(qiáng)化學(xué)習(xí)的評(píng)估

5.4 分層強(qiáng)化學(xué)習(xí)

5.4.1 基于選項(xiàng)的分層強(qiáng)化學(xué)習(xí)

5.4.2 基于MaxQ函數(shù)分解的分層強(qiáng)化學(xué)習(xí)

5.4.3 基于分層抽象機(jī)的分層強(qiáng)化學(xué)習(xí)

5.4.4 深度分層強(qiáng)化學(xué)習(xí)和自動(dòng)分層

5.5 逆向強(qiáng)化學(xué)習(xí)

5.5.1 基本概念

5.5.2 求解獎(jiǎng)勵(lì)函數(shù)

5.5.3 大狀態(tài)空間下的獎(jiǎng)勵(lì)函數(shù)求解

5.5.4 基于最大熵的逆向強(qiáng)化學(xué)習(xí)

5.5.5 生成對(duì)抗模仿學(xué)習(xí)算法

5.6 多智能體強(qiáng)化學(xué)習(xí)

5.6.1 多智能體學(xué)習(xí)目標(biāo)

5.6.2 基于表格表征的多智能體強(qiáng)化學(xué)習(xí)

5.6.3 深度多智能體強(qiáng)化學(xué)習(xí)

參考文獻(xiàn)

6 遷移學(xué)習(xí)

6.1 遷移學(xué)習(xí)的概念

6.1.1 遷移學(xué)習(xí)的定義

6.1.2 遷移學(xué)習(xí)的問題設(shè)定

6.2 遷移學(xué)習(xí)的理論基礎(chǔ)

6.2.1 數(shù)據(jù)集偏移及其原因

6.2.2 轉(zhuǎn)導(dǎo)遷移學(xué)習(xí)經(jīng)典理論

6.2.3 間隔分歧散度

6.2.4 j納遷移學(xué)習(xí)的經(jīng)典理論

6.3 歸納遷移學(xué)習(xí)

6.3.1 有監(jiān)督預(yù)訓(xùn)練

6.3.2 無監(jiān)督預(yù)訓(xùn)練

6.3.3 微調(diào)

6.4 轉(zhuǎn)導(dǎo)遷移學(xué)習(xí)

6.4.1 樣本重要性加權(quán)方法

6.4.2 基于距離約束的領(lǐng)域適應(yīng)方法

6.4.3 基于對(duì)抗學(xué)習(xí)的領(lǐng)域適應(yīng)方法

6.5 無監(jiān)督遷移學(xué)習(xí)

6.5.1 雙向生成式對(duì)抗網(wǎng)絡(luò)

6.6 遷移學(xué)習(xí)的相關(guān)范式

6.6.1 多任務(wù)學(xué)習(xí)

6.6.2 少樣本學(xué)習(xí)

6.6.3 持續(xù)學(xué)習(xí)

6.6.4 元學(xué)習(xí)

6.7 遷移學(xué)習(xí)的應(yīng)用

6.7.1 智慧醫(yī)療

6.7.2 自動(dòng)駕駛

6.7.3 機(jī)器人控制

參考文獻(xiàn)

7 演化智能

7.1 演化人工神經(jīng)網(wǎng)絡(luò)

7.1.1 權(quán)值演化

7.1.2 網(wǎng)絡(luò)結(jié)構(gòu)和學(xué)習(xí)規(guī)則的演化

7.1.3 EPNet：一種混合型演化神經(jīng)網(wǎng)絡(luò)方法

7.2 多目標(biāo)演化

7.2.1 演化多目標(biāo)優(yōu)化

7.2.2 演化多目標(biāo)機(jī)器學(xué)習(xí)

7.3 協(xié)同演化

7.3.1 協(xié)同