強化學(xué)習(xí)

第1章強化學(xué)習(xí)概論

\n

\n

1.1引言

\n

\n

1.2強化學(xué)習(xí)的發(fā)展歷程

\n

\n

1.3強化學(xué)習(xí)的研究現(xiàn)狀

\n

\n

1.4本書內(nèi)容架構(gòu)

\n

\n

參考文獻

\n

\n

第2章馬爾可夫決策過程

\n

\n

2.1馬爾可夫決策過程

\n

\n

\n

2.2策略與代價函數(shù)

\n

\n

2.3最優(yōu)策略與最優(yōu)代價函數(shù)

\n

\n

參考文獻

\n

\n

第3章動態(tài)規(guī)劃

\n

\n

3.1動態(tài)規(guī)劃的興起

\n

\n

3.2動態(tài)規(guī)劃基本思想： 多級決策過程

\n

\n

3.3最優(yōu)性原理與遞推方程

\n

\n

3.4離散時間動態(tài)規(guī)劃

\n

\n

3.5連續(xù)時間動態(tài)規(guī)劃

\n

\n

3.6動態(tài)規(guī)劃的挑戰(zhàn)

\n

\n

\n

參考文獻

\n

\n

第4章蒙特卡洛學(xué)習(xí)方法

\n

\n

4.1蒙特卡洛方法背景

\n

\n

4.1.1蒙特卡洛方法的由來

\n

\n

4.1.2基于模型的算法與無模型算法比較

\n

\n

4.1.3蒙特卡洛模擬的思路

\n

\n

\n

4.2蒙特卡洛預(yù)測

\n

\n

4.2.1初次訪問蒙特卡洛預(yù)測

\n

\n

4.2.2歷次訪問蒙特卡洛預(yù)測

\n

\n

4.2.3增量計算技巧

\n

\n

4.3蒙特卡洛控制

\n

\n

4.3.1初始探索問題

\n

\n

4.3.2在策方法： ε貪心算法

\n

\n

4.3.3脫策算法： 重要性采樣

\n

\n

4.4蒙特卡洛強化學(xué)習(xí)算法總結(jié)

\n

\n

參考文獻

\n

\n

\n

\n

\n

\n

\n

\n

第5章時序差分學(xué)習(xí)

\n

\n

5.1時序差分學(xué)習(xí)基本概念

\n

\n

5.2時序差分學(xué)習(xí)算法

\n

\n

5.3n步回報 

\n

\n

5.4TD(λ)算法

\n

\n

\n

參考文獻

\n

\n

第6章神經(jīng)網(wǎng)絡(luò)

\n

\n

6.1神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史

\n

\n

6.2MP神經(jīng)元模型

\n

\n

6.3前饋神經(jīng)網(wǎng)絡(luò)

\n

\n

6.3.1感知機

\n

\n

6.3.2誤差反向傳播算法

\n

\n

6.3.3徑向基網(wǎng)絡(luò)

\n

\n

\n

6.4其他常見的神經(jīng)網(wǎng)絡(luò)

\n

\n

6.4.1ART網(wǎng)絡(luò)

\n

\n

6.4.2Hopfield網(wǎng)絡(luò)

\n

\n

6.4.3Boltzmann機

\n

\n

參考文獻

\n

\n

第7章自適應(yīng)動態(tài)規(guī)劃

\n

\n

7.1問題描述

\n

\n

7.2自適應(yīng)動態(tài)規(guī)劃的原理

\n

\n

7.3自適應(yīng)動態(tài)規(guī)劃的分類

\n

\n

7.3.1啟發(fā)式動態(tài)規(guī)劃

\n

\n

7.3.2二次啟發(fā)式規(guī)劃

\n

\n

7.3.3執(zhí)行依賴啟發(fā)式動態(tài)規(guī)劃

\n

\n

7.3.4執(zhí)行依賴二次啟發(fā)式規(guī)劃

\n

\n

\n

7.4基于執(zhí)行依賴的自適應(yīng)動態(tài)規(guī)劃方法

\n

\n

7.4.1問題描述

\n

\n

7.4.2基于執(zhí)行依賴的自適應(yīng)動態(tài)規(guī)劃方法

\n

\n

參考文獻

\n

\n

第8章策略迭代學(xué)習(xí)方法

\n

\n

8.1啟發(fā)式學(xué)習(xí)原理

\n

\n

\n

8.2離散時間策略迭代自適應(yīng)動態(tài)規(guī)劃

\n

\n

8.2.1策略迭代算法的推導(dǎo)

\n

\n

8.2.2策略迭代算法的性質(zhì)

\n

\n

8.2.3初始容許控制律的獲得

\n

\n

8.2.4仿真實驗

\n

\n

8.3連續(xù)時間策略迭代自適應(yīng)動態(tài)規(guī)劃

\n

\n

8.3.1連續(xù)時間策略迭代算法

\n

\n

8.3.2連續(xù)時間策略迭代自適應(yīng)動態(tài)規(guī)劃的性能分析

\n

\n

\n

參考文獻

\n

\n

第9章值迭代學(xué)習(xí)方法

\n

\n

9.1值迭代學(xué)習(xí)原理

\n

\n

\n

9.2離散時間值迭代自適應(yīng)動態(tài)規(guī)劃

\n

\n

9.2.1離散時間非線性系統(tǒng)的Bellman方程解

\n

\n

\n

9.2.2廣義值迭代自適應(yīng)動態(tài)規(guī)劃

\n

\n

\n

9.3連續(xù)時間值迭代自適應(yīng)動態(tài)規(guī)劃

\n

\n

9.3.1問題描述

\n

\n

9.3.2主要結(jié)果

\n

\n

\n

參考文獻

\n

\n

第10章Q學(xué)習(xí)方法

\n

\n

10.1無模型強化學(xué)習(xí)

\n

\n

10.2Q學(xué)習(xí)原理

\n

\n

10.3離散時間確定性Q學(xué)習(xí)

\n

\n

10.3.1問題描述

\n

\n

10.3.2離散時間確定性Q學(xué)習(xí)算法的性質(zhì)

\n

\n

10.3.3離散時間確定性Q學(xué)習(xí)算法的神經(jīng)網(wǎng)絡(luò)實現(xiàn)

\n

\n

10.3.4仿真實驗

\n

\n

10.4Q學(xué)習(xí)進展

\n

\n

\n

參考文獻

\n

\n

第11章脫策學(xué)習(xí)

\n

\n

11.1脫策學(xué)習(xí)的興盛

\n

\n

11.2脫策學(xué)習(xí)的基本思想

\n

\n

11.2.1問題描述

\n

\n

11.2.2相關(guān)研究工作

\n

\n

11.3脫策學(xué)習(xí)過程

\n

\n

11.3.1脫策強化學(xué)習(xí)

\n

\n

11.3.2基于神經(jīng)網(wǎng)絡(luò)的實現(xiàn)

\n

\n

11.4脫策學(xué)習(xí)收斂性分析

\n

\n

11.5基于脫策強化學(xué)習(xí)的線性H∞控制

\n

\n

11.6仿真實驗

\n

\n

\n

參考文獻

\n

\n

第12章深度強化學(xué)習(xí)

\n

\n

12.1深度學(xué)習(xí)基本概念

\n

\n

12.1.1深度學(xué)習(xí)的起源

\n

\n

12.1.2深度學(xué)習(xí)與傳統(tǒng)機器學(xué)習(xí)

\n

\n

12.1.3深度學(xué)習(xí)的運用環(huán)境

\n

\n

12.2深度神經(jīng)網(wǎng)絡(luò)

\n

\n

12.2.1深度神經(jīng)網(wǎng)絡(luò)溯源

\n

\n

12.2.2梯度下降法

\n

\n

12.2.3反向傳播

\n

\n

12.2.4動量模型

\n

\n

12.2.5學(xué)習(xí)律

\n

\n

12.3卷積神經(jīng)網(wǎng)絡(luò)

\n

\n

12.3.1卷積神經(jīng)網(wǎng)絡(luò)介紹

\n

\n

12.3.2卷積層

\n

\n

12.3.3采樣層

\n

\n

12.3.4分類層

\n

\n

12.3.5經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

\n

\n

\n

12.4循環(huán)神經(jīng)網(wǎng)絡(luò)

\n

\n

12.4.1循環(huán)神經(jīng)網(wǎng)絡(luò)介紹

\n

\n

12.4.2長短期記憶模型

\n

\n

12.5生成對抗網(wǎng)絡(luò)

\n

\n

12.6深度強化學(xué)習(xí)基本理論

\n

\n

12.6.1Q函數(shù)

\n

\n

12.6.2策略

\n

\n

12.6.3效用值

\n

\n

12.6.4模型

\n

\n

12.6.5規(guī)劃

\n

\n

\n

12.7深度強化學(xué)習(xí)實際應(yīng)用

\n

\n

12.7.1游戲

\n

\n

12.7.2機器人與控制

\n

\n

12.7.3自然語言處理

\n

\n

12.7.4計算機視覺

\n

\n

\n

12.8未來待解決的問題

\n

\n

12.8.1采樣效率低下

\n

\n

12.8.2難以尋找合適的效用函數(shù)

\n

\n

12.8.3局部最優(yōu)陷阱

\n

\n

12.8.4過擬合問題

\n

\n

12.8.5復(fù)現(xiàn)難題

\n

\n

12.8.6適用場景與未來思考

\n

\n

\n

參考文獻

\n

\n

第13章強化學(xué)習(xí)展望： 平行強化學(xué)習(xí)

\n

\n

13.1自適應(yīng)動態(tài)規(guī)劃與深度強化學(xué)習(xí)

\n

\n

13.2平行控制理論的基本思想

\n

\n

13.3平行動態(tài)規(guī)劃方法

\n

\n

參考文獻

\n

\n

\n