定 價：￥119.00
| 作 者： | （荷）馬可·威寧，馬丁·范·奧特羅 |
| 出版社： | 機械工業(yè)出版社 |
| 叢編項： | |
| 標(biāo) 簽： | 暫缺 |
| ISBN： | 9787111600220 | 出版時間： | 2018-07-01 | 包裝： | |
| 開本： | 頁數(shù)： | 字?jǐn)?shù)： |
目 錄
\nReinforcement Learning: State-of-the-Art
\n譯者序
\n序言
\n前言
\n作者清單
\n第一部分 緒論
\n第1章 強化學(xué)習(xí)和馬爾可夫決策過程 2
\n1.1 簡介 2
\n1.2 時序決策 3
\n1.2.1 接近時序決策 4
\n1.2.2 在線學(xué)習(xí)與離線學(xué)習(xí) 4
\n1.2.3 貢獻(xiàn)分配 5
\n1.2.4 探索–運用的平衡 5
\n1.2.5 反饋、目標(biāo)和性能 5
\n1.2.6 表達(dá) 6
\n1.3 正式的框架 6
\n1.3.1 馬爾可夫決策過程 7
\n1.3.2 策略 9
\n1.3.3 最優(yōu)準(zhǔn)則和減量 9
\n1.4 價值函數(shù)和貝爾曼方程 10
\n1.5 求解馬爾可夫決策過程 12
\n1.6 動態(tài)規(guī)劃：基于模型的解決方案 13
\n1.6.1 基本的動態(tài)規(guī)劃算法 13
\n1.6.2 高效的動態(tài)規(guī)劃算法 17
\n1.7 強化學(xué)習(xí)：無模型的解決方案 19
\n1.7.1 時序差分學(xué)習(xí) 20
\n1.7.2 蒙特卡羅方法 23
\n1.7.3 高效的探索和價值更新 24
\n1.8 總結(jié) 27
\n參考文獻(xiàn) 27
\n第二部分 高效的解決方案框架
\n第2章 批處理強化學(xué)習(xí) 32
\n2.1 簡介 32
\n2.2 批處理強化學(xué)習(xí)問題 33
\n2.2.1 批處理學(xué)習(xí)問題 33
\n2.2.2 增長批處理學(xué)習(xí)問題 34
\n2.3 批處理強化學(xué)習(xí)算法的基礎(chǔ) 34
\n2.4 批處理強化學(xué)習(xí)算法 37
\n2.4.1 基于核的近似動態(tài)規(guī)劃 37
\n2.4.2 擬合Q迭代 39
\n2.4.3 基于最小二乘的策略迭代 40
\n2.4.4 識別批處理算法 41
\n2.5 批處理強化學(xué)習(xí)理論 42
\n2.6 批處理強化學(xué)習(xí)的實現(xiàn) 43
\n2.6.1 神經(jīng)擬合Q迭代 44
\n2.6.2 控制應(yīng)用中的神經(jīng)擬合Q迭代算法 45
\n2.6.3 面向多學(xué)習(xí)器的批處理強化學(xué)習(xí) 46
\n2.6.4 深度擬合Q迭代 48
\n2.6.5 應(yīng)用／發(fā)展趨勢 49
\n2.7 總結(jié) 50
\n參考文獻(xiàn) 50
\n第3章 策略迭代的最小二乘法 53
\n3.1 簡介 53
\n3.2 預(yù)備知識：經(jīng)典策略迭代算法 54
\n3.3 近似策略評估的最小二乘法 55
\n3.3.1 主要原則和分類 55
\n3.3.2 線性情況下和矩陣形式的方程 57
\n3.3.3 無模型算法的實現(xiàn) 60
\n3.3.4 參考文獻(xiàn) 62
\n3.4 策略迭代的在線最小二乘法 63
\n3.5 例子：car-on-the-hill 64
\n3.6 性能保障 66
\n3.6.1 漸近收斂性和保證 66
\n3.6.2 有限樣本的保證 68
\n3.7 延伸閱讀 73
\n參考文獻(xiàn) 74
\n第4章 學(xué)習(xí)和使用模型 78
\n4.1 簡介 78
\n4.2 什么是模型 79
\n4.3 規(guī)劃 80
\n4.4 聯(lián)合模型和規(guī)劃 82
\n4.5 樣本復(fù)雜度 84
\n4.6 分解域 86
\n4.7 探索 88
\n4.8 連續(xù)域 91
\n4.9 實證比較 93
\n4.10 擴展 95
\n4.11 總結(jié) 96
\n參考文獻(xiàn) 97
\n第5章 強化學(xué)習(xí)中的遷移：框架和概觀 101
\n5.1 簡介 101
\n5.2 強化學(xué)習(xí)遷移的框架和分類 102
\n5.2.1 遷移框架 102
\n5.2.2 分類 104
\n5.3 固定狀態(tài)–動作空間中從源到目標(biāo)遷移的方法 108
\n5.3.1 問題形式化 108
\n5.3.2 表示遷移 109
\n5.3.3 參數(shù)遷移 110
\n5.4 固定狀態(tài)–動作空間中跨多任務(wù)遷移的方法 111
\n5.4.1 問題形式化 111
\n5.4.2 實例遷移 111
\n5.4.3 表示遷移 112
\n5.4.4 參數(shù)遷移 113
\n5.5 不同狀態(tài)–動作空間中從源到目標(biāo)任務(wù)遷移的方法 114
\n5.5.1 問題形式化 114
\n5.5.2 實例遷移 115
\n5.5.3 表示遷移 115
\n5.5.4 參數(shù)遷移 116
\n5.6 總結(jié)和開放性問題 116
\n參考文獻(xiàn) 117
\n第6章 探索的樣本復(fù)雜度邊界 122
\n6.1 簡介 122
\n6.2 預(yù)備知識 123
\n6.3 形式化探索效率 124
\n6.3.1 探索的樣本復(fù)雜度和PAC-MDP 124
\n6.3.2 遺憾最小化 125
\n6.3.3 平均損失 127
\n6.3.4 貝葉斯框架 127
\n6.4 通用PAC-MDP定理 128
\n6.5 基于模型的方法 130
\n6.5.1 Rmax 130
\n6.5.2 Rmax的泛化 132
\n6.6 無模型方法 138
\n6.7 總結(jié) 141
\n參考文獻(xiàn) 141
\n第三部分 建設(shè)性的表征方向
\n第7章 連續(xù)狀態(tài)和動作空間中的強化學(xué)習(xí) 146
\n7.1 簡介 146
\n7.1.1 連續(xù)域中的馬爾可夫決策過程 147
\n7.1.2 求解連續(xù)MDP的方法 148
\n7.2 函數(shù)逼近 149
\n7.2.1 線性函數(shù)逼近 150
\n7.2.2 非線性函數(shù)逼近 153
\n7.2.3 更新參數(shù) 154
\n7.3 近似強化學(xué)習(xí) 157
\n7.3.1 數(shù)值逼近 157
\n7.3.2 策略逼近 162
\n7.4 雙極車桿實驗 168
\n7.5 總結(jié) 171
\n參考文獻(xiàn) 171
\n第8章 綜述：求解一階邏輯馬爾可夫決策過程 179
\n8.1 關(guān)系世界中的順序決策簡介 179
\n8.1.1 馬爾可夫決策過程：代表性和可擴展性 180
\n8.1.2 簡短的歷史和與其他領(lǐng)域的聯(lián)系 181
\n8.2 用面向?qū)ο蠛完P(guān)系擴展馬爾可夫決策過程 183
\n8.2.1 關(guān)系表示與邏輯歸納 183
\n8.2.2 關(guān)系型馬爾可夫決策過程 184
\n8.2.3 抽象問題和求解 184
\n8.3 基于模型的解決方案 186
\n8.3.1 貝爾曼備份的結(jié)構(gòu) 186
\n8.3.2 確切的基于模型的算法 187
\n8.3.3 基于近似模型的算法 190
\n8.4 無模型的解決方案 192
\n8.4.1 固定泛化的價值函數(shù)學(xué)習(xí) 192
\n8.4.2 帶自適應(yīng)泛化的價值函數(shù) 193
\n8.4.3 基于策略的求解技巧 196
\n8.5 模型、層級、偏置 198
\n8.6 現(xiàn)在的發(fā)展 201
\n8.7 總結(jié)和展望 203
\n參考文獻(xiàn) 204
\n第9章 層次式技術(shù) 213
\n9.1 簡介 213
\n9.2 背景 215
\n9.2.1 抽象動作 215
\n9.2.2 半馬爾可夫決策問題 216
\n9.2.3 結(jié)構(gòu) 217
\n9.2.4 狀態(tài)抽象 218
\n9.2.5 價值函數(shù)分解 219
\n9.2.6 優(yōu)化 220
\n9.3 層次式強化學(xué)習(xí)技術(shù) 220
\n9.3.1 選項 221
\n9.3.2 HAMQ學(xué)習(xí) 222
\n9.3.3 MAXQ 223
\n9.4 學(xué)習(xí)結(jié)構(gòu) 226
\n9.5 相關(guān)工作和當(dāng)前研究 228
\n9.6 總結(jié) 230
\n參考文獻(xiàn) 230
\n第10章 針對強化學(xué)習(xí)的演化計算 235
\n10.1 簡介 235
\n10.2 神經(jīng)演化 237
\n10.3 TWEANN 239
\n10.3.1 挑戰(zhàn) 239
\n10.3.2 NEAT 240
\n10.4 混合方法 241
\n10.4.1 演化函數(shù)近似 242
\n10.4.2 XCS 243
\n10.5 協(xié)同演化 245
\n10.5.1 合作式協(xié)同演化 245
\n10.5.2 競爭式協(xié)同演化 246
\n10.6 生成和發(fā)展系統(tǒng) 247
\n10.7 在線方法 249
\n10.7.1 基于模型的技術(shù) 249
\n10.7.2 在線演化計算 250
\n10.8 總結(jié) 251
\n參考文獻(xiàn) 251
\n第四部分 概率模型
\n第11章 貝葉斯強化學(xué)習(xí) 260
\n11.1 簡介 260
\n11.2 無模型貝葉斯強化學(xué)習(xí) 261
\n11.2.1 基于價值函數(shù)的算法 261
\n11.2.2 策略梯度算法 264
\n11.2.3 演員–評論家算法 266
\n11.3 基于模型的貝葉斯強化學(xué)習(xí) 268
\n11.3.1 由POMDP表述的貝葉斯強化學(xué)習(xí) 268
\n11.3.2 通過動態(tài)規(guī)劃的貝葉斯強化學(xué)習(xí) 269
\n11.3.3 近似在線算法 271
\n11.3.4 貝葉斯多任務(wù)強化學(xué)習(xí) 272
\n11.3.5 集成先驗知識 273
\n11.4 有限樣本分析和復(fù)雜度問題 274
\n11.5 總結(jié)和討論 275
\n參考文獻(xiàn) 275
\n第12章 部分可觀察的馬爾可夫決策過程 279
\n12.1 簡介 279
\n12.2 部分可觀察環(huán)境中的決策 280
\n12.2.1 POMDP模型 280
\n12.2.2 連續(xù)和結(jié)構(gòu)化的表達(dá) 281
\n12.2.3 優(yōu)化決策記憶 282
\n12.2.4 策略和價值函數(shù) 284
\n12.3 基于模型的技術(shù) 285
\n12.3.1 基于MDP的啟發(fā)式解決方案 285
\n12.3.2 POMDP的值迭代 286
\n12.3.3 確切的值迭代 288
\n12.3.4 基于點的值迭代方法 290
\n12.3.5 其他近似求解方法 291
\n12.4 無先驗?zāi)Ｐ偷臎Q策 292
\n12.4.1 無記憶技術(shù) 292
\n12.4.2 學(xué)習(xí)內(nèi)部記憶 292
\n12.5 近期研究趨勢 294
\n參考文獻(xiàn) 295
\n第13章 預(yù)測性定義狀態(tài)表示 300
\n13.1 簡介 300
\n13.1.1 狀態(tài)是什么 301
\n13.1.2 哪一個狀態(tài)表示 301
\n13.1.3 為什么使用預(yù)測性定義模型 302
\n......
\n
鄂公網(wǎng)安備 42010302001612號 