強(qiáng)化學(xué)習(xí)與機(jī)器人控制

第I部分 人機(jī)交互控制

第1章 介紹 2

1.1 人機(jī)交互控制 2

1.2 控制強(qiáng)化學(xué)習(xí) 5

1.3 本書的結(jié)構(gòu)安排 6

第2章 人機(jī)交互的環(huán)境模型 10

2.1 阻抗和導(dǎo)納 10

2.2 人機(jī)交互阻抗模型 15

2.3 人機(jī)交互模型的識(shí)別 18

2.4 本章小結(jié) 25

第3章 基于模型的人機(jī)交互控制 26

3.1 任務(wù)空間阻抗/導(dǎo)納控制 26

3.2 關(guān)節(jié)空間阻抗控制 29

3.3 準(zhǔn)確性和魯棒性 30

3.4 模擬 33

3.5 本章小結(jié) 38

第4章 無模型人機(jī)交互控制 39

4.1 使用關(guān)節(jié)空間動(dòng)力學(xué)進(jìn)行任務(wù)空間控制 39

4.2 使用任務(wù)空間動(dòng)力學(xué)進(jìn)行任務(wù)空間控制 47

4.3 關(guān)節(jié)空間控制 48

4.4 模擬 49

4.5 實(shí)驗(yàn) 55

4.6 本章小結(jié) 65

第5章 基于歐拉角的回路控制 67

5.1 引言 67

5.2 關(guān)節(jié)空間控制 68

5.3 任務(wù)空間控制 74

5.4 實(shí)驗(yàn) 77

5.5 本章小結(jié) 89

第II部分 機(jī)器人交互控制的強(qiáng)化學(xué)習(xí)

第6章 機(jī)器人位置/力控制的強(qiáng)化學(xué)習(xí) 92

6.1 引言 92

6.2 使用阻抗模型的位置/力控制 93

6.3 基于強(qiáng)化學(xué)習(xí)的位置/力控制 96

6.4 模擬和實(shí)驗(yàn) 104

6.5 本章小結(jié) 110

第7章 用于力控制的連續(xù)時(shí)間強(qiáng)化學(xué)習(xí) 111

7.1 引言 111

7.2 用于強(qiáng)化學(xué)習(xí)的K均值聚類 112

7.3 使用強(qiáng)化學(xué)習(xí)的位置/力控制 116

7.4 實(shí)驗(yàn) 123

7.5 本章小結(jié) 129

第8章 使用強(qiáng)化學(xué)習(xí)在最壞情況下的不確定性機(jī)器人控制 130

8.1 引言 130

8.2 使用離散時(shí)間強(qiáng)化學(xué)習(xí)的魯棒控制 131

8.3 具有k個(gè)最近鄰的雙Q學(xué)習(xí) 135

8.4 使用連續(xù)時(shí)間強(qiáng)化學(xué)習(xí)的魯棒控制 142

8.5 模擬和實(shí)驗(yàn)：離散時(shí)間情況 146

8.6 模擬和實(shí)驗(yàn)：連續(xù)時(shí)間情況 154

8.7 本章小結(jié) 162

第9章 使用多智能體強(qiáng)化學(xué)習(xí)的冗余機(jī)器人控制 163

9.1 引言 163

9.2 冗余機(jī)器人控制 164

9.3 冗余機(jī)器人控制的多智能體強(qiáng)化學(xué)習(xí) 169

9.4 模擬和實(shí)驗(yàn) 174

9.5 本章小結(jié) 179

第10章 使用強(qiáng)化學(xué)習(xí)的機(jī)器人 2神經(jīng)控制 180

10.1 引言 180

10.2 使用離散時(shí)間強(qiáng)化學(xué)習(xí)的 2神經(jīng)控制 181

10.3 連續(xù)時(shí)間的 2神經(jīng)控制 196

10.4 示例 209

10.5 本章小結(jié) 219

第11章 結(jié)論 220

附錄A 機(jī)器人運(yùn)動(dòng)學(xué)和動(dòng)力學(xué) 222

附錄B 強(qiáng)化學(xué)習(xí)控制 235