強(qiáng)化學(xué)習(xí)實(shí)戰(zhàn)：從零開(kāi)始制作AlphaGo圍棋（微課視頻版）

部分計(jì)算機(jī)圍棋的基礎(chǔ)知識(shí)和傳統(tǒng)的智能算法
第1章圍棋： 黑白的世界
1.1什么是圍棋
1.2圍棋的規(guī)則
1.3勝負(fù)的判定
1.4圍棋棋手的棋力
1.5計(jì)算機(jī)眼中的圍棋
1.5.1SGF文件
1.5.2GTP
第2章實(shí)現(xiàn)一個(gè)圍棋軟件
2.1軟件版本
2.2圍棋軟件的組成
2.3佐布里斯特散列
2.4圍棋智能體
2.5圍棋的棋盤(pán)
2.6引入裁判
2.7讓智能體下棋
第3章傳統(tǒng)的棋類(lèi)智能
3.1極小化極大算法
3.2AlphaBeta剪枝算法
3.3棋類(lèi)局面評(píng)估
3.4蒙特卡羅模擬
3.4.1蒙特卡羅算法
3.4.2蒙特卡羅樹(shù)搜索
3.4.3蒙特卡羅算法改進(jìn)
3.4.4需要注意的問(wèn)題
3.5監(jiān)督學(xué)習(xí)
3.6傳統(tǒng)方法的討論
第二部分基于神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)
第4章機(jī)器學(xué)習(xí)入門(mén)
4.1人工神經(jīng)網(wǎng)絡(luò)
4.1.1神經(jīng)元
4.1.2常見(jiàn)的激活函數(shù)
4.1.3多層感知器
4.1.4卷積神經(jīng)網(wǎng)絡(luò)
4.1.5反向傳播算法
4.1.6小批量訓(xùn)練法
4.1.7殘差網(wǎng)絡(luò)
4.1.8多層感知器的應(yīng)用示例
4.1.9卷積網(wǎng)絡(luò)對(duì)圖片進(jìn)行多分類(lèi)的應(yīng)用示例
4.2優(yōu)化神經(jīng)網(wǎng)絡(luò)
4.2.1訓(xùn)練集、驗(yàn)證集、測(cè)試集以及交叉驗(yàn)證
4.2.2欠擬合與過(guò)擬合
4.2.3損失函數(shù)的正則化
4.2.4精確率和召回率的權(quán)衡
4.3其他人工智能方法簡(jiǎn)介
4.3.1K近鄰算法
4.3.2樸素貝葉斯法
4.3.3決策樹(shù)
4.3.4Boosting算法/Bagging算法
4.3.5支持向量機(jī)
4.3.6隨機(jī)場(chǎng)算法
4.3.7傳統(tǒng)智能算法所面臨的挑戰(zhàn)
 
 
 
第5章個(gè)圍棋智能體
5.1電子圍棋棋譜
5.2HDF5文件結(jié)構(gòu)
5.3數(shù)據(jù)模型
5.4獲取訓(xùn)練樣本
5.5代碼演示
第6章通用化圍棋智能體程序
6.1在網(wǎng)絡(luò)上發(fā)布圍棋智能體
6.2本地對(duì)戰(zhàn)
6.2.1計(jì)算機(jī)的圍棋語(yǔ)言
6.2.2圍棋的對(duì)弈圖形界面
6.2.3圍棋引擎
6.3讓圍棋智能體自己去網(wǎng)上下棋
第三部分強(qiáng)化學(xué)習(xí)
第7章策略梯度
第8章深度價(jià)值網(wǎng)絡(luò)
8.1傳統(tǒng)的QLearning算法
8.1.1原始版QLearning
8.1.2原始版QLearning計(jì)算時(shí)的優(yōu)化
8.1.3QLearning的變種Sarsa
8.1.4Sarsa的進(jìn)化Sarsaλ
8.2在神經(jīng)網(wǎng)絡(luò)上應(yīng)用DQN
第9章ActorCritic算法
第10章AlphaGo和AlphaZero
10.1AlphaGo的結(jié)構(gòu)和訓(xùn)練流程
10.2AlphaZero的結(jié)構(gòu)與訓(xùn)練流程
10.3可行的優(yōu)化
附錄AKeras入門(mén)
附錄BPyTorch入門(mén)
附錄C反向傳播算法
C.1命名約定
C.2正文
C.3進(jìn)一步討論
C.4拓展
附錄D不同地區(qū)的圍棋規(guī)則
D.1中國(guó)規(guī)則
D.2日本規(guī)則
D.3應(yīng)氏規(guī)則
D.4新西蘭規(guī)則
D.5美國(guó)規(guī)則
D.6智運(yùn)會(huì)規(guī)則
D.7TrompTaylor規(guī)則