Neil Zhu胰默，簡書ID Not_GOD弥虐，University AI 創(chuàng)始人 & Chief Scientist，致力于推進(jìn)世界人工智能化進(jìn)程脏毯。制定并實施 UAI 中長期增長戰(zhàn)略和目標(biāo)闹究，帶領(lǐng)團(tuán)隊快速成長為人工智能領(lǐng)域最專業(yè)的力量。
作為行業(yè)領(lǐng)導(dǎo)者抄沮，他和UAI一起在2014年創(chuàng)建了TASA（中國最早的人工智能社團(tuán)）, DL Center（深度學(xué)習(xí)知識中心全球價值網(wǎng)絡(luò)）跋核，AI growth（行業(yè)智庫培訓(xùn)）等，為中國的人工智能人才建設(shè)輸送了大量的血液和養(yǎng)分叛买。此外，他還參與或者舉辦過各類國際性的人工智能峰會和活動蹋订，產(chǎn)生了巨大的影響力率挣，書寫了60萬字的人工智能精品技術(shù)內(nèi)容，生產(chǎn)翻譯了全球第一本深度學(xué)習(xí)入門書《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》露戒，生產(chǎn)的內(nèi)容被大量的專業(yè)垂直公眾號和媒體轉(zhuǎn)載與連載椒功。曾經(jīng)受邀為國內(nèi)頂尖大學(xué)制定人工智能學(xué)習(xí)規(guī)劃和教授人工智能前沿課程，均受學(xué)生和老師好評智什。

原翻譯地址：https://tigerneil.wordpress.com/2016/05/03/deep-reinforcement-learning-from-openai/
原文地址：https://gym.openai.com/docs/rl

強化學(xué)習(xí)研究決策制定和控制动漾，以及一個進(jìn)行決策的 agent 如何學(xué)會在一個未知環(huán)境中采取最優(yōu)行動。深度強化學(xué)習(xí)研究如何在強化學(xué)習(xí)算法中使用神經(jīng)網(wǎng)絡(luò)荠锭，使得無需進(jìn)行人工特征工程直接學(xué)習(xí)從原始感知數(shù)據(jù)到原始行動輸出的映射變得可能旱眯。
本文講解深度強化學(xué)習(xí)技術(shù)。受眾是那些已經(jīng)有了一定的機器學(xué)習(xí)基礎(chǔ)证九，如監(jiān)督學(xué)習(xí)删豺、神經(jīng)網(wǎng)絡(luò)和強化學(xué)習(xí)基礎(chǔ)的讀者。
本教程和已有的強化學(xué)習(xí)教程的比對
已有的強化學(xué)習(xí)（RL）課本沒有給出足夠的關(guān)于如何使用函數(shù)近似的指導(dǎo)愧怜；基本上都是聚焦在離散狀態(tài)空間的領(lǐng)域呀页。而且，現(xiàn)有 RL 課本并沒有對無導(dǎo)數(shù)優(yōu)化和策略梯度方法給出充分講述拥坛，而這些技術(shù)在很多的任務(wù)上都是相當(dāng)重要的蓬蝶。
我對強化學(xué)習(xí)沒有任何經(jīng)驗尘分。我可以從何處開始學(xué)習(xí)？
現(xiàn)在有幾個大學(xué)課程給出了免費的視頻教程：
Intro to AI course (Klein & Abbeel). 第 8-11 課講述了 RL丸氛，前期的關(guān)于搜索和動態(tài)規(guī)劃的部分同樣非常有用
Dave Silver’s RL course

或者培愁，你可能想要從課本學(xué)習(xí)：
Sutton & Barto, Reinforcement Learning: An Introduction. 第 1-4 章講解了 RL 的基本內(nèi)容
Bertsekas, Dynamic Programming and Optimal Control. 卷 2 的第 1-2 給出了更為形式化的對 MDP、策略迭代和值迭代的介紹

我是否有理解這個教程的基礎(chǔ)雪位？
我們假設(shè)讀者有下面的預(yù)備知識：
如何訓(xùn)練神經(jīng)網(wǎng)絡(luò)進(jìn)行回歸和分類
熟悉基本的 MDP竭钝、值迭代和策略迭代

目錄：
預(yù)備知識，符號和術(shù)語
黑盒優(yōu)化和交叉熵方法練習(xí)
筆記

策略梯度直覺解釋
更加形式化的解釋
實現(xiàn)注意點
參數(shù)化策略
練習(xí)

自然策略梯度（Natural Policy Gradient）和信賴區(qū)間方法（Trust Region Methods）
Q-學(xué)習(xí)（Q-learning）練習(xí)

參考文獻(xiàn)

1 預(yù)備知識雹洗、符號和術(shù)語
強化學(xué)習(xí)包含一個 agent 和一個環(huán)境：每個時間步香罐，agent 會選擇一個行動，然后環(huán)境會返回給 agent 一個收益然后轉(zhuǎn)換到下一個狀態(tài)时肿。在標(biāo)準(zhǔn)設(shè)置中庇茫，agent 和環(huán)境的交互被劃分成一系列 回合（episode） 的序列。在每個回合螃成，初始狀態(tài)

s_0

\mu(s_o)

a_t \sim \pi(a_t|s_t)

\pi

R(s_{t+1}, r_t | s_t, a_t)

s_0 \sim \mu(s_0)

a_0 \sim \pi(a_0|s_0)

s_1, r_0 \sim P(s_1, r_0 | s_0, a_0)

a_1 \sim \pi(a_1 | s_1)

s_2, r_1 \sim P(s_2, r_1 | s_1, a_1)

a_{T-1}, r_{T-1}\sim \pi(a_{T-1} | s_{T-1})

s_T, r_{T-1} \sim P(s_T|s_{T-1},a_{T-1})

s_T

a_t

(y_0, a_0,y_1, a_1,\dots,y_{t-1}, a_{t-1},y_t)

h_t

s_0, y_0 \sim \mu(s_0)

a_0 \sim \pi(a_0|h_0)

s_1, y_1, r_0 \sim P(s_1, y_1, r_0 | s_0, a_0)

a_1 \sim \pi(a_1 | h_1)

s_2, y_2, r_1 \sim P(s_2, y_2, r_1 | s_1, a_1)

a_{T-1} \sim \pi(a_{T-1} | h_{T-1})

s_T, y_T, r_{T-1} \sim P(s_T, y_T, r_{T-1}|s_{T-1},a_{T-1})

s_T

h_t

h_t

a
行動

r
收益

y
觀察

\tau

軌跡

\pi

策略

\theta

策略參數(shù)

R
總收益

\hat{A}

平均估計

V
狀態(tài)-值函數(shù)

P
轉(zhuǎn)換概率

2 黑盒優(yōu)化和交叉熵方法
很多強化學(xué)習(xí)問題可以被描述為下面的優(yōu)化問題：

\mathrm{maximize}_{\theta} E[R|\theta]

R

\pi(a_t|s_t;\theta)

a_t = \pi(s_t, \theta)

\theta

\theta

E[R|\theta]

\theta_1, \theta_2,\dots

\max_\theta E_\zeta[f(\theta,\zeta)]

\theta_i

f

\zeta_i

f(\theta_i, \zeta_i)

f

\zeta

\theta

\theta

\mu\in \mathbb{R}^d

\sigma\in \mathbb{R}^d

= 1,2,\dots

n

\theta_i\sim N(\mu, diag(\sigma))

f(\theta_i, \zeta_i)

p%

p=20

\mu,\sigma

\mu

更多細(xì)節(jié)和實踐中的提升可以在[SzitaLorincz06]中找到。在 RL 設(shè)定中谒拴，我們通過對一個或者更多的回合執(zhí)行策略參數(shù)化評價

f(\theta_i, \zeta_i)

) 將其應(yīng)用在 Swimmer 環(huán)境中啤覆，這是一個連續(xù)行動空間的情形。嘗試人工增加方差和逐步降低噪聲為 0惭聂，如[SzitaLorincz06]
(理論 ) CEM 的一個弱點是精英集合中的元素可能已經(jīng)碰巧選中窗声，如幸運地成為

\zeta

的樣本。 實際上辜纲，這會讓

\theta

在

f

中產(chǎn)生高方差

\eta(\theta) = E_{\zeta}[f(\theta, \zeta)]

\eta(\theta)

f

\zeta

\theta

\zeta

\theta

更多的信息參見[GoschinWeinsteinLittman13]
2.2 筆記
你可能會想為何 CEM 叫這個名字牵舵。該名稱最早來自積分估計的一種方法柒啤，你可以參考[Owen14]的第 10 章。
3 策略梯度
策略梯度算法通過梯度下降進(jìn)行優(yōu)化畸颅。就是說担巩，通過重復(fù)計算策略的期望回報梯度的噪聲估計，然后按照梯度方向來更新策略没炒。該方法比其他 RL 方法（如 Q-學(xué)習(xí)）更有利主要是我們可以直接優(yōu)化感興趣的量——策略的期望總收益涛癌。該類方法由于梯度估計的高方差長期被認(rèn)為不太實用，直到最近送火，[SchulmanEtAl15]和 [MnihEtAl16]等工作展示了神經(jīng)網(wǎng)絡(luò)策略在困難的控制問題上的采用策略梯度方法的成功應(yīng)用拳话。
3.1 直覺解釋
你可能比較熟悉概率模型的監(jiān)督學(xué)習(xí)，其中目標(biāo)是最大化給定輸入(x) 時的輸出 (y) 的對數(shù)概率种吸。

\max_{\theta} \sum_{n=1}^{N}\log p(y_n|x_n;\theta)

\pi(a|s;\theta)

a^*

\max_{\theta} \sum_{n=1}^{N}\log p(a^*_n|s_n;\theta)

\tau = (s_0, a_0, r_0,s_1, a_1, r_1,\dots,s_{T-1}, a_{T-1}, r_{T-1},s_T)

R

R=\sum_{t=0}^{T-1} r_t

\hat{g} = R\nabla_\theta \log(\prod_{t=0}^{T-1}\pi(a_t|s_t;\theta)) = R\nabla_\theta \sum_{t=1}^{T} \log \pi(a_t|s_t;\theta)

\hat{g}

\theta\leftarrow \theta+\alpha \hat{g}

\alpha

R

E[\hat{g}]=\nabla_\theta E[R]

\hat{g}

\hat{g} = \nabla_\theta \sum_{t=1}^{T} \hat{A_t}\log \pi(a_t|s_t;\theta)

\hat{A_t}

a_t

\hat{A}_t=r_t + \gamma r_{t+1}+\gamma^2 r_{t+2} + \dots - V(s_t)

\gamma

V(s_t)

狀態(tài)-值 函數(shù)

E[r_t+\gamma r_{t+1} + \gamma^2 r_{r+2}|s_t]

的近似。

\gamma

用來定義一個有效時間區(qū)域

1/(1-\gamma)

x

p(x|\theta)

\theta

f

\nabla_\theta E_x[f(x)]

\nabla_\theta E_x[f(x)] = E_x[\nabla_\theta \log p(x|\theta) f(x)]

\nabla_{\theta} E_{x}[f(x)] = \nabla_{\theta} \int \mathrmjtsmwr8x\ p(x | \theta) f(x) = \int \mathrmwdxwsikx \nabla_\theta p(x|\theta) f(x) =\int \mathrmby1koe8x\ p(x|\theta) \nabla_\theta \log p(x|\theta) f(x)= E_x[\nabla_\theta \log p(x|\theta) f(x)]

x \sim p(x|\theta)

N

N \rightarrow \inf

x_1, x_2, \dots, x_N \sim p(x|\theta)

\hat{g}

\hat{g} = \frac{1}{N} \sum_{n=1}^{N} \nabla_\theta \log p(x_i|\theta)f(x_i)

s

\pi(a|s)

\theta

\pi(a|s, \theta)

\tau

\tau \equiv (s_0, a_0, s_1, \dots, s_T)

p(\tau | \theta)

\tau

\tau

R(\tau)

\log p(\tau|\theta)

p(\tau|\theta) = \mu(s_0)\pi(a_0|s_0,\theta)P(s_1|s_0, a_0)\pi(a_1|s_1,\theta)P(s_2|s_1, a_1)\dots\pi(a_{T-1}|s_{T-1},\theta)P(s_T|s_{T-1}, a_{T-1})

\mu

\theta

P(s_t|s_{t-1}, a_{t-1})

\mu

\nabla_\theta E_{\tau}[R(\tau)] = E_{\tau}[\sum_{t=0}^{T-1} \nabla_\theta \log \pi(a_t|s_t,\theta) R(\tau)]

P

R(\tau)

\log p(\tau|\theta)

r_t

t

b(s_t)

b(s) \approx V^{\pi}(s) = E_{\tau} [\sum_{u=t}^{T}r_u|s_t = s]

s

\nabla_\theta E_{\tau}[R(\tau)] = E_\tau [\sum_{t=0}^{T-1} \nabla_\theta \log \pi(a_t|s_t,\theta) (\sum_{u=t}^{T}r_u - b(s_t))]

\nabla_\theta E_{\tau}[R(\tau)] \approx E_\tau [\sum_{t=0}^{T-1} \nabla_\theta \log \pi(a_t|s_t,\theta) (\sum_{u=t}^{T}\gamma^{u-t} r_u - b(s_t))]

b(s_t)

b(s) \approx E_{\tau} [\sum_{u=t}^{T}\gamma^{u-t} r_u|s_t = s]

L(\theta) = \sum_{t=0}^{T-1} \log \pi(a_t|s_t, \theta) \dot A_t

A = (\sum_{u=t}^{T} r_u-b(s_t))

A

L

\log \pi(a_t|s_t,\theta)

T

T

\pi(a|s,\theta)

s

\mu

a

a

s

a

s

s

a

3.5 練習(xí)

\hat{A_t} = R

\hat{A_t} = r_t + \gamma r_{t+1} + \gamma^2 r_{t+2} + \cdots -V(s_t)

噪矛，包含（不包含）折扣因子和基準(zhǔn)（共有 4 中情形）

將其應(yīng)用在 Swimmer 環(huán)境中
改變問題 1 和 2 的實現(xiàn)量蕊，使用不同的 SGD 變體，包含 momentum艇挨、RMSProp 和 Adam

4 自然策略梯度和信任區(qū)間方法

5 Q-學(xué)習(xí)

V^*(s)

Q^*(s,a)

s

a

V^*(s)= E[r_0 +\gamma r_1 + \gamma^2 r_2 + \dots |s_0 = s, \pi^*]

Q^*(s,a)= E[r_0 +\gamma r_1 + \gamma^2 r_2 + \dots |s_0 = s, a_0 = a, \pi^*]

V^*

s

s_0

\pi^*

a_0, r_0, s_1, a_1, r_1, \dots

Q^*

Q^*

Q^*(s,a) = E_{s'}[r(s,a,s') + \gamma V^*(s)] = E_{s'}[r(s,a,s') + \gamma \max_{a'} Q^*(s,a')]

Q^*

繁扎。

Algorithm 2: Q-值迭代
初始化

Q^{(0)}

n = 1,2,\dots

(s,a)\in S\times A

Q^{(n)}(s,a) =E_{s'}[r(s,a,s') + \gamma \max_{a'} Q^{(n-1)}(s,a')]

最優(yōu) Q-函數(shù)（即幔荒，最優(yōu)策略的 Q-函數(shù)）是更新 (*) 式的不動點，更嚴(yán)格點說锻离，這是一個收縮（contraction）铺峭，其誤差指數(shù)級下降

||Q^{(0)}-Q^*|| \propto \gamma^n

Q^{(0)}

n = 1,2,\dots

\alpha

\theta

s

\mu

a

s

a

s

Q^{(0)}

n = 1,2,\dots

\alpha

\theta

s

Q^{(0)}

n = 1,2,\dots

s

a

s

\alpha

\theta

在第 n 次迭代時該選擇什么策略

s

\mu

a

s

a

s

\alpha

\theta

s

\mu

實際情形下，第二種方式工作得更好趁窃，也得到了更加有效的算法牧挣。類比于我們前面對參數(shù)化策略的討論，我們可以定義依賴于行動空間的 Q-函數(shù)的不同的參數(shù)化方式醒陆。
如果

a

s

a

s

給定該參數(shù)化 Q-函數(shù)折剃，我們可以運行 Q-值迭代算法另假，優(yōu)化的步驟變成：
[站外圖片上傳中……(225)]
這個算法被稱為 神經(jīng)網(wǎng)絡(luò)擬合 Q-迭代（Neural-Fitted Q-Iteration） [Riedmiller05]。
最近怕犁，Mnih 等人提出了這個算法的變體版本边篮，將數(shù)據(jù)采集納入 Q-函數(shù)更新[MnihEtAl13]。他們使用了一個 目標(biāo)網(wǎng)絡(luò)奏甫，類似于前面的 Q-函數(shù) [站外圖片上傳中……(226)]戈轿。他們還使用了一個 回放緩沖區(qū) （replay buffer），包含最近一些 Q-函數(shù)收集到的數(shù)據(jù)阵子，而在算法 3 中思杯，只是使用了 [站外圖片上傳中……(227)] 采集的數(shù)據(jù)來擬合 [站外圖片上傳中……(228)]。
5.1 練習(xí)
實現(xiàn) Watkins Q-學(xué)習(xí)算法挠进，應(yīng)用在 toy_text gym 環(huán)境中色乾。你還可以使用策略迭代來計算最優(yōu)解，比較一下性能领突。（注意這些環(huán)境給出了方便的轉(zhuǎn)換模型和收益函數(shù)）
應(yīng)用批式 Q-值迭代算法或者 DQN 在 classic_control 環(huán)境中暖璧。
應(yīng)用批式 Q-值迭代算法或者 DQN 在 mujoco 環(huán)境中，使用一個二次的 Q-函數(shù)君旦。

6 引用
[BertsekasVol1]
Bertsekas, Dynamic Programming and Optimal Control, Volume I.

[SzitaLorincz06]
(1, 2) Szita and Lorincz, Learning Tetris with the Noisy Cross-Entropy Method.

[SchulmanEtAl15]
(1, 2) Schulman, Moritz, Levine, Jordan, Abbeel, High-Dimensional Continuous Control Using Generalized Advantage Estimation. http://arxiv.org/abs/1506.02438

[MnihEtAl13]
Mnih et al., Playing Atari with Deep Reinforcement Learning.http://arxiv.org/abs/1312.5602

[MnihEtAl16]
Mnih et al., Asynchronous Methods for Deep Reinforcement Learning.http://arxiv.org/abs/1602.01783

[Owen14]
Owen, Monte Carlo theory, methods and examples. http://statweb.stanford.edu/~owen/mc

[GoschinWeinsteinLittman13]
Goschin, Weinstein, Littman, The Cross-Entropy Method Optimizes for Quantileshttp://jmlr.org/proceedings/papers/v28/goschin13.pdf

[GuEtAl16]
Gu et al., Continuous Deep Q-Learning with Model-based Accelerationhttp://arxiv.org/abs/1603.00748

[Riedmiller05]
Riedmiller. Neural fitted Q iteration—first experiences with a data efficient neural reinforcement learning method.

[JaaJorSingh94]
Jaakkola, Jordan, and Singh. On the convergence of stochastic iterative dynamic programming algorithms.

[WatkinsDayan92]
Watkins, Dayan. Q-learning.

[KakadeLangford02]
Kakade & Langford, Approximately optimal approximate reinforcement learning

[Kakade01]
Kakade, Sham. A Natural Policy Gradient