Q學(xué)習(xí)延伸至DDPG算法公式

Q learning原始損失函數(shù)定義：

$\mathbf L(\theta^Q)=\mathbb E_{s_t\sim \rho^\beta, a_t \sim \beta, r_t} \sim E \bigl[ \bigl( Q(s_t, a_t \vert \theta^Q) - y_t \bigr)^2 \bigr]$

Q的貝爾曼方程:

$Q^\pi(s_t, a_t) = \mathbb E_{r_t, s_{t+1}} \sim E \Bigl[r(s_t,a_t) + \gamma\mathbb E_{a_{t+1}} \sim \pi \bigl[ Q^\pi (s_{t+1, a_{t+1}}) \bigr] \Bigr]$

確定性策略的Q定義：

$Q^\mu(s_t, a_t)=\mathbb E_{r_t,s_{t+1}} \sim E \bigl[ r(s_t, a_t) + \gamma Q^\mu(s_{t+1}, \mu(s_{t+1})) \bigr]$

其中的action a就是由 $\mu(s_{t+1})$ 確定的。而 $\mu(s)=argmax_aQ(s,a)$

DPG的軌跡分布函數(shù)定義:

$\bigtriangledown_{\theta^\mu}J \approx \mathbb E_{s_t \sim \rho^\beta} \bigl[ \bigtriangledown_{\theta^\mu}Q(s,a \vert \theta^Q)\vert s=s_T, a=s_t \vert \theta^\mu \mu (s_t \vert \theta^\mu) \bigr]$
$\qquad\quad = \mathbb E_{s_t \sim \rho^\beta} \bigl[ \bigtriangledown_{a}Q(s,a \vert \theta^Q)\vert s=s_T, a = \mu (s_t) \triangledown_{\theta} \mu(s_t \vert \theta^\mu)) \vert s=s_t \bigr]$

DDPG改進(jìn)：

利用分布式獨(dú)立探索良哲，在策略中加入一個來自軌跡N的噪音
$\mu^{'}(s_t) = \mu(s_t \vert \theta_t^\mu) + N$
Loss function:
$L = {1 \over N}\sum_i (y_i - Q(s_i, a_i \vert \theta^Q))^2$
$定義：\qquad y_i = r_i + \gamma Q^{'}(s_{i+1}, \mu^{'}(s_i+1 \vert \theta^{\mu^{'}}) \vert \theta^{Q^{'}})$
參數(shù)更新方式，2個部分：
$\theta ^ {Q^{'}} \leftarrow \tau \theta ^ Q + (1-\tau) \theta ^ {Q^{'}}$
$\theta ^ {\mu ^ {'}} \leftarrow \tau \theta ^\mu +(1 - \tau)\theta^{\mu^{'}}$

策略梯度的只管解釋
隨機(jī)策略梯度的計算公式為：
$\triangledown_{\theta}J(\pi_{theta}) = E_{s \ \rho^\pi, a\ \pi_\theta} \bigl[\triangledown_\theta \ log \pi_\theta(a|s)Q^\pi(s,a)\bigr]$

經(jīng)驗平均估計策略的梯度：
$\triangledown_\theta U(\theta) \approx {1 \over m } \sum_{i=1}^{m} \triangledown_\theta log P(\tau; \theta) R(\tau)$

$\triangledown_\theta log P(\tau; \theta)$ 是方向向量宠哄，而且其方向是 $\triangledown_\theta log P(\tau; \theta)$ 對于參數(shù) $\theta$ 變化最快的方向忘朝，參數(shù)在這個方向上更新可以增大或者降低 $log P(\tau; \theta)$ ，也就是能增大或者降低軌跡 $\tau$ 的概率 $P(\tau; \theta)$

最后編輯于：2021.04.15 10:07:18

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者