Trajectory : 
為一串游戲的狀態(tài)和動作序列。
%3Dp(s_1)p_%5Ctheta(a_1%7Cs_1)p(s_2%7Cs_1%2Ca_1)p_%5Ctheta(a_2%7Cs_2)p(s_3%7Cs_2%2Ca_2)%5Ccdots)
%20%5Cprod_%7Bt%3D1%7D%5ET%20p_%5Ctheta(a_t%7Cs_t)p(s_%7Bt%2B1%7D%7Cs_t%2Ca_t))
![\overline{R}_\theta = E_{\tau \sim p_\theta(\tau) }[R(\tau)] = \sum_{\tau} R(\tau)p_\theta(\tau), R(\tau) = \sum_{t=1}^T r_t](https://math.jianshu.com/math?formula=%5Coverline%7BR%7D_%5Ctheta%20%3D%20E_%7B%5Ctau%20%5Csim%20p_%5Ctheta(%5Ctau)%20%7D%5BR(%5Ctau)%5D%20%3D%20%5Csum_%7B%5Ctau%7D%20R(%5Ctau)p_%5Ctheta(%5Ctau)%2C%20R(%5Ctau)%20%3D%20%5Csum_%7Bt%3D1%7D%5ET%20r_t)
這里的為一類序列痢掠，)
為的發(fā)生的概率产还。
%5Cnabla%20p_%5Ctheta(%5Ctau))
那這里是不是我們直接能用
來獲得最大值呢？
我們這里設(shè)之列有
種那么就有%5Cnabla%20p_%5Ctheta(%5Ctau))
這里的問題就在于X有多少種無法確定屯蹦，所以無法直接求得维哈。
因為有%20%3D%20f(x)%5Cnabla%20%5Clog%20f(x))
所以
![\begin{align} \nabla\overline{R}_\theta & =\sum_{\tau} R(\tau)p_\theta(\tau)\nabla \log p_\theta(\tau)\\ & = E_{\tau \sim p_\theta(\tau) }[R(\tau)\nabla \log p_\theta(\tau)]\\ & {\approx} \frac{1}{N} \sum_{n=1}^N R(\tau^n) \nabla \log p_\theta(\tau^n)\\ & = \frac{1}{N} \sum_{n=1}^N \sum_{t=1}^{T_n} R(\tau^n) \nabla \log p_\theta(a_t^n|s_t^n)\\ \end{align}](https://math.jianshu.com/math?formula=%5Cbegin%7Balign%7D%20%5Cnabla%5Coverline%7BR%7D_%5Ctheta%20%26%20%3D%5Csum_%7B%5Ctau%7D%20R(%5Ctau)p_%5Ctheta(%5Ctau)%5Cnabla%20%5Clog%20p_%5Ctheta(%5Ctau)%5C%5C%20%26%20%3D%20E_%7B%5Ctau%20%5Csim%20p_%5Ctheta(%5Ctau)%20%7D%5BR(%5Ctau)%5Cnabla%20%5Clog%20p_%5Ctheta(%5Ctau)%5D%5C%5C%20%26%20%7B%5Capprox%7D%20%5Cfrac%7B1%7D%7BN%7D%20%5Csum_%7Bn%3D1%7D%5EN%20R(%5Ctau%5En)%20%5Cnabla%20%5Clog%20p_%5Ctheta(%5Ctau%5En)%5C%5C%20%26%20%3D%20%5Cfrac%7B1%7D%7BN%7D%20%5Csum_%7Bn%3D1%7D%5EN%20%5Csum_%7Bt%3D1%7D%5E%7BT_n%7D%20R(%5Ctau%5En)%20%5Cnabla%20%5Clog%20p_%5Ctheta(a_t%5En%7Cs_t%5En)%5C%5C%20%5Cend%7Balign%7D)
這里的
與之前的不一樣，代表采樣中的單獨一次采樣登澜，代表一類相同的采樣阔挠。所以我們想要求的loss函數(shù)如下：
%20%26%20%3D%20%5Cint%5Cfrac%7B1%7D%7BN%7D%20%5Csum_%7Bn%3D1%7D%5EN%20%5Csum_%7Bt%3D1%7D%5E%7BT_n%7D%20R(%5Ctau%5En)%20%5Cnabla%20%5Clog%20p_%5Ctheta(a_t%5En%7Cs_t%5En)%5C%5C%20%26%20%3D%20%5Cfrac%7B1%7D%7BN%7D%20%5Csum_%7Bn%3D1%7D%5EN%20%5Csum_%7Bt%3D1%7D%5E%7BT_n%7D%20R(%5Ctau%5En)%20%5Clog%20p_%5Ctheta(a_t%5En%7Cs_t%5En)%5C%5C%20%5Cend%7Balign%7D)
當然這里求的是loss得最大值。
最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
