PPO公式推導

Trajectory : \tau=\left\{s_1,a_1,s_2,a_2,\cdots,s_T,a_T \right\}
\tau為一串游戲的狀態(tài)和動作序列。
p_\theta(\tau)=p(s_1)p_\theta(a_1|s_1)p(s_2|s_1,a_1)p_\theta(a_2|s_2)p(s_3|s_2,a_2)\cdots
\quad \quad \quad = p(s_1) \prod_{t=1}^T p_\theta(a_t|s_t)p(s_{t+1}|s_t,a_t)

\overline{R}_\theta = E_{\tau \sim p_\theta(\tau) }[R(\tau)] = \sum_{\tau} R(\tau)p_\theta(\tau), R(\tau) = \sum_{t=1}^T r_t
這里的\tau為一類序列痢掠,p_\theta(\tau)\tau的發(fā)生的概率产还。
\nabla\overline{R}_\theta = \sum_{\tau} R(\tau)\nabla p_\theta(\tau)
那這里是不是我們直接能用\nabla\overline{R}_\theta來獲得最大值呢?
我們這里設(shè)之列有X\tau那么就有\nabla\overline{R}_\theta = \sum_{\tau = 1}^X R(\tau)\nabla p_\theta(\tau)這里的問題就在于X有多少種無法確定屯蹦,所以無法直接求得\nabla\overline{R}_\theta维哈。
因為有\nabla f(x) = f(x)\nabla \log f(x)
所以
\begin{align} \nabla\overline{R}_\theta & =\sum_{\tau} R(\tau)p_\theta(\tau)\nabla \log p_\theta(\tau)\\ & = E_{\tau \sim p_\theta(\tau) }[R(\tau)\nabla \log p_\theta(\tau)]\\ & {\approx} \frac{1}{N} \sum_{n=1}^N R(\tau^n) \nabla \log p_\theta(\tau^n)\\ & = \frac{1}{N} \sum_{n=1}^N \sum_{t=1}^{T_n} R(\tau^n) \nabla \log p_\theta(a_t^n|s_t^n)\\ \end{align}
這里的\tau^n與之前的\tau不一樣,\tau^n代表采樣中的單獨一次采樣登澜,\tau代表一類相同的采樣阔挠。所以我們想要求的loss函數(shù)如下:
\begin{align} L^{PG}(\theta) & = \int\frac{1}{N} \sum_{n=1}^N \sum_{t=1}^{T_n} R(\tau^n) \nabla \log p_\theta(a_t^n|s_t^n)\\ & = \frac{1}{N} \sum_{n=1}^N \sum_{t=1}^{T_n} R(\tau^n) \log p_\theta(a_t^n|s_t^n)\\ \end{align}當然這里求的是loss得最大值。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末脑蠕,一起剝皮案震驚了整個濱河市购撼,隨后出現(xiàn)的幾起案子跪削,更是在濱河造成了極大的恐慌,老刑警劉巖迂求,帶你破解...
    沈念sama閱讀 222,946評論 6 518
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件碾盐,死亡現(xiàn)場離奇詭異,居然都是意外死亡揩局,警方通過查閱死者的電腦和手機毫玖,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,336評論 3 399
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來凌盯,“玉大人付枫,你說我怎么就攤上這事〕墼酰” “怎么了阐滩?”我有些...
    開封第一講書人閱讀 169,716評論 0 364
  • 文/不壞的土叔 我叫張陵,是天一觀的道長县忌。 經(jīng)常有香客問我掂榔,道長,這世上最難降的妖魔是什么芹枷? 我笑而不...
    開封第一講書人閱讀 60,222評論 1 300
  • 正文 為了忘掉前任衅疙,我火速辦了婚禮,結(jié)果婚禮上鸳慈,老公的妹妹穿的比我還像新娘饱溢。我一直安慰自己,他們只是感情好走芋,可當我...
    茶點故事閱讀 69,223評論 6 398
  • 文/花漫 我一把揭開白布绩郎。 她就那樣靜靜地躺著,像睡著了一般翁逞。 火紅的嫁衣襯著肌膚如雪肋杖。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 52,807評論 1 314
  • 那天挖函,我揣著相機與錄音状植,去河邊找鬼。 笑死怨喘,一個胖子當著我的面吹牛津畸,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播必怜,決...
    沈念sama閱讀 41,235評論 3 424
  • 文/蒼蘭香墨 我猛地睜開眼肉拓,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了梳庆?” 一聲冷哼從身側(cè)響起暖途,我...
    開封第一講書人閱讀 40,189評論 0 277
  • 序言:老撾萬榮一對情侶失蹤卑惜,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后驻售,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體露久,經(jīng)...
    沈念sama閱讀 46,712評論 1 320
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,775評論 3 343
  • 正文 我和宋清朗相戀三年欺栗,在試婚紗的時候發(fā)現(xiàn)自己被綠了抱环。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,926評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡纸巷,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出眶痰,到底是詐尸還是另有隱情瘤旨,我是刑警寧澤,帶...
    沈念sama閱讀 36,580評論 5 351
  • 正文 年R本政府宣布竖伯,位于F島的核電站存哲,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏七婴。R本人自食惡果不足惜祟偷,卻給世界環(huán)境...
    茶點故事閱讀 42,259評論 3 336
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望打厘。 院中可真熱鬧修肠,春花似錦、人聲如沸户盯。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,750評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽莽鸭。三九已至吗伤,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間硫眨,已是汗流浹背足淆。 一陣腳步聲響...
    開封第一講書人閱讀 33,867評論 1 274
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留礁阁,地道東北人巧号。 一個月前我還...
    沈念sama閱讀 49,368評論 3 379
  • 正文 我出身青樓,卻偏偏與公主長得像氮兵,于是被迫代替她去往敵國和親裂逐。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 45,930評論 2 361

推薦閱讀更多精彩內(nèi)容