03-07 Dyna

https://classroom.udacity.com/courses/ud501/lessons/5326212698/concepts/54629888620923

hallucinate 產(chǎn)生幻覺

Dyna-Q:混合 Model-Free 和 Model-based

image.png

每一次和真實世界的交互吃型,都會自己更新100次父虑。

image.png

T'[s,a,s']: 從狀態(tài) s霉咨,采取動作 a循衰,到狀態(tài) s’的概率
R'[s,a]: 從狀態(tài) s,采取動作 a的 reward

image.png
image.png
image.png

根據(jù)真實世界發(fā)生的次數(shù),更新 T

image.png

練習(xí): How To Evaluate T?

Type in your expression usingMathQuill

  • a WYSIWYG math renderer that understands LaTeX.

Correction: The expression should be:

Computing transition probabilities using counts

image.png
image.png
image.png

R:模型中的 Reward
r: 真實的立即 reward

image.png

Summary

The Dyna architecture consists of a combination of:

  • direct reinforcement learning from real experience tuples gathered by acting in an environment,
  • updating an internal model of the environment, and,
  • using the model to simulate experiences.

Sutton and Barto.
Reinforcement Learning: An Introduction. MIT Press, Cambridge, MA, 1998. [web]

Resources

  • Richard S. Sutton. Integrated architectures for learning, planning, and reacting based on approximating dynamic programming. In

    Proceedings of the Seventh International Conference on Machine Learning, Austin, TX, 1990. [pdf]

  • Sutton and Barto.

    Reinforcement Learning: An Introduction. MIT Press, Cambridge, MA, 1998. [web]

  • RL course by David Silver

    (videos, slides)

    • Lecture 8: Integrating Learning and Planning [pdf]
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市洼滚,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌技潘,老刑警劉巖遥巴,帶你破解...
    沈念sama閱讀 222,590評論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異享幽,居然都是意外死亡铲掐,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,157評論 3 399
  • 文/潘曉璐 我一進店門值桩,熙熙樓的掌柜王于貴愁眉苦臉地迎上來迹炼,“玉大人,你說我怎么就攤上這事∷谷耄” “怎么了砂碉?”我有些...
    開封第一講書人閱讀 169,301評論 0 362
  • 文/不壞的土叔 我叫張陵,是天一觀的道長刻两。 經(jīng)常有香客問我增蹭,道長,這世上最難降的妖魔是什么磅摹? 我笑而不...
    開封第一講書人閱讀 60,078評論 1 300
  • 正文 為了忘掉前任滋迈,我火速辦了婚禮,結(jié)果婚禮上户誓,老公的妹妹穿的比我還像新娘饼灿。我一直安慰自己,他們只是感情好帝美,可當(dāng)我...
    茶點故事閱讀 69,082評論 6 398
  • 文/花漫 我一把揭開白布碍彭。 她就那樣靜靜地躺著,像睡著了一般悼潭。 火紅的嫁衣襯著肌膚如雪庇忌。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 52,682評論 1 312
  • 那天舰褪,我揣著相機與錄音皆疹,去河邊找鬼。 笑死占拍,一個胖子當(dāng)著我的面吹牛略就,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播晃酒,決...
    沈念sama閱讀 41,155評論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼表牢,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了掖疮?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 40,098評論 0 277
  • 序言:老撾萬榮一對情侶失蹤颗祝,失蹤者是張志新(化名)和其女友劉穎浊闪,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體螺戳,經(jīng)...
    沈念sama閱讀 46,638評論 1 319
  • 正文 獨居荒郊野嶺守林人離奇死亡搁宾,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,701評論 3 342
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了倔幼。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片盖腿。...
    茶點故事閱讀 40,852評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出翩腐,到底是詐尸還是另有隱情鸟款,我是刑警寧澤,帶...
    沈念sama閱讀 36,520評論 5 351
  • 正文 年R本政府宣布茂卦,位于F島的核電站何什,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏等龙。R本人自食惡果不足惜处渣,卻給世界環(huán)境...
    茶點故事閱讀 42,181評論 3 335
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望蛛砰。 院中可真熱鬧罐栈,春花似錦、人聲如沸泥畅。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,674評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽涯捻。三九已至浅妆,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間障癌,已是汗流浹背凌外。 一陣腳步聲響...
    開封第一講書人閱讀 33,788評論 1 274
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留涛浙,地道東北人康辑。 一個月前我還...
    沈念sama閱讀 49,279評論 3 379
  • 正文 我出身青樓,卻偏偏與公主長得像轿亮,于是被迫代替她去往敵國和親疮薇。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,851評論 2 361

推薦閱讀更多精彩內(nèi)容

  • 最近很痛苦啊我注,因為我的手機充不進電按咒。 當(dāng)初很喜歡的一款手機,我對他的期望值是真的相當(dāng)高但骨,現(xiàn)在才用了剛過一年励七,就...
    五味lucky閱讀 266評論 0 1
  • 只要是個凡人就會有情緒掠抬。有情緒就會有情緒周期,有情緒高點校哎,就會有情緒低谷两波。 在情緒低落的時候瞳步,不要任性,嘗試做任何...
    90后妹紙進化論閱讀 475評論 2 2
  • 姓名:樓靈芝 單位:杭州熙林服飾 【日精進打卡第134天】 【知~學(xué)習(xí)】 《六項精進》背誦1遍腰奋,共570遍单起; 《大...
    心鏡_8ef4閱讀 154評論 0 0
  • 本節(jié)主題(Storyboard/模型思想搭建設(shè)置頁面) 源碼地址在文章末尾 設(shè)置(Setting)頁面的搭建(實現(xiàn)...
    Developer_Yancy閱讀 11,857評論 31 150
  • 你已盛妝而去 來不及收走你的妝臺 清澈的水面如鏡 彰顯出你濃烈的情懷 楓如火,桐如金 草卻蒼涼漸隱去 風(fēng)漸涼氛堕,菊含...
    余夢人生閱讀 272評論 3 10