第16章 強化學習
來源:ApacheCN《Sklearn 與 TensorFlow 機器學習實用指南》翻譯項目
校對:@飛龍
強化學習(RL)如今是機器學習的一大令人激動的領(lǐng)域,當然之前也是。自從 1950 年被發(fā)明出來后,它在這些年產(chǎn)生了一些有趣的應用晃虫,尤其是在游戲(例如 TD-Gammon余耽,一個西洋雙陸棋程序)和及其控制領(lǐng)域胚委,但是從未弄出什么大新聞晨仑。直到 2013 年一個革命性的發(fā)展:來自英國的研究者發(fā)起了一項 Deepmind 項目,這個項目可以學習去玩任何從頭開始的 Atari 游戲烫罩,甚至多數(shù)比人類玩的還要好,它僅適用像素作為輸入并且沒有游戲規(guī)則的任何先驗知識洽故。這是一系列令人驚嘆的壯舉贝攒,在 2016 年 3 月以他們的系統(tǒng)阿爾法狗戰(zhàn)勝了世界圍棋冠軍李世石。沒有一個程序能接近這個游戲的主宰时甚,更不用說世界冠軍了隘弊。今天哈踱,RL 的整個領(lǐng)域正在沸騰著新的想法,其都具有廣泛的應用范圍梨熙。DeepMind 在 2014 被谷歌以超過 5 億美元收購嚣鄙。
那么他們是怎么做到的呢?事后看來串结,原理似乎相當簡單:他們將深度學習運用到強化學習領(lǐng)域哑子,結(jié)果卻超越了他們最瘋狂的設(shè)想。在本章中肌割,我們將首先解釋強化學習是什么卧蜓,以及它擅長于什么,然后我們將介紹兩個在深度強化學習領(lǐng)域最重要的技術(shù):策略梯度和深度 Q 網(wǎng)絡(DQN)把敞,包括討論馬爾可夫決策過程(MDP)弥奸。我們將使用這些技術(shù)來訓練一個模型來平衡移動車上的桿子,另一個玩 Atari 游戲奋早。同樣的技術(shù)可以用于各種各樣的任務盛霎,從步行機器人到自動駕駛汽車。