最新的開源強化學(xué)習(xí)框架或庫匯總

強化學(xué)習(xí)(英語:Reinforcement learning,簡稱RL)是機器學(xué)習(xí)中的一個領(lǐng)域停局,強調(diào)如何基于環(huán)境而行動岛抄,以取得最大化的預(yù)期利益。其靈感來源于心理學(xué)中的行為主義理論弧可,即有機體如何在環(huán)境給予的獎勵或懲罰的刺激下,逐步形成對刺激的預(yù)期劣欢,產(chǎn)生能獲得最大利益的習(xí)慣性行為棕诵。

這個方法具有普適性,因此在其他許多領(lǐng)域都有研究凿将,例如博弈論校套、控制論、運籌學(xué)牧抵、信息論笛匙、仿真優(yōu)化、多主體系統(tǒng)學(xué)習(xí)犀变、群體智能妹孙、統(tǒng)計學(xué)以及遺傳算法。在運籌學(xué)和控制理論研究的語境下获枝,強化學(xué)習(xí)被稱作“近似動態(tài)規(guī)劃”(approximate dynamic programming蠢正,ADP)。在最優(yōu)控制理論中也有研究這個問題省店,雖然大部分的研究是關(guān)于最優(yōu)解的存在和特性嚣崭,并非是學(xué)習(xí)或者近似方面。在經(jīng)濟學(xué)和博弈論中懦傍,強化學(xué)習(xí)被用來解釋在有限理性的條件下如何出現(xiàn)平衡雹舀。強化學(xué)習(xí)更加專注于在線規(guī)劃,需要在探索(在未知的領(lǐng)域)和遵從(現(xiàn)有知識)之間找到平衡谎脯。[1]

2018年許多大的公司都提出了自己的強化學(xué)習(xí)框架葱跋,下面就列出幾個重要公司的強化學(xué)習(xí)開源框架:

Dopamine framework強化學(xué)習(xí)框架來自google持寄,GitHub上的點贊數(shù)接近8K[2]源梭,該研究框架用于快速原型化強化學(xué)習(xí)算法娱俺,是一個基于 Tensorflow 的框架。它旨在滿足用戶對一個小型的废麻、容易修改的代碼庫的需求荠卷,用戶可以在這個代碼庫中自由地實驗各種想法。

該框架的設(shè)計原則是:

1.實驗簡單烛愧,讓新用戶可以輕松地運行基礎(chǔ)實驗油宜;

2.開發(fā)靈活,讓新用戶更容易嘗試研究想法怜姿;

3.緊湊可靠慎冤,實現(xiàn)一些經(jīng)過實戰(zhàn)檢驗的算法;

4.可重復(fù)性沧卢,保證結(jié)果的可重復(fù)性蚁堤。

強化學(xué)習(xí)模塊TRFL:該模塊里面有用于在 TensorFlow 中編寫強化學(xué)習(xí)代理的庫,github上的點贊數(shù)有2500[3]但狭。它代表了一系列關(guān)鍵算法組件披诗,其內(nèi)部使用了大量最成功的代理,如 DQN立磁、 DDPG 和 Importance Weighted Actor Learner Architecture等呈队。

TRFL庫包括實現(xiàn)經(jīng)典 RL 算法以及更多前沿技術(shù)的函數(shù)。 這里提供的損失函數(shù)和其他操作都是在純 TensorFlow 中實現(xiàn)的唱歧。 它們不是完整的算法宪摧,而是構(gòu)建全功能 RL 代理所需的特定于 RL 的數(shù)學(xué)計算的實現(xiàn)。

Horizon平臺:來自Facebook 的開源應(yīng)用強化學(xué)習(xí)平臺颅崩,GitHub上的點贊數(shù)將近2K[4]绍刮。 Horizon 是一個端到端平臺,旨在解決工業(yè)應(yīng)用 RL 問題挨摸,其中數(shù)據(jù)集很大(數(shù)百萬到數(shù)十億個觀測值) 孩革,與模擬器相比,其反饋回路很慢得运,實驗必須謹(jǐn)慎進行膝蜈,因為它們不在模擬器中運行。 其他 RL 平臺通常是為快速原型和實驗而設(shè)計的熔掺,但Horizon 是以生產(chǎn)用例為首要考慮的饱搏。 該平臺包含訓(xùn)練流程,包括數(shù)據(jù)預(yù)處理置逻、特征轉(zhuǎn)換推沸、分布式訓(xùn)練、反事實策略評估和優(yōu)化服務(wù)。 該平臺還展示了一些真實的例子鬓催,在 Facebook 上肺素,使用 Horizon 訓(xùn)練的模型的表現(xiàn)明顯優(yōu)于監(jiān)督式學(xué)習(xí)系統(tǒng)。

TextWorld:來自微軟的強化學(xué)習(xí)環(huán)境宇驾,GitHub上的點贊數(shù)差不多有700[5]多倍靡。該環(huán)境包含一個基于文本的游戲生成器和可擴展的沙盒學(xué)習(xí)環(huán)境,用于訓(xùn)練和測試強化學(xué)習(xí)代理课舍。 TextWorld 將強化學(xué)習(xí)和自然語言結(jié)合起來塌西,在 TextWorld 中,代理必須同時讀取和生成自然語言筝尾,自然語言具有完全不同的捡需、在許多情況下更為復(fù)雜的結(jié)構(gòu)。

參考

^https://en.wikipedia.org/wiki/Reinforcement_learning

^https://github.com/google/dopamine

^https://github.com/deepmind/trfl/blob/master/docs/index.md

^https://github.com/facebookresearch/Horizon

^https://github.com/microsoft/TextWorld

文章來源:https://zhuanlan.zhihu.com/p/66834116

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末筹淫,一起剝皮案震驚了整個濱河市栖忠,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌贸街,老刑警劉巖庵寞,帶你破解...
    沈念sama閱讀 223,002評論 6 519
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異薛匪,居然都是意外死亡捐川,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,357評論 3 400
  • 文/潘曉璐 我一進店門逸尖,熙熙樓的掌柜王于貴愁眉苦臉地迎上來古沥,“玉大人,你說我怎么就攤上這事娇跟⊙页荩” “怎么了?”我有些...
    開封第一講書人閱讀 169,787評論 0 365
  • 文/不壞的土叔 我叫張陵苞俘,是天一觀的道長盹沈。 經(jīng)常有香客問我,道長吃谣,這世上最難降的妖魔是什么乞封? 我笑而不...
    開封第一講書人閱讀 60,237評論 1 300
  • 正文 為了忘掉前任,我火速辦了婚禮岗憋,結(jié)果婚禮上肃晚,老公的妹妹穿的比我還像新娘。我一直安慰自己仔戈,他們只是感情好关串,可當(dāng)我...
    茶點故事閱讀 69,237評論 6 398
  • 文/花漫 我一把揭開白布拧廊。 她就那樣靜靜地躺著,像睡著了一般晋修。 火紅的嫁衣襯著肌膚如雪吧碾。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 52,821評論 1 314
  • 那天飞蚓,我揣著相機與錄音滤港,去河邊找鬼廊蜒。 笑死趴拧,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的山叮。 我是一名探鬼主播著榴,決...
    沈念sama閱讀 41,236評論 3 424
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼屁倔!你這毒婦竟也來了脑又?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 40,196評論 0 277
  • 序言:老撾萬榮一對情侶失蹤锐借,失蹤者是張志新(化名)和其女友劉穎问麸,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體钞翔,經(jīng)...
    沈念sama閱讀 46,716評論 1 320
  • 正文 獨居荒郊野嶺守林人離奇死亡严卖,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,794評論 3 343
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了布轿。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片哮笆。...
    茶點故事閱讀 40,928評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖汰扭,靈堂內(nèi)的尸體忽然破棺而出稠肘,到底是詐尸還是另有隱情,我是刑警寧澤萝毛,帶...
    沈念sama閱讀 36,583評論 5 351
  • 正文 年R本政府宣布项阴,位于F島的核電站,受9級特大地震影響笆包,放射性物質(zhì)發(fā)生泄漏鲁冯。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 42,264評論 3 336
  • 文/蒙蒙 一色查、第九天 我趴在偏房一處隱蔽的房頂上張望薯演。 院中可真熱鬧,春花似錦秧了、人聲如沸跨扮。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,755評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽衡创。三九已至帝嗡,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間璃氢,已是汗流浹背哟玷。 一陣腳步聲響...
    開封第一講書人閱讀 33,869評論 1 274
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留一也,地道東北人巢寡。 一個月前我還...
    沈念sama閱讀 49,378評論 3 379
  • 正文 我出身青樓,卻偏偏與公主長得像椰苟,于是被迫代替她去往敵國和親抑月。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,937評論 2 361

推薦閱讀更多精彩內(nèi)容

  • 推薦RL開源庫 參考:https://www.zhihu.com/question/49230922 主流開源強化...
    臻甄閱讀 2,813評論 0 4
  • # Python 資源大全中文版 我想很多程序員應(yīng)該記得 GitHub 上有一個 Awesome - XXX 系列...
    小邁克閱讀 3,002評論 1 3
  • 文|過云雨 今天早上起來舆蝴,就是黑云壓城谦絮,然后不久就是傾盆大雨,連綿不絕洁仗。站在窗邊层皱,我陷入了回憶。 小時候看的港片赠潦,...
    過云雨Milo閱讀 316評論 0 0
  • http://www.keygotech.com/cn/services/video-center
    dyg540閱讀 348評論 0 0
  • 在后來的很多日子里有許多人問我:沒有結(jié)果的感情祭椰,這么努力的堅持有意義嗎臭家?我沒有準(zhǔn)確的回答,因為我給不了準(zhǔn)確的...
    八號老藝術(shù)家閱讀 536評論 2 3