姓名：李昊菲；學(xué)號(hào)：22011110007；學(xué)院：通信工程學(xué)院
源自?https://mp.weixin.qq.com/s/Id2jIDpmgtDlw3X8BZHJqQ
【嵌牛導(dǎo)讀】在自然語(yǔ)言處理柬脸、計(jì)算機(jī)視覺(jué)和二者的交叉領(lǐng)域中，通過(guò)訓(xùn)練大量與任務(wù)無(wú)關(guān)的數(shù)據(jù)集毙驯，建立大規(guī)模的通用模型來(lái)解決許多任務(wù)倒堕，已經(jīng)成為主流方法。這些模型可以適應(yīng)新的任務(wù)(例如翻譯) 爆价，利用不相關(guān)的數(shù)據(jù)(例如使用高資源語(yǔ)言來(lái)改進(jìn)低資源語(yǔ)言的翻譯) 垦巴，甚至可以通過(guò)將圖像投影到語(yǔ)言空間來(lái)納入新的模式。這些方法的成功很大程度上來(lái)自于可擴(kuò)展模型架構(gòu)允坚、大量未標(biāo)注的任務(wù)無(wú)關(guān)數(shù)據(jù)以及高性能計(jì)算基礎(chǔ)設(shè)施的不斷改進(jìn)魂那。至關(guān)重要的是，標(biāo)度律表明稠项，規(guī)模帶來(lái)的性能提升尚未達(dá)到飽和點(diǎn)。
【嵌牛鼻子】谷歌鲜结，Transformers
【嵌牛提問(wèn)】在強(qiáng)化學(xué)習(xí)領(lǐng)域展运，「大力出奇跡」行得通？
【嵌牛正文】
在最近的一項(xiàng)工作中精刷，谷歌研究院的成員們提出拗胜，類似的進(jìn)展在強(qiáng)化學(xué)習(xí)領(lǐng)域是可能發(fā)生的，并且他們采取可擴(kuò)展的方法的初步步驟怒允，生成了表現(xiàn)優(yōu)越的通才型智能體埂软。與視覺(jué)和語(yǔ)言領(lǐng)域相反，強(qiáng)化學(xué)習(xí)通常倡導(dǎo)使用更小的模型纫事，模型也通常用于解決單一任務(wù)勘畔，或在同一環(huán)境中的多個(gè)任務(wù)。重要的是丽惶，跨越多種環(huán)境的訓(xùn)練的研究數(shù)量并不多炫七，很少有人研究橫跨不同動(dòng)力學(xué)、獎(jiǎng)勵(lì)钾唬、視覺(jué)效果和智能體實(shí)施方式的東西万哪。
論文鏈接：https://arxiv.org/pdf/2205.15241.pdf
具體地說(shuō)，研究者調(diào)研了是否可以從大量的專家和非專家經(jīng)驗(yàn)中訓(xùn)練一個(gè)單一的模型（具有單一的一組參數(shù)）在多種環(huán)境中行動(dòng)抡秆。他們?cè)谝唤M 41 個(gè) Atari 游戲上進(jìn)行訓(xùn)練奕巍，用來(lái)滿足多樣性方面的要求，并提出了一個(gè)問(wèn)題：「模型能從玩很多視頻游戲的過(guò)程中學(xué)到一些通用的東西嗎?」
為了訓(xùn)練這個(gè)模型儒士，研究者只使用了先前從 Agarwal et al. [1]中收集到的軌跡的止，但是交互式地評(píng)估了本研究的智能體。研究者表示乍桂，他們并不是在追求特定游戲智能體所能達(dá)到的精通程度或效率冲杀，因?yàn)檫@項(xiàng)研究仍處于早期階段效床。相反，他們要探索的是权谁，在語(yǔ)言和視覺(jué)領(lǐng)域觀察到的相同趨勢(shì)剩檀，是否也適用于大規(guī)模的通才型強(qiáng)化學(xué)習(xí)？
研究發(fā)現(xiàn)旺芽，在對(duì)離線專家數(shù)據(jù)集和非專家數(shù)據(jù)集進(jìn)行訓(xùn)練之后沪猴，智能體可以在所有游戲中同時(shí)達(dá)到人類級(jí)別性能的 126%，如論文中圖 1 所示采章。此外运嗜，研究者還發(fā)現(xiàn)了與語(yǔ)言和視覺(jué)領(lǐng)域相似的趨勢(shì)：用很少的數(shù)據(jù)快速適應(yīng)從未見(jiàn)過(guò)的游戲(第 4.5 節(jié)) ，性能和模型大小之間的冪律關(guān)系(第 4.4 節(jié)) 悯舟，以及為更大的模型提供更快的訓(xùn)練進(jìn)度担租。
值得注意的是，并非所有現(xiàn)有的多環(huán)境訓(xùn)練方法都有效抵怎。他們研究了幾種方法奋救，包括將問(wèn)題處理為基于離線決策 Transformer 的序列建模 [14,34]、在線 RL [51]反惕、離線時(shí)間差分方法[41]尝艘、對(duì)比表征[54] 和行為克隆[58]。
研究者發(fā)現(xiàn)姿染，基于決策 Transformer 的模型在多環(huán)境下提供了最好的性能和擴(kuò)展特性背亥。然而，為了實(shí)現(xiàn)對(duì)專家和非專家軌跡的訓(xùn)練悬赏，有必要使用從語(yǔ)言建模引導(dǎo)生成技術(shù)來(lái)生成專家級(jí)別的動(dòng)作狡汉，這與標(biāo)準(zhǔn)的決策 Transformer 有很大的不同。
為了回答一系列假設(shè)提問(wèn)舷嗡，研究者進(jìn)行了多項(xiàng)實(shí)驗(yàn)轴猎，如下：
不同的在線和離線方法在多博弈體制中的表現(xiàn)如何？
研究比較了多博弈機(jī)制和單游戲機(jī)制下不同在線和離線算法进萄，發(fā)現(xiàn)單游戲?qū)＜夷Ｐ腿匀皇亲罡咝У哪聿薄Ｔ诙嗖┺耐ㄓ媚Ｐ椭校嗖┺臎Q策 Transformer 模型最接近專家性能中鼠，多博弈在線 RL 與非 Transformer 模型排在第二位可婶，而離線非 Transformer 模型很難獲得好的表現(xiàn)。
可以注意到援雇，多博弈在線 C51 DQN 中位數(shù)得分為 68% (附錄 D) 矛渴，這與多博弈 Impala 中位數(shù)得分為 70% 的得分相似，這是根據(jù) [20] 報(bào)告的結(jié)果計(jì)算得出的。
不同的方法如何與模型尺寸相比較具温？
在大型語(yǔ)言和視覺(jué)模型中蚕涤，最低可實(shí)現(xiàn)的訓(xùn)練損失通常隨著模型大小的增加而可預(yù)測(cè)地減少蹋笼。Kaplan et al. [37]證明了一個(gè)語(yǔ)言模型的容量 (next-token 自回歸生成模型的 NLP 術(shù)語(yǔ)) 與其性能之間的經(jīng)驗(yàn)冪律關(guān)系(在對(duì)抗數(shù)據(jù)上的負(fù)對(duì)數(shù)似然)嚎幸。這些趨勢(shì)在許多數(shù)量級(jí)的模型尺寸中得到了驗(yàn)證，包括從幾百萬(wàn)參數(shù)的模型到數(shù)千億參數(shù)的模型柏肪。
研究者調(diào)查了交互式游戲中的表現(xiàn)是否存在類似的趨勢(shì)（而不僅僅是訓(xùn)練損失）达皿，并顯示類似的冪律性能趨勢(shì)天吓，如論文中圖 5（a）。多博弈決策 Transformer 的性能實(shí)現(xiàn)了兩個(gè)數(shù)量級(jí)的增加峦椰，而其他方法要么飽和龄寞，要么性能增長(zhǎng)緩慢得多。他們還發(fā)現(xiàn)汤功，較大的模型訓(xùn)練更快物邑，在觀察相同數(shù)量的 token 后，能達(dá)到更高的游戲性能滔金。附錄 G 中進(jìn)一步討論了這些結(jié)果拂封。
不同的方法轉(zhuǎn)換到新游戲的效果如何？
盡管雅達(dá)利游戲是一項(xiàng)自然而且動(dòng)機(jī)良好的任務(wù)鹦蠕，但是由于它與人類如何將知識(shí)轉(zhuǎn)移到新游戲的相關(guān)性問(wèn)題，對(duì)于快速適應(yīng)新游戲的預(yù)訓(xùn)練還沒(méi)有被廣泛探討在抛。Nachum 和 Yang 針對(duì) Atari 的大型離線數(shù)據(jù)和小型專家數(shù)據(jù)進(jìn)行了預(yù)訓(xùn)練钟病，并與基于互模擬的一系列狀態(tài)表征學(xué)習(xí)目標(biāo)進(jìn)行了比較，但是他們的預(yù)訓(xùn)練和微調(diào)使用的是同一個(gè)游戲刚梭。相反肠阱，本文研究者感興趣的是經(jīng)過(guò)訓(xùn)練的智能體遷移到新游戲的能力。
圖 6 展示了對(duì)抗游戲中的微調(diào)性能朴读。帶有 DT 目標(biāo)的預(yù)訓(xùn)練在所有游戲中表現(xiàn)最好屹徘，所有預(yù)訓(xùn)練的方法都比從零開(kāi)始的訓(xùn)練有效，這證實(shí)了本研究的假設(shè)衅金，即針對(duì)其他游戲的預(yù)訓(xùn)練確實(shí)有助于智能體快速學(xué)習(xí)一項(xiàng)新游戲噪伊。CPC 和 BERT 的表現(xiàn)不如 DT，這表明僅僅學(xué)習(xí)狀態(tài)表征不足以達(dá)到理想的遷移效果氮唯。雖然 ACL 為 BERT 增加了一個(gè)動(dòng)作預(yù)測(cè)輔助損失鉴吹，但效果不明顯，這表明在離線數(shù)據(jù)上正確建模動(dòng)作對(duì)于獲得良好的傳輸性能非常重要惩琉。此外豆励，研究者還發(fā)現(xiàn)微調(diào)性能會(huì)隨著 DT 模型變大而提高，而 CQL 微調(diào)性能與模型大小并不一致(參見(jiàn)論文圖 5b)瞒渠。
多博弈決策 Transformer 是否改進(jìn)了訓(xùn)練數(shù)據(jù)良蒸？
研究者想要評(píng)估的是技扼，帶有專家行動(dòng)推理的決策 Transformer 是否能夠超越最好的演示在訓(xùn)練中展現(xiàn)的能力。為了做到這一點(diǎn)嫩痰，研究者看了表現(xiàn) top 3 的決策 Transformer 模型的 rollout剿吻。他們使用了 top 3 的 rollout，而不是所有 rollout 的平均值始赎，以更公平地比較最好的演示和橙，而不是一個(gè)普通的專家演示。論文的圖 7 中展示了對(duì)比單個(gè)游戲的最佳演示得分提高的百分比造垛，在一些比賽中魔招，實(shí)現(xiàn)了訓(xùn)練數(shù)據(jù)的顯著改善。
最佳行為推理是否改進(jìn)了行為克挛辶伞办斑？
論文中，圖 8 展示了所有游戲得分的平均值和標(biāo)準(zhǔn)差杆逗。雖然行為克隆有時(shí)可能會(huì)產(chǎn)生高回報(bào)的 episode乡翅，但這種情況此時(shí)不太可能發(fā)生。研究者發(fā)現(xiàn)罪郊，在 41 個(gè)游戲中蠕蚜，有 31 個(gè)游戲的決策 Transformer 的性能優(yōu)于行為克隆。
專家和非專家數(shù)據(jù)混合訓(xùn)練是否比僅專家訓(xùn)練更有益悔橄？
與從專家示范中學(xué)習(xí)相比靶累，從包括一些專家數(shù)據(jù)但主要是非專家數(shù)據(jù)的大型多樣化數(shù)據(jù)集中學(xué)習(xí)有助于學(xué)習(xí)和提高性能。為了驗(yàn)證這個(gè)假設(shè)癣疟，研究者根據(jù) episodic returns 過(guò)濾了每個(gè)游戲的訓(xùn)練數(shù)據(jù)挣柬，并且只保留前 10% 的軌跡，以生成一個(gè)專家的數(shù)據(jù)集 (詳情見(jiàn)附錄 E)睛挚。他們使用了這個(gè)專家數(shù)據(jù)集來(lái)訓(xùn)練多博弈決策 Transformer(DT-40M) 和基于 Transformer 的行為克隆模型(BC-40M)邪蛔。圖 9 比較了這些模型訓(xùn)練的專家數(shù)據(jù)和 DT-40M 訓(xùn)練的所有數(shù)據(jù)。
使用 Transformer 架構(gòu)有什么好處扎狱？
決策 Transformer 是一個(gè) Upside-Down RL (UDRL)實(shí)現(xiàn)侧到，它使用 Transformer 體系架構(gòu)，并將 RL 視為序列建模問(wèn)題委乌。為了理解 Transformer 體系架構(gòu)的好處床牧，研究者將其與使用前饋、卷積 Impala 網(wǎng)絡(luò)的 UDRL 實(shí)現(xiàn)進(jìn)行比較遭贸。
論文的圖 10 展示了使用 Impala 架構(gòu)的決策 Transformer 相對(duì)于 UDRL 的明顯優(yōu)勢(shì)戈咳。在比較 UDRL (Impla)和 CQL (在評(píng)估的每個(gè)模型尺寸上使用相同的 Impla)時(shí)，可以觀察到 UDRL (impla)優(yōu)于 CQL。結(jié)果表明著蛙，本文方法的好處不僅來(lái)自于使用的網(wǎng)絡(luò)架構(gòu)删铃，同時(shí)來(lái)自于 UDRL 公式。
盡管由于設(shè)計(jì)空間的因素踏堡，將 Transformer 與所有可能的卷積架構(gòu)進(jìn)行比較是不可行的猎唁，但研究者相信這些經(jīng)驗(yàn)性的結(jié)果仍然顯示了一個(gè)明顯的趨勢(shì)，對(duì)于 UDRL 和 Transformer 架構(gòu)都是有益的顷蟆。
