關(guān)于多巴胺和前額皮質(zhì)的故事：

觀察人的大腦稼锅，有兩個重要部分：

１. ? 基底神經(jīng)節(jié)（或蜥蜴腦）吼具，其中包含VTA和黑質(zhì)，其中產(chǎn)生多巴胺矩距。

這一塊會被激活拗盒，在得到的獎勵比預(yù)估的更多時；

這一塊會保持在基準線锥债，在得到的獎勵就是預(yù)估的情況時陡蝇；

這一塊被會抑制痊臭，當?shù)玫降莫剟畋阮A(yù)測的獎勵少時。于是這種機制就被成為獎勵預(yù)測誤差（Dopamine reward prediction error ）登夫。

由這個機制建模的算法就是無模型強化學(xué)習广匙，其中對應(yīng)于獎勵預(yù)測誤差的就是一個算法就是Ａ２Ｃ。

they are activated by more reward than predicted (positive prediction error),

remain at baseline activity for fully predicted rewards,

and show depressed activity with less reward than predicted (negative prediction error).”

- Wolfram Schultz, Dopamine reward prediction error coding

２．前額皮質(zhì)（大腦皮層的一部分）恼策，對比多巴胺鸦致，它是“理性決策者試圖讓你做你的工作”。

這種新的學(xué)習算法獨立于原始算法戏蔑，并且在適合任務(wù)環(huán)境的方式上有所不同蹋凝。

這種學(xué)習的主要作用是通過多巴胺的驅(qū)使去調(diào)整其循環(huán)連接來塑造前額網(wǎng)絡(luò)的動態(tài)鲁纠，使它有了記憶和推理能力总棵。

前期大量訓(xùn)練，逐漸網(wǎng)絡(luò)從探索轉(zhuǎn)向開發(fā)改含，在更困難的問題中使這種轉(zhuǎn)變更加緩慢情龄。

通過兩個部分的合作，完成的功效捍壤，就使我們明白了所謂model base 算法骤视，從另一個維度或者另一種眼光去看待它，不過就是由多巴胺機制的無模型算法去調(diào)控前額皮質(zhì)功能的元學(xué)習鹃觉。

銜接之前介紹的第四個實驗:two step task.

這個任務(wù)本質(zhì)上：設(shè)計了一種在結(jié)構(gòu)相同的兩個不同任務(wù)中隨機切換的任務(wù)情況专酗，它想通過論文中架構(gòu)，用多巴胺和前額皮質(zhì)的關(guān)系的眼光去看待它盗扇，于是通過這種元學(xué)習的方式祷肯，使model

free的算法框架有了model based

功效。無模型算法只關(guān)心與環(huán)境交互得到的獎勵大小疗隶，而通過論文中算法它可以學(xué)到這個得到的獎勵來自于common還是uncommon的transition.

該算法的學(xué)習速率比控制基于DA的RL算法的學(xué)習速率大一個數(shù)量級佑笋，該算法在訓(xùn)練期間調(diào)整了前額網(wǎng)絡(luò)的權(quán)重（設(shè)定為0.00005）。因此斑鼻，結(jié)果提供了具體說明蒋纬，即由meta-RL產(chǎn)生的學(xué)習算法可以與最初的產(chǎn)生它的算法不同。

結(jié)果還使我們能夠強調(diào)這一原理的一個重要推論坚弱，即meta-RL產(chǎn)生適用于任務(wù)環(huán)境的前額學(xué)習算法蜀备。在在本案例中，這種適應(yīng)表現(xiàn)在學(xué)習率對任務(wù)波動的響應(yīng)方式荒叶。以前的研究已經(jīng)提出了解釋學(xué)習率動態(tài)變化的專用機制

率碾阁。Meta-RL將這些轉(zhuǎn)變解釋為一種涌現(xiàn)效應(yīng)，源于一系列非常普遍的條件停撞。此外瓷蛙，動態(tài)學(xué)習率只是一種可能的專業(yè)化形式悼瓮。當元RL出現(xiàn)在具有不同結(jié)構(gòu)的環(huán)境中時，將出現(xiàn)本質(zhì)上不同的學(xué)習規(guī)則艰猬。

重點　下面開始講第５個實驗：Harlow　task

由這個心理學(xué)實驗改裝而來：

１一個猩猩横堡，左右兩個遮蓋的物體

２猩猩選一個，一個物體有食物冠桃，另一物體沒有命贴，這成為一個trial.

３接下來重復(fù)６次選擇，即６個trial食听，稱為一個episode.在這個episode的每個trial胸蛛，物體都會左右隨機交換位置，但是物理對應(yīng)有沒有食物不變的樱报。

４．經(jīng)歷大概幾百個episode后葬项，猩猩學(xué)會了在一個episode開始的時候隨便選一個，即使沒選對迹蛤，下一個trial它就能選對民珍，因為猩猩已經(jīng)學(xué)到這個更高級的模式，并且把食物與物體本身聯(lián)系到一起盗飒，而不左右位置嚷量。

其實算法架構(gòu)與two step task基本一樣，就一個地方有區(qū)別逆趣，這正是其神奇的地方：同樣都是一個ＲＮＮ結(jié)構(gòu)蝶溶，或者同樣都是某個數(shù)學(xué)公式，從不同的觀點或眼光去看待它宣渗，可以映射到許多的不同是事物中抖所，于是可以解決或者描述看似完全無關(guān)的事物，給出一個架構(gòu)落包，它們的內(nèi)涵可以是無限的部蛇，black box is magic 。

架構(gòu)如上圖：

１ 我們用４０個圖片換來換去作為物體咐蝇，也是用１到４０能代表這４０個ｏｂｊｅｃｔ　涯鲁。　于是輸入的ｏｂｓｅｒｖａｔｉｏｎ改為　o_t=[id_ｏｂｊｅｃｔ１, id_ｏｂｊｅｃｔ２]

2???? 上一個ｔｒｉａｌ我們選了action=1(向右)有序，得到reward 5.

3 ?有了這些輸入抹腿，循環(huán)網(wǎng)絡(luò)訓(xùn)練好的權(quán)重，因為在這個ｔｒｉａｌ旭寿。我們的模型估計出最好的動作還是１警绩，因為這個有獎勵的ｏｂｊｅｃｔ還是在右邊。

通過此實驗的領(lǐng)悟：

１　與傳統(tǒng)的機器學(xué)習算法不同盅称，使用元增強學(xué)習肩祥，算法在前8-12k集中保持0％的性能后室。因此，您可能花費無數(shù)小時（CPU上的兩步任務(wù)> 4小時）停留在0％性能混狠，而不知道模型是否正在學(xué)習岸霹。

我的建議：a）問問自己“我的實驗是否出錯，我的錯誤是什么将饺？”b）盡可能準確地記錄實驗的詳細信息（日期贡避，時間，目標予弧，原因可能不是 工作刮吧，估計的培訓(xùn)時間等）

２　就像小孩學(xué)東西一樣，要嘛不懂掖蛤，要嘛就懂了杀捻。很貼合意識產(chǎn)生的過程，一種無意識到意識的涌現(xiàn)坠七，而且是基于平常的條件水醋。

３　調(diào)整超參數(shù)旗笔。只使用一個線程彪置，一個48單位LSTM和一個非常簡單的輸入進行實驗。最終蝇恶，我們獲得的平均獎勵達到了約10（約為最高性能的一半拳魁，參見“結(jié)果”）。我們最好的猜測是48個單位不足以學(xué)習任務(wù)撮弧，但也許它是我們的代碼中的單線程或其他東西潘懊。簡而言之，總是一次改變一個超參數(shù)贿衍，否則你最終根本不知道為什么你的模型不是在學(xué)習授舟。

另外：論文里還提到了對ＬＳＴＭ的理解，我覺得不錯：

在標準的非門控遞歸神經(jīng)網(wǎng)絡(luò)中贸辈，時間步驟t的狀態(tài)是時間步驟t-1的狀態(tài)的線性投影释树，然后是非線性。這種“香草”RNN可能對于具有遠程時間依賴性的有困難擎淤，因為它必須學(xué)習非常精確的映射奢啥，只是為了將信息從一個時間狀態(tài)復(fù)制到下一個時間狀態(tài)。另一方面嘴拢，LSTM的工作原理是

將其內(nèi)部狀態(tài)（稱為“單元狀態(tài)”）從每個時間步驟復(fù)制到下一個時間步驟桩盲。它不是必須學(xué)習如何記住，而是默認記得席吴。但是赌结，它也可以選擇忘記捞蛋，使用“忘記”（或維護）門，并使用“輸入”選擇允許新信息進入門”柬姚。因為它可能不想在每個時間步輸出其整個存儲器內(nèi)容襟交，所以也存在

一個“輸出門”來控制輸出什么。這些門中的每一個都由學(xué)習函數(shù)調(diào)制網(wǎng)絡(luò)的狀態(tài)伤靠。

到此結(jié)束捣域，歡迎提問題交流，wechat : Leslie27ch