機(jī)器學(xué)習(xí)在有一件事上一直做得不好晴埂，那就是學(xué)習(xí)新任務(wù)的時(shí)候會(huì)忘記之前完成過(guò)的任務(wù)痕囱。

在監(jiān)督學(xué)習(xí)任務(wù)中袄简，監(jiān)督學(xué)習(xí)的目標(biāo)是構(gòu)建模型fx玩讳，用于預(yù)測(cè)與看不見(jiàn)的特征向量關(guān)聯(lián)的目標(biāo)向量x，為此傻粘，監(jiān)督學(xué)習(xí)方法通常采用ERM原則沼瘫。但是ERM的直接應(yīng)用會(huì)導(dǎo)致“災(zāi)難性的遺忘”抬纸，也就是說(shuō)，機(jī)器的學(xué)習(xí)在接觸新任務(wù)后會(huì)忘記如何解決過(guò)去的任務(wù)耿戚。作者們提出了一種新的學(xué)習(xí)度量湿故，用于評(píng)估模型如何在一系列學(xué)習(xí)任務(wù)中遷移知識(shí)阿趁。最終，作者們提出了一個(gè)新的頂級(jí)表現(xiàn)的算法——梯度片段記憶（GEM）坛猪，它使得學(xué)習(xí)機(jī)器在學(xué)習(xí)新任務(wù)的時(shí)候也可以不忘記以往學(xué)到的技能脖阵，同時(shí)能夠使有益的知識(shí)轉(zhuǎn)移到先前的任務(wù)。

機(jī)器在學(xué)習(xí)當(dāng)前任務(wù)時(shí)墅茉，可以訪問(wèn)之前所有任務(wù)的部分?jǐn)?shù)據(jù)命黔，它們被收集在一個(gè)稱(chēng)為“episodic memory”的地方。作者提出了“Gradient Episodic Memory”的方法來(lái)利用“episodic memory”解決機(jī)器遺忘的問(wèn)題就斤。

以往機(jī)器有關(guān)序列學(xué)習(xí)的任務(wù)都有若干特點(diǎn)：

1任務(wù)數(shù)量少悍募，但每個(gè)任務(wù)所要學(xué)習(xí)的例子很多

2學(xué)習(xí)機(jī)器對(duì)每個(gè)任務(wù)的例子進(jìn)行了幾次復(fù)習(xí)

3報(bào)告的平均績(jī)效是唯一的指標(biāo)

?但本文的作者采用一種“更像人類(lèi)”（“more human-like”）的學(xué)習(xí)任務(wù)來(lái)測(cè)試GEM模型，該種任務(wù)的特點(diǎn)：

1任務(wù)數(shù)量大洋机，但每個(gè)任務(wù)的訓(xùn)練示例數(shù)量少搜立，

2學(xué)習(xí)只觀察每個(gè)任務(wù)的示例一次

3增加報(bào)告測(cè)量遷移的績(jī)效和遺忘的指標(biāo)，作者認(rèn)為除了觀察其跨任務(wù)的績(jī)效外槐秧，評(píng)估轉(zhuǎn)移知識(shí)的能力也很重要

在學(xué)習(xí)任務(wù)的框架中，作者定義了3個(gè)任務(wù)指標(biāo)——ACC/BWT/FWT忧设。

這些指標(biāo)越大代表了模型建立越完美刁标，如果兩個(gè)模型的ACC相同，BWT和FWT的值越大的模型越好（文章并沒(méi)有比較BWT和FWT址晕，是不是說(shuō)明ACC是下位的指標(biāo)）膀懈。對(duì)于學(xué)習(xí)的精細(xì)度（fine-grained evaluation）評(píng)估，可以通過(guò)更構(gòu)建一個(gè)行數(shù)多于任務(wù)數(shù)的矩陣R中的元素Ri,j（為觀察連續(xù)體中第i個(gè)樣本后對(duì)任務(wù)tj的測(cè)試精度）來(lái)進(jìn)行評(píng)估谨垃。

EGM算法：

作者在任務(wù)k的工作記憶上定義如下?lián)p失函數(shù)：

其中Mk 表示任務(wù)k的memory启搂。但這種方式容易在Mk中的樣本上過(guò)擬合。作者嘗試一種方法刘陶，通過(guò)構(gòu)建一個(gè)不等式約束胳赌，讓其只減不增。作者新定義了一個(gè)學(xué)習(xí)函數(shù)模型：

其中是學(xué)習(xí)前一個(gè)任務(wù)后的模型匙隔。作者進(jìn)一步觀察到疑苫，其實(shí)并不需要保存之前的模型，只需要在模型參數(shù)更新后纷责，之前任務(wù)的損失不增加就可以了捍掺。這可以通過(guò)計(jì)算梯度的夾角來(lái)確定：

如果夾角為銳角，則學(xué)習(xí)當(dāng)前任務(wù)時(shí)再膳，任務(wù)k的性能就不會(huì)增加挺勿。如果夾角不是銳角，通過(guò)投影的方法喂柒，將梯度g投影到最近的梯度上不瓶，并且建立優(yōu)化函數(shù)求解

文章還通過(guò)實(shí)驗(yàn)來(lái)評(píng)估GEM在連續(xù)學(xué)習(xí)中的表現(xiàn)禾嫉。

實(shí)驗(yàn)采用3個(gè)數(shù)據(jù)集（datasets）——MNIST Permutations；MNIST Rotations湃番；CIFAR 100夭织。對(duì)于所有數(shù)據(jù)集，實(shí)驗(yàn)給出了T = 20個(gè)任務(wù)吠撮。在MNIST數(shù)據(jù)集上尊惰，每個(gè)任務(wù)都有來(lái)自10個(gè)不同類(lèi)別的1000個(gè)示例。在CIFAR100數(shù)據(jù)集上泥兰，每個(gè)任務(wù)都有來(lái)自5個(gè)不同類(lèi)別的2500個(gè)示例弄屡。該模型按順序觀察任務(wù)，每個(gè)示例觀察一次鞋诗。在每個(gè)數(shù)據(jù)集的測(cè)試分區(qū)上執(zhí)行每個(gè)任務(wù)的評(píng)估膀捷，記錄ACC,BWT,FWT的值。

不僅如此削彬，作者還將GEM和其他算法（single全庸，independent, iCaRL和EWC）一起比較，觀察和記錄各項(xiàng)指標(biāo)來(lái)觀察GEM的績(jī)效融痛。

實(shí)驗(yàn)結(jié)果：

圖左為所有數(shù)據(jù)集和方法的指標(biāo)數(shù)據(jù)分析圖壶笼，圖右顯示的是不同方法在整個(gè)連續(xù)性數(shù)據(jù)中第一個(gè)任務(wù)的測(cè)試準(zhǔn)確性的演變⊙闼ⅲ可以觀察到覆劈，總的來(lái)說(shuō)，GEM的性能與多模態(tài)模型（the multimodal model）相似沛励，甚至更好责语，并且這些模型非常適用于MNIST任務(wù)；不僅如此目派，GEM在CIFAR100中表現(xiàn)出最小的遺忘和正向后移（backward transfer）坤候。GEM的性能明顯優(yōu)于其他的持續(xù)學(xué)習(xí)方法，并且計(jì)算量更少企蹭。綜合后續(xù)的CPU訓(xùn)練時(shí)間铐拐、工作記憶容量的實(shí)驗(yàn)測(cè)量后，可以觀察到GEM優(yōu)質(zhì)的性能练对。

實(shí)驗(yàn)雖然展示出了GEM的高性能遍蟋，作者表明但仍然有3點(diǎn)不足：

1首先，GEM沒(méi)有利用結(jié)構(gòu)化的任務(wù)描述符螟凭，而描述符可以被用來(lái)獲得零鏡頭學(xué)習(xí)（zero-shot learning）虚青。

2其次，實(shí)驗(yàn)沒(méi)有研究高級(jí)記憶管理(例如構(gòu)建任務(wù)的核心集)螺男。

3第三棒厘，每個(gè)GEM迭代要求每個(gè)任務(wù)向后通過(guò)一次纵穿，這增加了計(jì)算時(shí)間。當(dāng)然奢人，如何解決計(jì)算時(shí)間也是作者自身準(zhǔn)備研究的方面谓媒。