好久沒看到這么好的論文了, 這才是論文嘛~
普林斯頓大學(xué)的?Zejiang Hou(沒找到中文名 可能是侯澤江?)
論文主要就是在MAML的基礎(chǔ)上添加了三個(gè)部分, 一個(gè)是和L2F類似的用額外網(wǎng)絡(luò)通過輸入中間變量或梯度信息計(jì)算一個(gè)權(quán)重來動(dòng)態(tài)調(diào)整模型參數(shù)達(dá)到task-specific的效果, 另一個(gè)是一種特殊線性分類器構(gòu)造方法用于作分類器, 最后一個(gè)是在inner_loop中按無監(jiān)督手段把query set里數(shù)據(jù)視為無標(biāo)簽數(shù)據(jù)用來作懲罰項(xiàng)加入迭代loss中. 這三種技術(shù)看起來都不是原創(chuàng)新特別強(qiáng)的技術(shù), 第一種有l(wèi)2f先例, 最后一種直接用的是熵正則, 中間的線性分類器在Euclidean nearest centroid classifier基礎(chǔ)提出了一種基于attention的優(yōu)化(就是加個(gè)attention層來得到優(yōu)化的mean).
這應(yīng)該就是經(jīng)典的高級(jí)縫合怪, 文章首先寫的非常流暢, 讀起來很舒服, 英語(yǔ)基礎(chǔ)很好. 其次在實(shí)驗(yàn)效果上也非常棒, 雖然不是那種絕對(duì)原創(chuàng)的技術(shù), 但是肯定是合格的學(xué)術(shù)產(chǎn)出.
充分說明元學(xué)習(xí)還有很多能做的, 并不是真的到頭了, 但是我好奇這么好的文章為什么只投了個(gè)B類, 可能是國(guó)外重視程度和國(guó)內(nèi)CCF不一樣? 文章投的是ICASSP 2021
