挑選了5個(gè)在2020年成功吸引了我眼球的眼五、在我心目中超級(jí)重要的AI成果案腺，從低到高進(jìn)行了排序日戈。

趕在2021年到來之前另凌，來一波對(duì)2020年的年終總結(jié)與回顧谱轨。

No.5 SimCLR

圖源[1]

由Google大腦團(tuán)隊(duì)（Hinton領(lǐng)銜）完成的工作，提出了一個(gè)簡單的用于對(duì)比自監(jiān)督學(xué)習(xí)的框架吠谢。其核心思想在于土童，讓模型學(xué)習(xí)相似圖片，使得相似圖片在模型中的特征距離接近（見下圖）工坊，進(jìn)而讓模型能夠提取到更好的視覺特征献汗。

圖源[2]

在ImageNet數(shù)據(jù)集上，SimCLR模型不僅超越了最優(yōu)的自監(jiān)督表征學(xué)習(xí)模型王污，而且所需要的數(shù)據(jù)量更少[2]：

使用1%有標(biāo)注數(shù)據(jù)進(jìn)行fine-tune罢吃，SimCLR達(dá)到63% 的top-1 acc和85.8%的top-5 acc，優(yōu)于先前最優(yōu)的自監(jiān)督表征學(xué)習(xí)方法CPC v2（52.7% 和 77.9%）昭齐；

使用100%有標(biāo)注數(shù)據(jù)尿招，在SimCLR預(yù)訓(xùn)練模型上fine-tune，取得比用100%數(shù)據(jù)從頭進(jìn)行監(jiān)督學(xué)習(xí)更高的準(zhǔn)確率——前者在30個(gè)epoch后的top-1 acc 80.1%阱驾，后者在90個(gè)epoch后78.4%就谜。

這一簡單有效的框架表明：雖然對(duì)比自監(jiān)督學(xué)習(xí)（Contrastive Self-Supervised Learning）在近兩年的熱度很高，但還存在很大的提升空間里覆，可能能幫助當(dāng)前基于有監(jiān)督的視覺方法再更進(jìn)一步丧荐。

No.4 ViT

圖源[3]

這同樣也是一篇來源于谷歌大腦團(tuán)隊(duì)的工作，他們提出了一種Vision Transformer(ViT)的模型結(jié)構(gòu)喧枷。當(dāng)Transformer結(jié)構(gòu)在NLP領(lǐng)域里“大殺四方”時(shí)虹统，終于有團(tuán)隊(duì)在CV計(jì)算機(jī)視覺領(lǐng)域中成功的應(yīng)用它取代了“保留節(jié)目”卷積神經(jīng)網(wǎng)絡(luò)弓坞。

圖源[3]

為了直接將Transformer結(jié)構(gòu)應(yīng)用于圖像領(lǐng)域、不進(jìn)行任何圖像相關(guān)的特定化修改窟却，圖像被分為指定大小的塊并進(jìn)行序列化昼丑，以適應(yīng)Transformer的輸入。并且和NLP任務(wù)類似夸赫，也需要對(duì)模型進(jìn)行大量數(shù)據(jù)上的預(yù)訓(xùn)練菩帝。

令人意外的是，如此“簡單粗暴”的操作茬腿，在圖像分類任務(wù)上卻能夠取得與當(dāng)前CNN模型相當(dāng)?shù)男Ч?b>當(dāng)然了呼奢，在更復(fù)雜的圖像任務(wù)上的效果還有待探索和加強(qiáng)，但這一工作讓我們看到了“跨界”的可能切平，相信未來會(huì)有更多在視覺上的工作基于Transformer而展開握础。

No.3 MuZero

圖源[4]

MuZero其實(shí)是2019年DeepMind團(tuán)隊(duì)就已經(jīng)pre-print的工作，但是在2020年被Nature收錄了悴品，所以這里勉強(qiáng)算作2020年的工作吧禀综。

從下面這張圖，可以看到DeepMind團(tuán)隊(duì)是如何一步步將AlphaGo演進(jìn)成MuZero的：

1. AlphaGo在2016年的圍棋比賽中以4-1擊敗了圍棋世界冠軍李世石苔严，但在訓(xùn)練中引入了人類棋譜定枷、人類領(lǐng)域知識(shí)和規(guī)則；

2. AlphaGo Zero届氢，在2017年去除了人類棋譜和領(lǐng)域知識(shí)欠窒，只提供圍棋規(guī)則，模型從零開始退子，通過自我對(duì)弈訓(xùn)練岖妄，以100-0戰(zhàn)勝AlphaGo；

3. AlphaZero則在2018年對(duì)AlphaGo Zero進(jìn)行了一般化寂祥，可以應(yīng)用于其他游戲荐虐，包括國際象棋和日本將棋，但仍需要定義清楚游戲規(guī)則丸凭；

4. MuZero則具備在未知的環(huán)境中學(xué)習(xí)游戲規(guī)則的能力福扬，且在圍棋、國際圍棋贮乳、日本將棋、Atari游戲中均有突破恬惯。

圖源[5]

對(duì)于強(qiáng)化學(xué)習(xí)向拆，先前很多人“詬病”的點(diǎn)在于——往往在游戲環(huán)境中取得突破，因?yàn)橛螒颦h(huán)境是有明確的游戲規(guī)則的酪耳。而現(xiàn)實(shí)社會(huì)是復(fù)雜而混亂的浓恳，無法對(duì)規(guī)則進(jìn)行建模刹缝。MuZero證明了可以讓計(jì)算機(jī)具備一種能力，在不提供規(guī)則的前提下颈将，通過反復(fù)試驗(yàn)梢夯，發(fā)現(xiàn)規(guī)則并達(dá)到超越人的表現(xiàn)。毫無疑問的是晴圾，這是通向“通用人工智能”的重要一步颂砸。

No.2 GPT-3

圖源[6]

OpenAI團(tuán)隊(duì)提出的具有1750億參數(shù)的GPT-3模型，在海量數(shù)據(jù)上進(jìn)行無監(jiān)督訓(xùn)練死姚，不需要針對(duì)具體任務(wù)進(jìn)行模型的微調(diào)便能夠展現(xiàn)驚人的效果：在不需要finetune的前提下就能超越當(dāng)時(shí)的所有SOTA模型（經(jīng)過finetune）人乓；使用GPT-3模型生成的文章，其質(zhì)量之高都毒，讓人類也很難區(qū)分真假色罚。

訓(xùn)練出這樣一個(gè)模型實(shí)在是太過燒錢，訓(xùn)練成本據(jù)稱在一千萬美元（保守估計(jì)账劲，普通人或者公司幾乎不可能會(huì)這樣投入）戳护，并且這個(gè)模型的“威力”太過強(qiáng)大（其創(chuàng)作的文章甚至很難被看出是機(jī)器所寫，不慎濫用可能帶來例如“種族歧視”等社會(huì)問題）瀑焦。

在創(chuàng)造者OpenAI看來腌且，一方面這個(gè)模型落入“心懷不軌”之人手中可能會(huì)產(chǎn)生社會(huì)問題，另一方面這樣一個(gè)巨大投入創(chuàng)造出的人工智能模型存在著巨大的商業(yè)價(jià)值蝠猬。

因此切蟋，這個(gè)模型并沒有開源，只是OpenAI官方承諾后續(xù)將作為一項(xiàng)收費(fèi)服務(wù)來讓大家使用∮苈現(xiàn)階段可以通過向官方申請(qǐng)的方式柄粹，獲取試用GPT-3的機(jī)會(huì)。不少開發(fā)者們基于GPT-3開發(fā)了一些有趣的應(yīng)用匆绣，讓普通人們也看到了未來的無限可能性和引人遐想的空間驻右，比如說：能夠根據(jù)描述生成代碼、根據(jù)描述寫小說/新聞/廣告/PPT崎淳、回答數(shù)學(xué)/物理問題等堪夭。

No.1 AlphaFold2

這又是一篇DeepMind團(tuán)隊(duì)發(fā)表在Nature上的工作。

說實(shí)話拣凹，這是一篇讓我“不明覺厲”森爽，卻仍然將它排列在我心目中的No.1位置的工作。

圖源[7]

我無法從生物學(xué)上的角度來給予它“神圣的效用”嚣镜，只能從一個(gè)AI從業(yè)者的角度上看待：一個(gè)原本需要在現(xiàn)實(shí)世界中通過大量實(shí)驗(yàn)解決的問題爬迟，現(xiàn)在在計(jì)算機(jī)的世界中以一種更為高效、準(zhǔn)確的方式得到了求解菊匿。

這種利用人工智能實(shí)現(xiàn)的對(duì)現(xiàn)實(shí)世界的仿真付呕、復(fù)制和探索计福，已經(jīng)在這幾年越來越多的出現(xiàn)，并且將在未來幾年成為常態(tài)徽职。

但是象颖，這并不是對(duì)現(xiàn)實(shí)世界的替代，而是對(duì)現(xiàn)實(shí)世界的補(bǔ)足和完善姆钉。

歷史的車輛滾滾向前说订，而我們終將抵達(dá)最后的終點(diǎn)。

PS1. 這篇文章也只是我個(gè)人在日常學(xué)習(xí)工作中關(guān)注到的一些內(nèi)容育韩，不能完全覆蓋或者代表大家心中的Top-5克蚂，僅供參考。

PS2. 吾生也有涯筋讨，而知也無涯埃叭。相信2021年會(huì)有更多令我們驚嘆的工作涌現(xiàn)，希望在2021年悉罕，所有閱讀到這里的朋友們也都能取得大的突破赤屋。

圖源網(wǎng)絡(luò)

參考資料：

[1] https://arxiv.org/pdf/2002.05709.pdf

[2] https://ai.googleblog.com/2020/04/advancing-self-supervised-and-semi.html

[3] https://arxiv.org/pdf/2010.11929.pdf

[4] https://www.nature.com/articles/s41586-020-03051-4

[5] https://deepmind.com/blog/article/muzero-mastering-go-chess-shogi-and-atari-without-rules

[6] https://proceedings.neurips.cc/paper/2020/file/1457c0d6bfcb4967418bfb8ac142f64a-Paper.pdf

[7] https://deepmind.com/blog/article/AlphaFold-Using-AI-for-scientific-discovery

- END -

新朋友們可以看看我過往的相關(guān)文章

【相關(guān)推薦閱讀】

七夕情話，用GPT-2教你寫

深度學(xué)習(xí)在計(jì)算機(jī)視覺中應(yīng)用的三大問題

從2018到2020的AI發(fā)展預(yù)測(cè)