來(lái)源：AINLPer微信公眾號(hào)（點(diǎn)擊了解一下吧）
編輯: ShuYini
校稿: ShuYini
時(shí)間: 2020-02-23
????2020年的ICLR會(huì)議將于今年的4月26日-4月30日在Millennium Hall, Addis Ababa ETHIOPIA（埃塞俄比亞首都亞的斯亞貝巴 千禧大廳）舉行。
????2020年ICLR會(huì)議（Eighth International Conference on Learning Representations）論文接受結(jié)果剛剛出來(lái)恼五，今年的論文接受情況如下：poster-paper共523篇昌罩，Spotlight-paper（焦點(diǎn)論文）共107篇，演講Talk共48篇灾馒，共計(jì)接受678篇文章茎用，被拒論文（reject-paper）共計(jì)1907篇，接受率為：26.48%睬罗。
????下面是ICLR2020給出的今年演講論文（accpt-talk）轨功，共計(jì)48篇，歡迎大家Ctrl+F進(jìn)行搜索查看容达。
????關(guān)注 AINLPer 古涧，回復(fù)：ICLR2020 獲取會(huì)議全部列表PDF，其中一共有四個(gè)文件（2020-ICLR-accept-poster.pdf花盐、2020-ICLR-accept-spotlight.pdf羡滑、2020-ICLR-accept-talk.pdf、2020-ICLR-reject.pdf）
CATER: A diagnostic dataset for Compositional Actions & TEmporal Reasoning
Author: Rohit Girdhar, Deva Ramanan
link: https://openreview.net/pdf?id=HJgzt2VKPB
Code: None
Abstract: 針對(duì)視頻圖像分析算芯，本文構(gòu)建了一個(gè)具有完全可觀察和可控制的對(duì)象和場(chǎng)景偏差的視頻數(shù)據(jù)集CATER柒昏，它是使用標(biāo)準(zhǔn)3D對(duì)象庫(kù)進(jìn)行綜合渲染的，它測(cè)試了識(shí)別需要長(zhǎng)期推理的對(duì)象運(yùn)動(dòng)組成的能力熙揍。除了具有挑戰(zhàn)性的數(shù)據(jù)集外职祷，CATER還提供了許多診斷工具，可以通過完全可觀察和可控制的方式來(lái)分析現(xiàn)代時(shí)空視頻架構(gòu)。使用CATER堪旧，可以洞悉某些最新的深度視頻體系結(jié)構(gòu)削葱。
BackPACK: Packing more into Backprop
Author: Felix Dangel, Frederik Kunstner, Philipp Hennig
link: https://openreview.net/pdf?id=BJlrF24twB
Code: https://toiaydcdyywlhzvlob.github.io/backpack/
Abstract: 自動(dòng)區(qū)分框架僅針對(duì)一件事進(jìn)行了優(yōu)化：計(jì)算平均小批量梯度。但從理論上講淳梦，它可以高效地計(jì)算其他量析砸，例如小批量梯度的方差或?qū)essian的許多近似值。為此本文引入了BackPACK爆袍，這是一種基于PyTorch的高效框架首繁，該框架擴(kuò)展了反向傳播算法，可以從一階和二階導(dǎo)數(shù)中提取其他信息陨囊。
GenDICE: Generalized Offline Estimation of Stationary Values
Author: Ruiyi Zhang, Bo Dai, Lihong Li, Dale Schuurmans
link: https://openreview.net/pdf?id=HkxlcnVFwB
Code: None
Abstract:
Keyword: 在強(qiáng)化學(xué)習(xí)和蒙特卡洛方法中出現(xiàn)的一個(gè)重要問題是估計(jì)由馬爾可夫鏈的平穩(wěn)分布定義的數(shù)量弦疮。在許多實(shí)際應(yīng)用程序中，對(duì)基礎(chǔ)轉(zhuǎn)換運(yùn)算符的訪問僅限于已收集的固定數(shù)據(jù)集蜘醋，而無(wú)需與環(huán)境進(jìn)行其他交互胁塞。本文表明在這種情況下一致的估計(jì)仍然是可能的，并且在重要的應(yīng)用程序中仍然可以實(shí)現(xiàn)有效的估計(jì)压语。本文的方法基于以下估計(jì)：從靜態(tài)分布的基本屬性推導(dǎo)得出的比例啸罢，該比例可校正靜態(tài)分布和經(jīng)驗(yàn)分布之間的差異，并利用基于變分散度最小化的約束重新公式化胎食。生成的算法GenDICE簡(jiǎn)單有效扰才。
Principled Weight Initialization for Hypernetworks
Author: Oscar Chang, Lampros Flokas, Hod Lipson
link: https://openreview.net/pdf?id=H1lma24tPB
Code: None
Abstract: 超網(wǎng)絡(luò)是元神經(jīng)網(wǎng)絡(luò)，它以端到端的可微分方式為主神經(jīng)網(wǎng)絡(luò)生成權(quán)重厕怜。 盡管有從多任務(wù)學(xué)習(xí)到貝葉斯深度學(xué)習(xí)的廣泛應(yīng)用衩匣，但迄今為止尚未研究?jī)?yōu)化超網(wǎng)絡(luò)的問題。本文開發(fā)了用于超網(wǎng)中權(quán)重初始化的原理技術(shù)粥航，并表明它們可導(dǎo)致更穩(wěn)定的主網(wǎng)權(quán)重琅捏，更低的訓(xùn)練損失和更快的收斂速度。
On the Convergence of FedAvg on Non-IID Data
Author: Xiang Li, Kaixuan Huang, Wenhao Yang, Shusen Wang, Zhihua Zhang
link: https://openreview.net/pdf?id=HJxNAnVtDS
Code: https://github.com/lx10077/fedavgpy
Abstract: 聯(lián)合學(xué)習(xí)使大量邊緣計(jì)算設(shè)備無(wú)需數(shù)據(jù)共享即可共同學(xué)習(xí)模型递雀。作為此設(shè)置中的一種領(lǐng)先算法柄延，聯(lián)合平均在總設(shè)備的一小部分上并行運(yùn)行隨機(jī)梯度下降（SGD），并且偶爾僅對(duì)序列進(jìn)行一次平均映之。盡管它很簡(jiǎn)單，但在現(xiàn)實(shí)環(huán)境下缺乏理論上的保證蜡坊。在本文中杠输，我們分析了非文本數(shù)據(jù)上聯(lián)合平均的收斂性，并針對(duì)強(qiáng)凸和光滑問題建立了收斂速度秕衙。重要的是蠢甲，我們的bound表明了通信效率和收斂速度之間的權(quán)衡。
Data-dependent Gaussian Prior Objective for Language Generation
Author: Zuchao Li, Rui Wang, Kehai Chen, Masso Utiyama, Eiichiro Sumita, Zhuosheng Zhang, Hai Zhao
link: https://openreview.net/pdf?id=S1efxTVYDr
Code: https://drive.google.com/file/d/1q8PqhF9eOLOHOcOCGVKXtA_OlP6qq2mn
Abstract: 針對(duì)語(yǔ)言生成之類的典型序列預(yù)測(cè)問題据忘，MLE專注于預(yù)測(cè)序列與黃金標(biāo)準(zhǔn)之間的一次全部匹配鹦牛，因此將所有不正確的預(yù)測(cè)都視為同樣不正確搞糕。在本文中，將所有不正確的預(yù)測(cè)均等地對(duì)待會(huì)不公平地淡化這些序列的詳細(xì)令牌方式結(jié)構(gòu)的細(xì)微差別曼追。為了解決這個(gè)問題窍仰，這里通過引入額外的Kullback-Leibler發(fā)散項(xiàng)來(lái)增加MLE損失，該項(xiàng)通過比較數(shù)據(jù)相關(guān)的高斯先驗(yàn)和詳細(xì)的訓(xùn)練預(yù)測(cè)而得出礼殊。所提出的數(shù)據(jù)相關(guān)的高斯先驗(yàn)?zāi)繕?biāo)（D2GPo）是根據(jù)令牌的先驗(yàn)拓?fù)漤樞蚨x的驹吮，與通常在平滑MLE訓(xùn)練中采用的數(shù)據(jù)無(wú)關(guān)的高斯先驗(yàn)（L2正則化）相距甚遠(yuǎn)。實(shí)驗(yàn)結(jié)果表明晶伦，該方法有效地利用了數(shù)據(jù)中更詳細(xì)的先驗(yàn)信息碟狞，并且在典型的語(yǔ)言生成任務(wù)（包括有監(jiān)督和無(wú)監(jiān)督的機(jī)器翻譯，文本摘要婚陪，講故事和圖像字幕）中提高了性能族沃。
Contrastive Learning of Structured World Models
Author: Thomas Kipf, Elise van der Pol, Max Welling
link: https://openreview.net/pdf?id=H1gax6VtDB
Code: https://github.com/tkipf/c-swm
Abstract: 本文引入了對(duì)比訓(xùn)練的結(jié)構(gòu)化世界模型（C-SWM）。 C-SWM利用對(duì)比方法在具有組成結(jié)構(gòu)的環(huán)境中進(jìn)行表示學(xué)習(xí)泌参。我們將每個(gè)狀態(tài)嵌入構(gòu)造為一組對(duì)象表示及其關(guān)系脆淹，并通過圖神經(jīng)網(wǎng)絡(luò)進(jìn)行建模。我們?cè)诎鄠€(gè)交互對(duì)象的合成環(huán)境上評(píng)估C-SWM及舍，并且這些交互對(duì)象可以由代理未辆，簡(jiǎn)單的Atari游戲和多對(duì)象物理模擬進(jìn)行獨(dú)立操作。我們的實(shí)驗(yàn)表明锯玛，C-SWM可以克服基于像素重構(gòu)的模型的局限性咐柜，并在高度結(jié)構(gòu)化的環(huán)境中勝過此類模型的典型代表，同時(shí)學(xué)習(xí)可解釋的基于對(duì)象的表示形式攘残。
Neural Network Branching for Neural Network Verification **
Author: Jingyue Lu, M. Pawan Kumar
link: https://openreview.net/pdf?id=B1evfa4tPB
Code: None
Abstract: 為了實(shí)現(xiàn)對(duì)神經(jīng)網(wǎng)絡(luò)的部署驗(yàn)證拙友，我們提出了一個(gè)新穎的框架，用于設(shè)計(jì)BaB的有效分支策略**歼郭。具體來(lái)說(shuō)遗契，我們學(xué)習(xí)圖神經(jīng)網(wǎng)絡(luò)（GNN）來(lái)模仿強(qiáng)分支啟發(fā)式行為。我們的框架與以前的學(xué)習(xí)分支方法不同病曾，主要有兩個(gè)方面牍蜂。首先，我們的框架將要驗(yàn)證的神經(jīng)網(wǎng)絡(luò)直接視為GNN的圖形輸入泰涂。其次鲫竞，我們制定了直觀的向前和向后嵌入更新時(shí)間表。此外逼蒙，我們證明了我們的GNN模型具有水平和垂直轉(zhuǎn)移能力从绘。在水平方向上，經(jīng)過簡(jiǎn)單屬性訓(xùn)練的模型在難度級(jí)別增加的屬性上表現(xiàn)良好。垂直而言僵井，在小型神經(jīng)網(wǎng)絡(luò)上訓(xùn)練的模型在大型神經(jīng)網(wǎng)絡(luò)上實(shí)現(xiàn)了相似的性能陕截。
Why Gradient Clipping Accelerates Training: A Theoretical Justification for Adaptivity
Author: Jingzhao Zhang, Tianxing He, Suvrit Sra, Ali Jadbabaie
link: https://openreview.net/pdf?id=BJgnXpVYwS
Code: https://github.com/JingzhaoZhang/why-clipping-accelerates
Abstract: 本文提供了梯度裁剪在訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)中的有效性的理論解釋。關(guān)鍵因素是從實(shí)際的神經(jīng)網(wǎng)絡(luò)訓(xùn)練示例中得出的新的平滑度條件批什。之前的一些算法主要依賴于平滑度的固定界限农曲。這些觀察促使我們引入一種新的梯度平滑度松弛，該松弛度比常用的Lipschitz平滑度假設(shè)弱渊季。在新的條件下朋蔫，我們證明了梯度剪切和歸一化梯度這兩種流行的方法比固定步長(zhǎng)的梯度下降任意收斂更快。我們進(jìn)一步解釋了為什么這樣的自適應(yīng)縮放梯度方法可以加速經(jīng)驗(yàn)收斂却汉，并在流行的神經(jīng)網(wǎng)絡(luò)訓(xùn)練環(huán)境中憑經(jīng)驗(yàn)驗(yàn)證我們的結(jié)果驯妄。
Posterior sampling for multi-agent reinforcement learning: solving extensive games with imperfect information
Author: Yichi Zhou, Jialian Li, Jun Zhu
link: https://openreview.net/pdf?id=Syg-ET4FPS
Code: None
Abstract: 盡管強(qiáng)化學(xué)習(xí)的后驗(yàn)采樣（PSRL）在單主體強(qiáng)化學(xué)習(xí)問題上表現(xiàn)良好，但是如何將PSRL應(yīng)用于多主體強(qiáng)化學(xué)習(xí)問題卻尚未得到研究合砂。 在這項(xiàng)工作中青扔，我們將PSRL擴(kuò)展到具有不完善信息（TEGI）的兩人零和博弈，這是一類多代理系統(tǒng)翩伪。 更具體地說(shuō)微猖，我們將PSRL與反事實(shí)后悔最小化（CFR）結(jié)合使用，后者是TEGI在已知環(huán)境下的領(lǐng)先算法缘屹。
Mogrifier LSTM
Author: Gábor Melis, Tomá? Ko?isky, Phil Blunsom
link: https://openreview.net/pdf?id=SJe5P6EYvS
Code: None
Abstract: 自然語(yǔ)言處理循環(huán)網(wǎng)絡(luò)已經(jīng)取得了一定的成功凛剥，但仍然缺乏建模語(yǔ)言最終所需的概括性和系統(tǒng)性，為此本文提出了對(duì)古老的長(zhǎng)期短期記憶的擴(kuò)展轻姿，其形式是當(dāng)前輸入和先前輸出的相互選通犁珠。這種機(jī)制提供了對(duì)輸入及其上下文之間交互的更豐富空間的建模。等效地互亮，我們的模型可以看作是使LSTM上下文給定的轉(zhuǎn)換函數(shù)相關(guān)犁享。實(shí)驗(yàn)表明，除了Enwik8之外豹休，我們?cè)谒袛?shù)據(jù)集上都建立了新的技術(shù)水平炊昆，這消除了LSTM和Transformer模型之間的巨大空白。
Learning Hierarchical Discrete Linguistic Units from Visually-Grounded Speech
Author: David Harwath, Wei-Ning Hsu, James Glass
link: https://openreview.net/pdf?id=B1elCp4KwH
Code: None
Abstract: 在本文中威根，我們提出了一種通過將矢量量化層合并到視聽語(yǔ)音的神經(jīng)模型中來(lái)學(xué)習(xí)離散語(yǔ)言單元的方法凤巨。我們證明了我們的方法能夠捕獲單詞級(jí)和子單詞單元，具體取決于其配置方式洛搀。本文與語(yǔ)音單元學(xué)習(xí)先前工作的區(qū)別在于訓(xùn)練目標(biāo)的選擇敢茁。而不是使用基于重建的損失，我們使用判別性的多峰接地物鏡姥卢，該物鏡強(qiáng)制學(xué)習(xí)的單元對(duì)于語(yǔ)義圖像檢索很有用卷要。我們?cè)u(píng)估了ZeroSpeech 2019挑戰(zhàn)賽的子單詞單位，與表現(xiàn)最好的提交相比独榴，ABX錯(cuò)誤率降低了27.3％僧叉，同時(shí)保持比特率大致相同。
Mirror-Generative Neural Machine Translation
Author: Zaixiang Zheng, Hao Zhou, Shujian Huang, Lei Li, Xin-Yu Dai, Jiajun Chen
link: https://openreview.net/pdf?id=HkxQRTNYPH
Code: None
Abstract: 訓(xùn)練神經(jīng)機(jī)器翻譯模型（NMT）需要大量的并行語(yǔ)料庫(kù)棺榔，這對(duì)于許多語(yǔ)言對(duì)來(lái)說(shuō)都是稀缺的瓶堕。 在本文中，我們提出了鏡像生成NMT（MGNMT）症歇，它是一個(gè)單一的統(tǒng)一體系結(jié)構(gòu)郎笆，該體系結(jié)構(gòu)同時(shí)集成了源到目標(biāo)翻譯模型，目標(biāo)到源翻譯模型以及兩種語(yǔ)言模型忘晤。 翻譯模型和語(yǔ)言模型都共享相同的潛在語(yǔ)義空間宛蚓，因此兩個(gè)翻譯方向都可以更有效地從非并行數(shù)據(jù)中學(xué)習(xí)。
Cyclical Stochastic Gradient MCMC for Bayesian Deep Learning
Author: Ruqi Zhang, Chunyuan Li, Jianyi Zhang, Changyou Chen, Andrew Gordon Wilson
link: https://openreview.net/pdf?id=rkeS1RVtPS
Code: None
Abstract: 神經(jīng)網(wǎng)絡(luò)權(quán)重的后驗(yàn)是高維和多峰的设塔。 每種模式通常表征數(shù)據(jù)的有意義的不同表示凄吏。 我們開發(fā)了周期性隨機(jī)梯度MCMC（SG-MCMC）以自動(dòng)探索此類分布。 特別是闰蛔，我們提出了一個(gè)周期性的步長(zhǎng)調(diào)度表痕钢，其中較大的步長(zhǎng)會(huì)發(fā)現(xiàn)新的模式，而較小的步長(zhǎng)會(huì)表征每種模式序六。 我們證明了所提出算法的非漸近收斂理論任连。 此外，我們提供了包括ImageNet在內(nèi)的廣泛實(shí)驗(yàn)結(jié)果例诀，以證明循環(huán)SG-MCMC在學(xué)習(xí)復(fù)雜的多峰分布中的有效性随抠，特別是對(duì)于利用現(xiàn)代深度神經(jīng)網(wǎng)絡(luò)進(jìn)行的完全貝葉斯推理而言。
Your classifier is secretly an energy based model and you should treat it like one
Author: Will Grathwohl, Kuan-Chieh Wang, Joern-Henrik Jacobsen, David Duvenaud, Mohammad Norouzi, Kevin Swersky
link: https://openreview.net/pdf?id=Hkxzx0NtDB
Code: https://wgrathwohl.github.io/JEM/
Abstract: 本文提出將p（y | x）的標(biāo)準(zhǔn)判別分類器重新解釋為聯(lián)合分布p（x余佃，y）的基于能量的模型暮刃。 在此設(shè)置下，我們改進(jìn)了最近提出的用于擴(kuò)展基于能量的模型訓(xùn)練的技術(shù)爆土，并提出了一種與標(biāo)準(zhǔn)分類訓(xùn)練相比幾乎不增加開銷的方法椭懊。 我們的方法是第一個(gè)在一個(gè)混合模型中在生成性學(xué)習(xí)和判別性學(xué)習(xí)上達(dá)到與最新技術(shù)相媲美的性能的方法。
Dynamics-Aware Unsupervised Skill Discovery
Author: Archit Sharma, Shixiang Gu, Sergey Levine, Vikash Kumar, Karol Hausman
link: https://openreview.net/pdf?id=HJgLZR4KvH
Code: None
Abstract: 傳統(tǒng)上步势，基于模型的強(qiáng)化學(xué)習(xí)（MBRL）旨在學(xué)習(xí)環(huán)境動(dòng)力學(xué)的全局模型氧猬。要為復(fù)雜的動(dòng)力學(xué)系統(tǒng)學(xué)習(xí)準(zhǔn)確的模型仍然很困難。在本文中坏瘩，我們將基于模型的學(xué)習(xí)與對(duì)原語(yǔ)的無(wú)模型學(xué)習(xí)結(jié)合在一起盅抚，從而簡(jiǎn)化了基于模型的計(jì)劃。從理論上講倔矾，我們的方法可以利用連續(xù)的技能空間妄均，即使對(duì)于高維狀態(tài)空間柱锹，我們也可以無(wú)限學(xué)習(xí)許多行為。我們證明丰包，在學(xué)習(xí)的潛在空間中的零散規(guī)劃顯著優(yōu)于標(biāo)準(zhǔn)MBRL和無(wú)模型目標(biāo)條件的RL禁熏，可以處理稀疏獎(jiǎng)勵(lì)任務(wù)，并大大改善了用于無(wú)監(jiān)督技能發(fā)現(xiàn)的現(xiàn)有分層RL方法邑彪。
Optimal Strategies Against Generative Attacks
Author: Roy Mor, Erez Peterfreund, Matan Gavish, Amir Globerson
link: https://openreview.net/pdf?id=BkgzMCVtPB
Code: https://github.com/roymor1/OptimalStrategiesAgainstGenerativeAttacks
Abstract:生成神經(jīng)模型（NLG）最近得到了極大的改進(jìn)瞧毙。隨著這一進(jìn)展，存在這樣的風(fēng)險(xiǎn)寄症，即這種模型將用于攻擊依賴于傳感器數(shù)據(jù)進(jìn)行身份驗(yàn)證和異常檢測(cè)的系統(tǒng)宙彪。許多這樣的學(xué)習(xí)系統(tǒng)已在全球范圍內(nèi)安裝，以保護(hù)關(guān)鍵基礎(chǔ)架構(gòu)或私有數(shù)據(jù)免受故障和網(wǎng)絡(luò)攻擊有巧。我們擬定了一種面向生成假冒攻擊的身份驗(yàn)證系統(tǒng)的方案释漆，從理論角度對(duì)其進(jìn)行表征，并探討其實(shí)際意義篮迎。將問題視作極大值博弈灵汪，針對(duì)一般情況下的攻擊者和身份驗(yàn)證者描述最優(yōu)策略，并針對(duì)高斯源分布情況以封閉形式提供最優(yōu)策略柑潦∠硌裕基于這些見解，我們?cè)O(shè)計(jì)了實(shí)用的學(xué)習(xí)方法渗鬼，并表明它們所產(chǎn)生的模型對(duì)于針對(duì)現(xiàn)實(shí)世界數(shù)據(jù)的各種攻擊具有更強(qiáng)的魯棒性览露。
GraphZoom: A Multi-level Spectral Approach for Accurate and Scalable Graph Embedding
Author: Chenhui Deng, Zhiqiang Zhao, Yongyu Wang, Zhiru Zhang, Zhuo Feng
link: https://openreview.net/pdf?id=r1lGO0EKDH
Code: https://github.com/cornell-zhang/GraphZoom
Abstract:現(xiàn)有的圖形嵌入模型或者在訓(xùn)練期間不能合并節(jié)點(diǎn)屬性信息，或者遭受節(jié)點(diǎn)屬性噪聲的困擾譬胎，這損害了準(zhǔn)確性差牛。此外，由于它們的高計(jì)算復(fù)雜性和內(nèi)存使用量堰乔，它們中的極少數(shù)可以縮放到大圖偏化。在本文中，我們提出了GraphZoom镐侯，這是一種用于提高無(wú)監(jiān)督圖嵌入算法的準(zhǔn)確性和可伸縮性的多層框架侦讨。 實(shí)驗(yàn)表明，與最新的無(wú)監(jiān)督嵌入方法相比苟翻，GraphZoom可以顯著提高分類精度韵卤，并顯著加速整個(gè)圖形嵌入過程。
Harnessing Structures for Value-Based Planning and Reinforcement Learning
Author: Yuzhe Yang, Guo Zhang, Zhi Xu, Dina Katabi
link: https://openreview.net/pdf?id=rklHqRVKvH
Code: https://github.com/YyzHarry/SV-RL
Abstract: 基于價(jià)值的方法構(gòu)成了計(jì)劃和深度強(qiáng)化學(xué)習(xí)（RL）的基本方法崇猫。在本文中沈条，我們提出為計(jì)劃和深度RL開發(fā)狀態(tài)作用值函數(shù)（即Q函數(shù)）的基礎(chǔ)結(jié)構(gòu)。我們?cè)诳刂坪蜕疃萊L任務(wù)的上下文中憑經(jīng)驗(yàn)驗(yàn)證了低秩Q函數(shù)的存在诅炉。通過利用矩陣估計(jì)（ME）技術(shù)蜡歹，我們提出了一個(gè)通用框架來(lái)利用Q函數(shù)中的底層低秩結(jié)構(gòu)屋厘。這導(dǎo)致經(jīng)典控制的計(jì)劃程序效率更高，此外月而，可以將簡(jiǎn)單方案應(yīng)用于基于值的RL技術(shù)擅这，以在“低級(jí)”任務(wù)上始終獲得更好的性能。關(guān)于控制任務(wù)和Atari游戲的大量實(shí)驗(yàn)證實(shí)了我們方法的有效性景鼠。
Comparing Fine-tuning and Rewinding in Neural Network Pruning
Author: Alex Renda, Jonathan Frankle, Michael Carbin
link: https://openreview.net/pdf?id=S1gSj0NKvB
Code: https://github.com/comparing-rewinding-finetuning/code
Abstract: 神經(jīng)網(wǎng)絡(luò)修剪是一種流行的技術(shù)，可以通過從網(wǎng)絡(luò)中刪除連接痹扇，神經(jīng)元或其他結(jié)構(gòu)來(lái)降低推理成本铛漓。在本文中，我們探索了一種微調(diào)方法：倒帶鲫构。與其繼續(xù)訓(xùn)練所得的修剪后的網(wǎng)絡(luò)（微調(diào)）浓恶，不如將剩余的權(quán)重從訓(xùn)練初期的值倒回到它們的值，然后對(duì)原始訓(xùn)練過程的其余部分進(jìn)行訓(xùn)練结笨。我們發(fā)現(xiàn)該程序改變了Frankle等人提出的尋找彩票的策略包晰。在給定目標(biāo)精度的前提下，將權(quán)重倒數(shù)到合適的程度炕吸，可以對(duì)網(wǎng)絡(luò)進(jìn)行進(jìn)一步的修剪伐憾，而不是通過微調(diào)來(lái)修剪網(wǎng)絡(luò)。我們還發(fā)現(xiàn)赫模，與在所有測(cè)試網(wǎng)絡(luò)中進(jìn)行微調(diào)相比树肃，有許多合適的倒帶點(diǎn)可實(shí)現(xiàn)更高的精度∑俾蓿基于這些結(jié)果胸嘴，我們認(rèn)為從業(yè)者應(yīng)該探索重繞作為神經(jīng)網(wǎng)絡(luò)修剪微調(diào)的替代方法。
Meta-Q-Learning
Author: Rasool Fakoor, Pratik Chaudhari, Stefano Soatto, Alexander J. Smola
link: https://openreview.net/pdf?id=SJeD3CEFPH
Code: None
Abstract: 本文介紹了Meta-Q-Learning（MQL）斩祭，這是一種用于元強(qiáng)化學(xué)習(xí)（meta-RL）的新的非策略算法劣像。 MQL基于三個(gè)簡(jiǎn)單的想法。 首先摧玫，我們表明耳奕，如果可以訪問表示過去軌跡的上下文變量，則Q學(xué)習(xí)與最新的元RL算法相比具有競(jìng)爭(zhēng)優(yōu)勢(shì)诬像。 其次吮铭，在訓(xùn)練任務(wù)中最大化平均獎(jiǎng)勵(lì)的多任務(wù)目標(biāo)是對(duì)RL策略進(jìn)行元訓(xùn)練的有效方法。 第三颅停，可以從元訓(xùn)練重播緩沖區(qū)中回收過去的數(shù)據(jù)谓晌，以使用非策略更新來(lái)適應(yīng)新任務(wù)的策略。 MQL借鑒了傾向估計(jì)中的想法癞揉，從而擴(kuò)大了可用于適應(yīng)的可用數(shù)據(jù)量纸肉。 在標(biāo)準(zhǔn)連續(xù)控制基準(zhǔn)上進(jìn)行的實(shí)驗(yàn)表明溺欧，MQL與meta-RL中的最新技術(shù)相比具有優(yōu)勢(shì)。
Mathematical Reasoning in Latent Space
Author: Dennis Lee, Christian Szegedy, Markus Rabe, Sarah Loos, Kshitij Bansal
link: https://openreview.net/pdf?id=Ske31kBtPr
Code: None
Abstract: 本文設(shè)計(jì)并進(jìn)行了一個(gè)簡(jiǎn)單的實(shí)驗(yàn)柏肪，以研究神經(jīng)網(wǎng)絡(luò)是否可以在固定維度的潛在空間中執(zhí)行近似推理的多個(gè)步驟姐刁。可以成功地對(duì)語(yǔ)句執(zhí)行的一組重寫（即轉(zhuǎn)換）表示該語(yǔ)句的基本語(yǔ)義特征烦味。我們可以通過將公式嵌入向量空間中來(lái)壓縮此信息聂使，以便與語(yǔ)句關(guān)聯(lián)的向量可用于預(yù)測(cè)語(yǔ)句是否可以被其他定理重寫。預(yù)測(cè)由某個(gè)重寫規(guī)則生成的公式的嵌入自然被視為潛在空間中的近似推理谬俄。為了衡量這種推理的有效性柏靶，我們?cè)跐撛诳臻g中執(zhí)行了近似的演繹序列，并使用所得的嵌入通知相應(yīng)形式聲明的語(yǔ)義特征（這是通過使用實(shí)式執(zhí)行相應(yīng)的重寫序列而獲得的）溃论。我們的實(shí)驗(yàn)表明屎蜓，圖神經(jīng)網(wǎng)絡(luò)可以對(duì)語(yǔ)句的重寫成功做出非平凡的預(yù)測(cè)，即使它們將預(yù)測(cè)的潛在表示傳播了多個(gè)步驟也是如此钥勋。由于我們的數(shù)學(xué)公式集涵蓋了各種各樣的數(shù)學(xué)學(xué)科炬转，因此該實(shí)驗(yàn)通常可以推斷出潛在空間的推論的可行性算灸。
A Theory of Usable Information under Computational Constraints
Author: Yilun Xu, Shengjia Zhao, Jiaming Song, Russell Stewart, Stefano Ermon
link: https://openreview.net/pdf?id=r1eBeyHFDH
Code: None
Abstract: 我們提出了一個(gè)用于推理復(fù)雜系統(tǒng)中信息的新框架扼劈。本框架基于Shannon信息理論的變體擴(kuò)展，其中考慮了觀察者的建模能力和計(jì)算約束菲驴。所得的預(yù)測(cè)信息包含相互信息和其他信息性概念测僵，例如確定系數(shù)。與Shannon的相互信息不同谢翎，并且不違反數(shù)據(jù)處理不平等的情況捍靠，可以通過計(jì)算來(lái)創(chuàng)建信息。這與深度神經(jīng)網(wǎng)絡(luò)在表示學(xué)習(xí)中提取具有更多信息特征的層次結(jié)構(gòu)相一致森逮。此外榨婆，我們表明，通過合并計(jì)算約束褒侧，即使使用PAC樣式的保證良风，即使在高維中，也可以從數(shù)據(jù)可靠地估計(jì)V信息闷供。從經(jīng)驗(yàn)上烟央，我們證明預(yù)測(cè)性V信息比相互信息對(duì)結(jié)構(gòu)學(xué)習(xí)和公平表示學(xué)習(xí)更有效。
Geometric Analysis of Nonconvex Optimization Landscapes for Overcomplete Learning
Author: Qing Qu, Yuexiang Zhai, Xiao Li, Yuqian Zhang, Zhihui Zhu
link: https://openreview.net/pdf?id=rygixkHKDH
Code: None
Abstract: 學(xué)習(xí)過完備的表示法會(huì)在機(jī)器學(xué)習(xí)和數(shù)據(jù)分析中找到許多應(yīng)用歪脏。 本文為幾個(gè)重要的表示學(xué)習(xí)問題提供了新的理論見解：學(xué)習(xí)（i）稀疏使用的不完全詞典和（ii）卷積詞典疑俭。 我們將這些問題公式化為球面上的范數(shù)優(yōu)化問題，并研究其非凸優(yōu)化景觀的幾何性質(zhì)婿失。 對(duì)于這兩個(gè)問題钞艇，我們表明非凸目標(biāo)具有良性（全局）幾何結(jié)構(gòu)啄寡，這使開發(fā)能夠找到目標(biāo)解決方案的有效優(yōu)化方法成為可能。 最后哩照，我們的理論結(jié)果通過數(shù)值模擬得到了證明架谎。
Deep Batch Active Learning by Diverse, Uncertain Gradient Lower Bounds
Author: Jordan T. Ash, Chicheng Zhang, Akshay Krishnamurthy, John Langford, Alekh Agarwal
link: https://openreview.net/pdf?id=ryghZJBKPS
Code: None
Abstract: 我們使用深度神經(jīng)網(wǎng)絡(luò)模型設(shè)計(jì)了一種用于批處理主動(dòng)學(xué)習(xí)的新算法汇荐。 我們的算法是通過多樣梯度嵌入（BADGE）進(jìn)行批處理主動(dòng)學(xué)習(xí)，對(duì)在hallucinated梯度空間中表示的離散和高幅值的點(diǎn)進(jìn)行采樣许蓖，該策略旨在將預(yù)測(cè)不確定性和樣本多樣性納入每個(gè)選定的批處理中概页。 至關(guān)重要的是伴嗡，BADGE可以在多樣性和不確定性之間進(jìn)行權(quán)衡婉支，而無(wú)需任何手動(dòng)調(diào)整的超參數(shù)外恕。
Understanding and Robustifying Differentiable Architecture Search
Author: Arber Zela, Thomas Elsken, Tonmoy Saikia, Yassine Marrakchi, Thomas Brox, Frank Hutter
link: https://openreview.net/pdf?id=H1gDNyrKDS
Code: https://github.com/automl/RobustDARTS
Abstract: 由于可簡(jiǎn)化架構(gòu)搜索（DARTS）的簡(jiǎn)單性以及通過不斷放松和近似得出的雙層優(yōu)化問題而獲得的少量搜索成本，因此吸引了很多關(guān)注学少。但是，DARTS對(duì)于新問題并不能很好地發(fā)揮作用：我們確定了廣泛的搜索空間秧骑，DARTS可以針對(duì)這些搜索空間生成簡(jiǎn)陋的架構(gòu)版确，并且測(cè)試性能非常差。我們研究了這種故障模式乎折，并表明绒疗，盡管DARTS成功地將驗(yàn)證損失最小化，但當(dāng)發(fā)現(xiàn)的解決方案與架構(gòu)空間中的高驗(yàn)證損失曲率相吻合時(shí)骂澄，發(fā)現(xiàn)的解決方案的推廣效果很差吓蘑。我們表明，通過添加各種類型的正則化之一坟冲，我們可以使DARTS魯棒化磨镶，以找到曲率較小且泛化性能更好的解決方案〗√幔基于這些觀察琳猫，我們提出了DARTS的幾種簡(jiǎn)單變體，它們?cè)趯?shí)踐中表現(xiàn)得更加強(qiáng)大私痹。
A Closer Look at Deep Policy Gradients
Author: Andrew Ilyas, Logan Engstrom, Shibani Santurkar, Dimitris Tsipras, Firdaus Janoos, Larry Rudolph, Aleksander Madry
link: https://openreview.net/pdf?id=ryxdEkHtPS
Code: None
Abstract: 我們研究深度策略梯度算法的行為如何反映激勵(lì)其發(fā)展的概念框架脐嫂。 為此，我們基于該框架的關(guān)鍵元素（梯度估計(jì)紊遵，值預(yù)測(cè)和優(yōu)化環(huán)境）提出了一種最新技術(shù)的細(xì)粒度分析账千。 我們的結(jié)果表明，深層策略梯度算法的行為通常會(huì)偏離其激勵(lì)框架的預(yù)測(cè)：替代獎(jiǎng)勵(lì)與真實(shí)獎(jiǎng)勵(lì)格局不符暗膜，學(xué)習(xí)的價(jià)值估算器無(wú)法滿足真實(shí)價(jià)值函數(shù)匀奏，并且梯度估算與“ 真”漸變。 我們發(fā)現(xiàn)的預(yù)測(cè)行為和經(jīng)驗(yàn)行為之間的不匹配学搜，凸顯了我們對(duì)當(dāng)前方法的理解不足攒射，并表明需要超越當(dāng)前以基準(zhǔn)為中心的評(píng)估方法醋旦。
Implementation Matters in Deep RL: A Case Study on PPO and TRPO
Author: Logan Engstrom, Andrew Ilyas, Shibani Santurkar, Dimitris Tsipras, Firdaus Janoos, Larry Rudolph, Aleksander Madry
link: https://openreview.net/pdf?id=r1etN1rtPB
Code: https://github.com/implementation-matters/code-for-paper
Abstract: 通過對(duì)兩個(gè)流行算法（近端策略優(yōu)化和信任區(qū)域策略優(yōu)化）的案例研究，研究了深度策略梯度算法中算法進(jìn)步的根源会放。 我們研究“代碼級(jí)優(yōu)化”的后果：僅在實(shí)現(xiàn)中發(fā)現(xiàn)或被描述為核心算法的輔助細(xì)節(jié)的算法增強(qiáng)饲齐。 似乎次要的是，此類優(yōu)化對(duì)代理行為具有重大影響咧最。 我們的結(jié)果表明捂人，他們（a）負(fù)責(zé)PPO積累的大部分收益超過TRPO，并且（b）從根本上改變RL方法的功能矢沿。 這些見解表明了在深度強(qiáng)化學(xué)習(xí)中歸因于績(jī)效提升的困難和重要性滥搭。
Fast Task Inference with Variational Intrinsic Successor Features
Author: Steven Hansen, Will Dabney, Andre Barreto, David Warde-Farley, Tom Van de Wiele, Volodymyr Mnih
link: https://openreview.net/pdf?id=BJeAHkrYDS
Code: None
Abstract: 已經(jīng)確定，可以通過獎(jiǎng)勵(lì)與其他策略可區(qū)分的策略來(lái)訓(xùn)練跨越馬爾可夫決策過程的可控子空間的各種行為捣鲸。但是瑟匆，這種表述的一個(gè)局限性是難以推廣到超出明確學(xué)習(xí)的有限行為集的范圍，這在后續(xù)任務(wù)中可能是必需的栽惶。后繼特征為該泛化問題提供了一種有吸引力的解決方案愁溜，但需要在某些基礎(chǔ)特征空間中將獎(jiǎng)勵(lì)函數(shù)定義為線性。在本文中外厂，我們表明可以將這兩種技術(shù)結(jié)合起來(lái)冕象，并且每種方法都可以解決彼此的主要局限性。為此汁蝶，我們引入了變種內(nèi)在后繼特征（VISR）渐扮，這是一種新穎的算法，可學(xué)習(xí)可控特征掖棉，可通過后繼特征框架利用可控特征來(lái)提供增強(qiáng)的泛化能力和快速的任務(wù)推斷墓律。我們以新穎的設(shè)置對(duì)整個(gè)Atari套件上的VISR進(jìn)行了經(jīng)驗(yàn)驗(yàn)證，其中的獎(jiǎng)勵(lì)僅是在漫長(zhǎng)的無(wú)人監(jiān)督階段之后才短暫暴露出來(lái)的幔亥。我們相信只锻，在12場(chǎng)比賽中達(dá)到人類水平的表現(xiàn)并超過所有基準(zhǔn)時(shí)，我們認(rèn)為VISR代表了朝著能夠從有限的反饋中快速學(xué)習(xí)的代理商邁出的一步紫谷。
Learning to Balance: Bayesian Meta-Learning for Imbalanced and Out-of-distribution Tasks
Author: Hae Beom Lee, Hayeon Lee, Donghyun Na, Saehoon Kim, Minseop Park, Eunho Yang, Sung Ju Hwang
link: https://openreview.net/pdf?id=rkeZIJBYvr
Code: https://github.com/haebeom-lee/l2b
Abstract: 雖然在現(xiàn)實(shí)環(huán)境中齐饮，任務(wù)的實(shí)例和類的數(shù)量可能會(huì)發(fā)生變化，但是現(xiàn)有的元學(xué)習(xí)方法用于少鏡頭分類時(shí)笤昨，假設(shè)每個(gè)任務(wù)和類的實(shí)例數(shù)量是固定的祖驱。由于這樣的限制，即使每個(gè)任務(wù)和類的實(shí)例數(shù)量有很大差異瞒窒，他們也要學(xué)習(xí)在所有任務(wù)之間平等地利用元知識(shí)捺僻。此外，他們沒有考慮看不見的任務(wù)的分配差異，而元知識(shí)的有用性取決于任務(wù)的關(guān)聯(lián)性匕坯。為了克服這些局限性束昵，我們提出了一個(gè)新的元學(xué)習(xí)模型，自適應(yīng)地平衡元學(xué)習(xí)和任務(wù)特定學(xué)習(xí)在每個(gè)任務(wù)中的效果葛峻。通過對(duì)平衡變量的學(xué)習(xí)锹雏，我們可以決定是依靠元知識(shí)還是任務(wù)特定學(xué)習(xí)來(lái)獲得解決方案。我們將這個(gè)目標(biāo)用一個(gè)貝葉斯推理框架來(lái)表示术奖，并使用變分推理來(lái)解決它礁遵。我們?cè)趦蓚€(gè)現(xiàn)實(shí)的任務(wù)和類不平衡的數(shù)據(jù)集上驗(yàn)證了我們的貝葉斯任務(wù)自適應(yīng)元學(xué)習(xí)(Bayesian TAML)，該方法在這兩個(gè)數(shù)據(jù)集上顯著優(yōu)于現(xiàn)有的元學(xué)習(xí)方法采记。進(jìn)一步的消融研究證實(shí)了各平衡分量和貝葉斯學(xué)習(xí)框架的有效性佣耐。
RNA Secondary Structure Prediction By Learning Unrolled Algorithms
Author: Xinshi Chen, Yu Li, Ramzan Umarov, Xin Gao, Le Song
link: https://openreview.net/pdf?id=S1eALyrYDH
Code: https://github.com/ml4bio/e2efold
Abstract: 在這篇論文中，我們提出了一個(gè)端到端的深度學(xué)習(xí)模型唧龄，稱為e2兼砖，用于RNA二級(jí)結(jié)構(gòu)預(yù)測(cè)，它可以有效地考慮到問題的內(nèi)在約束既棺。E2Efold的關(guān)鍵思想是直接預(yù)測(cè)RNA堿基配對(duì)矩陣讽挟，并使用約束編程的展開算法作為深入體系結(jié)構(gòu)的模板來(lái)實(shí)施約束。通過對(duì)基準(zhǔn)數(shù)據(jù)集的綜合實(shí)驗(yàn)援制，我們證明了E2Efold的優(yōu)越性能:與以前的SOTA相比戏挡，它可以顯著地預(yù)測(cè)更好的結(jié)構(gòu)(特別是對(duì)于偽打結(jié)結(jié)構(gòu))芍瑞，同時(shí)在推理時(shí)間方面與最快的算法一樣高效晨仑。
Watch the Unobserved: A Simple Approach to Parallelizing Monte Carlo Tree Search
Author: Anji Liu, Jianshu Chen, Mingze Yu, Yu Zhai, Xuewen Zhou, Ji Liu
link: https://openreview.net/pdf?id=BJlQtJSKDB
Code: None
Abstract: 蒙特卡羅樹搜索(MCTS)算法在許多具有挑戰(zhàn)性的基準(zhǔn)測(cè)試(如計(jì)算機(jī)圍棋)上取得了巨大的成功。然而拆檬，它們通常需要大量的滾動(dòng)洪己，這使得它們的應(yīng)用程序非常昂貴。此外竟贯，由于MCTS的固有的順序性答捕，并行化MCTS也極具挑戰(zhàn)性:每次推出都嚴(yán)重依賴于從以前的模擬中估計(jì)的統(tǒng)計(jì)數(shù)據(jù)(例如節(jié)點(diǎn)訪問計(jì)數(shù))來(lái)實(shí)現(xiàn)有效的探索-利用權(quán)衡。盡管有這些困難屑那，我們開發(fā)了一個(gè)算法拱镐，WU-UCT，以有效地并行化MCTS持际，實(shí)現(xiàn)線性加速沃琅，并顯示有限的性能損失與越來(lái)越多的工人。WU-UCT的關(guān)鍵思想是引入一組統(tǒng)計(jì)數(shù)據(jù)來(lái)跟蹤進(jìn)行中但不完整的模擬查詢(稱為未觀察樣本)的數(shù)量蜘欲。當(dāng)我們并行化最耗時(shí)的擴(kuò)展和模擬步驟時(shí)益眉，這些統(tǒng)計(jì)數(shù)據(jù)被用來(lái)以有原則的方式修改選擇步驟中的UCT樹策略，以保留有效的探索-利用權(quán)衡。在專用基準(zhǔn)測(cè)試和雅達(dá)利游戲基準(zhǔn)測(cè)試上的實(shí)驗(yàn)表明郭脂，與現(xiàn)有技術(shù)相比年碘，WU-UCT具有線性加速和優(yōu)越的性能。
Target-Embedding Autoencoders for Supervised Representation Learning
Author: Daniel Jarrett, Mihaela van der Schaar
link: https://openreview.net/pdf?id=BygXFkSYDH
Code: None
Abstract: 基于自編碼的學(xué)習(xí)已經(jīng)成為在無(wú)監(jiān)督和半監(jiān)督環(huán)境下訓(xùn)練表征的主要手段展鸡。本文分析了在純監(jiān)督環(huán)境下屿衅，目標(biāo)空間是高維的情況下，改進(jìn)泛化的一個(gè)框架娱颊。我們激勵(lì)和形式化的一般框架目標(biāo)接入autoencoders(茶)監(jiān)督預(yù)測(cè),學(xué)習(xí)中間潛伏表示共同優(yōu)化既可預(yù)測(cè)的特性以及預(yù)測(cè)的目標(biāo)——編碼之前,目標(biāo)的變化是由一組簡(jiǎn)潔的潛在因素傲诵。作為我們的理論貢獻(xiàn)，我們通過展示一致的穩(wěn)定性箱硕，將輔助重建任務(wù)的好處解釋為正則化的一種形式拴竹，為線性茶葉的泛化提供了保證。作為我們的經(jīng)驗(yàn)貢獻(xiàn)剧罩，我們將該方法的驗(yàn)證從現(xiàn)有的靜態(tài)分類應(yīng)用擴(kuò)展到多元序列預(yù)測(cè)栓拜，驗(yàn)證了它們?cè)诰€性和非線性遞歸架構(gòu)上的優(yōu)勢(shì)——從而強(qiáng)調(diào)了該框架在前饋實(shí)例化之外的進(jìn)一步通用性。
Reformer: The Efficient Transformer
Author: Nikita Kitaev, Lukasz Kaiser, Anselm Levskaya
link: https://openreview.net/pdf?id=rkgNKkHtvB
Code: https://github.com/google/trax/tree/master/trax/models/reformer
Abstract: 大型Transform模型通郴菸簦可以達(dá)到最先進(jìn)的結(jié)果有很多任務(wù)幕与，但訓(xùn)練這些模型的成本可能高得令人望而卻步，特別是長(zhǎng)序列镇防。我們介紹兩種技術(shù)來(lái)改進(jìn)Transform的效率啦鸣。其一，我們?nèi)〈藢?duì)網(wǎng)絡(luò)產(chǎn)品的關(guān)注一個(gè)使用位置敏感的哈希来氧，改變了它的復(fù)雜性
從O(L^2)到O(L /log L)诫给，其中L是序列的長(zhǎng)度。此外啦扬，我們使用可逆剩余層代替標(biāo)準(zhǔn)殘差中狂，只允許在訓(xùn)練中存儲(chǔ)激活一次處理而不是N次，其中N是層數(shù)扑毡。得到的模型胃榕，其性能與Transform模型相當(dāng)同時(shí)在長(zhǎng)序列上存儲(chǔ)效率更高，速度更快瞄摊。
Rotation-invariant clustering of neuronal responses in primary visual cortex
Author: Ivan Ustyuzhaninov, Santiago A. Cadena, Emmanouil Froudarakis, Paul G. Fahey, Edgar Y. Walker, Erick Cobos, Jacob Reimer, Fabian H. Sinz, Andreas S. Tolias, Matthias Bethge, Alexander S. Ecker
link: https://openreview.net/pdf?id=rklr9kHFDB
Code: None
Abstract: 類似于卷積神經(jīng)網(wǎng)絡(luò)(CNN)勋又，哺乳動(dòng)物的視網(wǎng)膜將視覺信息編碼成幾十個(gè)非線性特征圖，每個(gè)特征圖由一種神經(jīng)節(jié)細(xì)胞類型構(gòu)成换帜，神經(jīng)節(jié)細(xì)胞類型以一種近似平移等變的方式平鋪視覺空間楔壤。這種形成不同細(xì)胞類型的組織是否維持在皮層圖像處理的水平是一個(gè)懸而未決的問題。建立在卷積特征上的預(yù)測(cè)模型已經(jīng)被證明提供了最先進(jìn)的性能膜赃，并且最近被擴(kuò)展到包括旋轉(zhuǎn)等方差挺邀，以考慮V1神經(jīng)元的定向選擇性。然而，在這些模型中端铛，CNN feature maps與單個(gè)神經(jīng)元群之間通常沒有直接的對(duì)應(yīng)關(guān)系泣矛，因此V1神經(jīng)元是否形成不同的功能簇還是一個(gè)懸而未決的問題。在此禾蚕，我們建立了基于cnn的V1模型的旋轉(zhuǎn)等變表示您朽，并提出了一種方法來(lái)聚類該模型中神經(jīng)元的表示，以找到與神經(jīng)元的首選方向無(wú)關(guān)的功能細(xì)胞類型换淆。我們將此方法應(yīng)用于6000個(gè)神經(jīng)元的數(shù)據(jù)集哗总，并將結(jié)果簇的首選刺激可視化。我們的結(jié)果突出了鼠標(biāo)V1中非線性計(jì)算的范圍倍试。
Causal Discovery with Reinforcement Learning
Author: Shengyu Zhu, Ignavier Ng, Zhitang Chen
link: https://openreview.net/pdf?id=S1g2skStPB
Code: None
Abstract: 發(fā)現(xiàn)一組變量之間的因果結(jié)構(gòu)是許多經(jīng)驗(yàn)科學(xué)中的一個(gè)基本問題讯屈。傳統(tǒng)的基于分?jǐn)?shù)的臨時(shí)發(fā)現(xiàn)方法依賴于各種局部啟發(fā)，根據(jù)預(yù)定義的分?jǐn)?shù)函數(shù)搜索有向無(wú)環(huán)圖(DAG)县习。雖然這些方法涮母，如貪心等價(jià)搜索，對(duì)于無(wú)限樣本和一定的模型假設(shè)躁愿，可能會(huì)得到有吸引力的結(jié)果叛本，但在實(shí)踐中，由于數(shù)據(jù)有限彤钟，且可能違反假設(shè)来候，這些方法并不太令人滿意∫荼ⅲ基于神經(jīng)組合優(yōu)化的最新進(jìn)展营搅，我們建議使用強(qiáng)化學(xué)習(xí)(RL)來(lái)尋找得分最高的DAG。該模型以可觀測(cè)數(shù)據(jù)為輸入峡眶，生成用于計(jì)算獎(jiǎng)勵(lì)的圖鄰接矩陣剧防。該獎(jiǎng)勵(lì)包含了預(yù)先定義的分?jǐn)?shù)函數(shù)和兩個(gè)強(qiáng)制不對(duì)稱的懲罰條件植锉。與典型的以學(xué)習(xí)策略為目標(biāo)的RL應(yīng)用程序相比辫樱，我們使用RL作為搜索策略，我們的最終輸出將是圖俊庇，在訓(xùn)練期間生成的所有圖中狮暑，它將獲得最好的回報(bào)。我們對(duì)合成數(shù)據(jù)集和真實(shí)數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn)辉饱，結(jié)果表明搬男，該方法不僅具有較強(qiáng)的搜索能力，而且在無(wú)環(huán)度約束下具有較強(qiáng)的靈活性彭沼。
Intrinsically Motivated Discovery of Diverse Patterns in Self-Organizing Systems
Author: Chris Reinke, Mayalen Etcheverry, Pierre-Yves Oudeyer
link: https://openreview.net/pdf?id=rkg6sJHYDr
Code: https://automated-discovery.github.io/
Abstract: 在許多復(fù)雜的動(dòng)態(tài)系統(tǒng)中缔逛，無(wú)論是人工的還是自然的，人們都可以觀察到從局部規(guī)則中出現(xiàn)的模式的自組織。細(xì)胞自動(dòng)機(jī)和生命游戲(GOL)一樣褐奴，被廣泛用作抽象模型按脚，用于研究自組織和形態(tài)形成的各個(gè)方面，如空間局域模式的出現(xiàn)敦冬。然而辅搬，自組織模式在這些模型中的發(fā)現(xiàn)到目前為止都依賴于參數(shù)和初始狀態(tài)的手動(dòng)調(diào)優(yōu)，以及用肉眼來(lái)識(shí)別有趣的模式脖旱。在這篇論文中堪遂，我們闡述了在這樣的高維復(fù)雜動(dòng)力系統(tǒng)中各種自組織模式的自動(dòng)發(fā)現(xiàn)問題，以及一個(gè)用于實(shí)驗(yàn)和評(píng)估的框架萌庆。使用一個(gè)連續(xù)的GOL作為測(cè)試平臺(tái)溶褪，我們表明，最近的內(nèi)在動(dòng)機(jī)的機(jī)器學(xué)習(xí)算法(POP-IMGEPs)践险，最初是為學(xué)習(xí)機(jī)器人逆模型而開發(fā)的竿滨，可以被調(diào)換并用于這個(gè)新的應(yīng)用領(lǐng)域。這些算法結(jié)合了內(nèi)在動(dòng)機(jī)的目標(biāo)探索和目標(biāo)空間表示的無(wú)監(jiān)督學(xué)習(xí)捏境。目標(biāo)空間表示描述了模式的有趣特性于游，應(yīng)該發(fā)現(xiàn)模式的各種變化。特別是垫言，我們從發(fā)現(xiàn)不同的空間本地化模式的角度贰剥，比較了定義和學(xué)習(xí)目標(biāo)空間表示的各種方法。此外筷频，我們還介紹了最先進(jìn)的POP-IMGEP算法的擴(kuò)展蚌成，該算法使用深度自動(dòng)編碼器逐步學(xué)習(xí)目標(biāo)表示，并使用CPPN原語(yǔ)生成初始化參數(shù)凛捏。我們證明了它比幾個(gè)基線更有效担忧，并且作為一個(gè)在由人類專家識(shí)別的手工模式數(shù)據(jù)庫(kù)上預(yù)先訓(xùn)練的系統(tǒng)，它的效率是一樣的坯癣。
Restricting the Flow: Information Bottlenecks for Attribution
Author: Karl Schulz, Leon Sixt, Federico Tombari, Tim Landgraf
link: https://openreview.net/pdf?id=S1xWh1rYwB
Code: https://github.com/BioroboticsLab/IBA-paper-code
Abstract: 歸因方法為人工神經(jīng)網(wǎng)絡(luò)等機(jī)器學(xué)習(xí)模型的決策提供了洞察瓶盛。對(duì)于給定的輸入樣本，它們?yōu)槊總€(gè)單獨(dú)的輸入變量(如圖像的像素)分配一個(gè)相關(guān)分?jǐn)?shù)示罗。在這項(xiàng)工作中惩猫，我們采用信息瓶頸的概念進(jìn)行歸因。通過在中間特征圖中加入噪聲蚜点，我們限制了信息的流動(dòng)轧房，并且可以量化(以比特為單位)圖像區(qū)域提供了多少信息。我們使用VGG-16和ResNet-50上的三個(gè)不同指標(biāo)绍绘，將我們的方法與10個(gè)基線進(jìn)行比較奶镶，發(fā)現(xiàn)我們的方法在6個(gè)設(shè)置中有5個(gè)優(yōu)于所有基線迟赃。該方法的信息理論基礎(chǔ)為屬性值(bits)提供了一個(gè)絕對(duì)的參考框架，并保證得分接近零的區(qū)域?qū)τ诰W(wǎng)絡(luò)的決策是不必要的厂镇。
Building Deep Equivariant Capsule Networks
Author: Sai Raam Venkataraman, S. Balasubramanian, R. Raghunatha Sarma
link: https://openreview.net/pdf?id=BJgNJgSFPS
Code: https://github.com/AnonymousCapsuleSOVNET/SOVNET
Abstract: 膠囊網(wǎng)絡(luò)受到其層的參數(shù)昂貴性和普遍缺乏可證明的等方差保證的限制捺氢。我們提出了一個(gè)膠囊網(wǎng)絡(luò)的變種，旨在彌補(bǔ)這一點(diǎn)剪撬。我們發(fā)現(xiàn)摄乒，學(xué)習(xí)連續(xù)層的膠囊之間所有成對(duì)的部分-整體關(guān)系是低效的。此外残黑，我們也認(rèn)識(shí)到預(yù)測(cè)網(wǎng)絡(luò)的選擇和路由機(jī)制都是等方差的關(guān)鍵馍佑。在此基礎(chǔ)上，我們提出了一種可選的膠囊網(wǎng)絡(luò)框架梨水，該框架可以學(xué)習(xí)對(duì)每一層的每個(gè)膠囊類型的位置變化(稱為變異空間)進(jìn)行投影編碼拭荤。這是通過使用一個(gè)可訓(xùn)練的等變函數(shù)來(lái)完成的，該函數(shù)定義在一個(gè)組變換的網(wǎng)格上疫诽。因此舅世，路由的預(yù)測(cè)階段包括使用相應(yīng)的函數(shù)將數(shù)據(jù)投影到更深的膠囊的SOV中。作為這一思想的一個(gè)具體實(shí)例奇徒，同時(shí)也是為了獲得增加參數(shù)共享的好處雏亚，我們?cè)谶@個(gè)階段使用了淺膠囊的類型同構(gòu)組等變卷積。提出了一種基于度中心性的等變路由機(jī)制摩钙。我們證明了一般模型的這個(gè)特殊實(shí)例是等變的罢低，因此在變換下保持了輸入的成分表示。我們?cè)跇?biāo)準(zhǔn)的對(duì)象分類數(shù)據(jù)集上進(jìn)行了幾次實(shí)驗(yàn)胖笛，這些數(shù)據(jù)集展示了我們的模型向幾個(gè)膠囊基線增強(qiáng)的轉(zhuǎn)換魯棒性和一般性能网持。
A Generalized Training Approach for Multiagent Learning
Author: Paul Muller, Shayegan Omidshafiei, Mark Rowland, Karl Tuyls, Julien Perolat, Siqi Liu, Daniel Hennes, Luke Marris, Marc Lanctot, Edward Hughes, Zhe Wang, Guy Lever, Nicolas Heess, Thore Graepel, Remi Munos
link: https://openreview.net/pdf?id=Bkl5kxrKDr
Code: None
Abstract: 本文研究了一種基于博弈論原理的基于群體的訓(xùn)練機(jī)制——策略間隔反應(yīng)神諭(PSRO)。PSRO是通用的长踊，因?yàn)樗?1)包含了一些眾所周知的算法功舀，如作為特殊情況的虛擬游戲和雙oracle，(2)原則上適用于一般和身弊、多人游戲辟汰。盡管如此，先前對(duì)PSRO的研究主要集中在兩方零和博弈上佑刷，這是一種納什均衡可追蹤計(jì)算的機(jī)制莉擒。從二人零和博弈過渡到更一般的情形酿炸，納什均衡的計(jì)算很快變得不可行的瘫絮。這里,我們延長(zhǎng)PSRO的理論基礎(chǔ),通過考慮一個(gè)替代解決方案的概念,α-Rank,這是獨(dú)一無(wú)二的(因此面臨不平衡選擇問題,不像納什),容易適用于general-sum many-player設(shè)置。我們建立收斂擔(dān)保在幾個(gè)游戲類和識(shí)別納什均衡和α-Rank之間的聯(lián)系填硕。我們將演示的競(jìng)爭(zhēng)性能α-Rank-based PSRO反對(duì)一個(gè)精確的納什solver-based PSRO雙人庫(kù)恩和愛撲克麦萤。然后我們超越之前的PSRO應(yīng)用程序通過考慮3 - 1個(gè)撲克游戲,收益率情況比近似解決納什α-Rank達(dá)到更快的收斂,從而建立良好的通用游戲解決鹿鳖。我們還進(jìn)行了初步的實(shí)證驗(yàn)證，在MuJoCo足球壮莹，說(shuō)明了該方法的可行性翅帜，在另一個(gè)復(fù)雜的領(lǐng)域。
High Fidelity Speech Synthesis with Adversarial Networks
Author: Miko?aj Bińkowski, Jeff Donahue, Sander Dieleman, Aidan Clark, Erich Elsen, Norman Casagrande, Luis C. Cobo, Karen Simonyan
link: https://openreview.net/pdf?id=r1gfQgSFDr
Code: https://github.com/mbinkowski/DeepSpeechDistances
Abstract: 生成式對(duì)抗網(wǎng)絡(luò)近年來(lái)發(fā)展迅速命满，并導(dǎo)致圖像生成建模的顯著改進(jìn)涝滴。然而，它們?cè)谝纛l領(lǐng)域的應(yīng)用受到的關(guān)注有限胶台，自回歸模型歼疮，如WaveNet，仍然是音頻信號(hào)生成建模的藝術(shù)狀態(tài)诈唬，如人類語(yǔ)言韩脏。為了解決這一不足，我們引入了GAN-TTS铸磅，一種用于文本-語(yǔ)音轉(zhuǎn)換的生成式對(duì)抗網(wǎng)絡(luò)赡矢。我們的架構(gòu)是由一個(gè)產(chǎn)生原始語(yǔ)音音頻的條件前饋發(fā)生器和一個(gè)運(yùn)行在不同大小隨機(jī)窗口上的鑒別器組成。鑒別器分析音頻的一般現(xiàn)實(shí)主義阅仔，以及如何音頻對(duì)應(yīng)的話語(yǔ)吹散，應(yīng)該被發(fā)音。為了度量GAN-TTS的性能八酒，我們使用了主觀的人類評(píng)價(jià)(MOS - Mean Opinion Score)和新的定量度量(Frechet DeepSpeech Distance和Kernel DeepSpeech Distance)送浊，我們發(fā)現(xiàn)它們與MOS有很好的相關(guān)性。我們證明丘跌，GAN-TTS能夠生成高保真度的語(yǔ)音袭景，其自然度可與最先進(jìn)的模型相媲美，而且與自回歸模型不同闭树，由于使用了高效的前饋發(fā)電機(jī)耸棒，GAN-TTS具有高度的并行性。
SEED RL: Scalable and Efficient Deep-RL with Accelerated Central Inference
Author: Lasse Espeholt, Rapha?l Marinier, Piotr Stanczyk, Ke Wang, Marcin Michalski?
link: https://openreview.net/pdf?id=rkgvXlrKwH
Code: https://drive.google.com/file/d/144yp7PQf486dmctE2oS2md_qmNBTFbez/view?usp=sharing
Abstract: 本文提出了一種新型的可擴(kuò)展增強(qiáng)學(xué)習(xí)代理——種子(一種可擴(kuò)展的报辱、高效的Deep-RL)与殃。通過有效地利用現(xiàn)代加速器，證明了不僅可以在每秒數(shù)百萬(wàn)幀的情況下進(jìn)行訓(xùn)練碍现，而且可以降低成本幅疼。實(shí)驗(yàn)結(jié)果與現(xiàn)有方法進(jìn)行了比較。我們通過一個(gè)簡(jiǎn)單的架構(gòu)實(shí)現(xiàn)了這一點(diǎn)昼接，該架構(gòu)的特點(diǎn)是集中式推理和優(yōu)化的通信層爽篷。SEED采用了兩種最先進(jìn)的分布式算法IMPALA/V-trace (policy gradients)和R2D2 (Q-learning)，并在Atari-57慢睡、DeepMind Lab和谷歌Research Football上進(jìn)行了評(píng)估逐工。我們提高了足球的技術(shù)水平铡溪，并且能夠在世界記錄中以兩倍的速度達(dá)到Atari--57的技術(shù)水平。對(duì)于我們考慮的場(chǎng)景泪喊，運(yùn)行實(shí)驗(yàn)的成本降低了40%到80%棕硫。與實(shí)驗(yàn)一起實(shí)現(xiàn)的是開源的，因此可以復(fù)制結(jié)果并嘗試新的想法袒啼。
Meta-Learning with Warped Gradient Descent
Author: Sebastian Flennerhag, Andrei A. Rusu, Razvan Pascanu, Francesco Visin, Hujun Yin, Raia Hadsell
link: https://openreview.net/pdf?id=rkeiQlBFPB
Code: https://github.com/flennerhag/warpgrad
Abstract: 從數(shù)據(jù)中學(xué)習(xí)有效的更新規(guī)則可以促進(jìn)從相同的分布中快速學(xué)習(xí)新任務(wù)哈扮，這在元學(xué)習(xí)中仍然是一個(gè)開放的問題。通常蚓再，以前的工作都是通過嘗試訓(xùn)練一個(gè)直接產(chǎn)生更新的神經(jīng)網(wǎng)絡(luò)灶泵，或者嘗試學(xué)習(xí)一個(gè)基于梯度的更新規(guī)則的更好的初始化或縮放因子來(lái)解決這個(gè)問題。這兩種方法都帶來(lái)了挑戰(zhàn)对途。一方面赦邻，直接產(chǎn)生更新會(huì)放棄有用的歸納偏差，很容易導(dǎo)致不收斂的行為实檀。另一方面惶洲，試圖控制基于梯度的更新規(guī)則的方法通常通過學(xué)習(xí)過程使用計(jì)算梯度來(lái)獲得它們的元梯度，導(dǎo)致方法不能擴(kuò)展到超出少鏡頭任務(wù)適應(yīng)的范圍膳犹。在這項(xiàng)工作中恬吕，我們提出了翹曲梯度下降(WarpGrad)，一種交叉這些方法须床，以減輕其局限性的方法铐料。WarpGrad元學(xué)習(xí)一個(gè)有效的參數(shù)化預(yù)處理矩陣，它有助于在整個(gè)任務(wù)分布中實(shí)現(xiàn)梯度下降豺旬。預(yù)處理是通過在任務(wù)-學(xué)習(xí)者的各層之間交叉放置非線性層(稱為翹曲層)而產(chǎn)生的钠惩。翹曲層是元學(xué)習(xí)的，不需要通過任務(wù)訓(xùn)練過程以類似于學(xué)習(xí)直接生成更新的方法進(jìn)行反向傳播族阅。WarpGrad的計(jì)算效率高篓跛，易于實(shí)現(xiàn)，并且可以擴(kuò)展到任意大的元學(xué)習(xí)問題坦刀。我們提供了一個(gè)幾何解釋的方法愧沟，并評(píng)估其有效性在各種設(shè)置，包括少鏡頭鲤遥，標(biāo)準(zhǔn)監(jiān)督沐寺，連續(xù)和強(qiáng)化學(xué)習(xí)。
Convolutional Conditional Neural Processes
Author: Jonathan Gordon, Wessel P. Bruinsma, Andrew Y. K. Foong, James Requeima, Yann Dubois, Richard E. Turner
link: https://openreview.net/pdf?id=Skey4eBYPS
Code: https://github.com/cambridge-mlg/convcnp
Abstract: 本文介紹了卷積條件神經(jīng)過程(ConvCNP)盖奈，它是對(duì)數(shù)據(jù)平移等方差進(jìn)行建模的神經(jīng)過程家族中的新成員混坞。翻譯等方差是許多學(xué)習(xí)問題的重要?dú)w納偏差，包括時(shí)間序列建模卜朗、空間數(shù)據(jù)和圖像拔第。該模型將數(shù)據(jù)集嵌入到一個(gè)無(wú)限維的函數(shù)空間中咕村，而不是有限維的向量空間场钉。為了形式化這一概念蚊俺，我們擴(kuò)展了集合的神經(jīng)表示理論以包含功能表示，并證明任何平移等變嵌入都可以用卷積深集表示逛万。我們?cè)趲追N情況下對(duì)ConvCNPs進(jìn)行了評(píng)估泳猬，結(jié)果表明，與現(xiàn)有的NPs相比宇植，它們具有最先進(jìn)的性能得封。我們證明，在翻譯等方差的建設(shè)指郁，使零槍概化具有挑戰(zhàn)性忙上，領(lǐng)域外的任務(wù)。
Gradient Descent Maximizes the Margin of Homogeneous Neural Networks
Author: Kaifeng Lyu, Jian Li
link: https://openreview.net/pdf?id=SJeLIgBKPS
Code: https://github.com/vfleaking/max-margin
Abstract: 本文研究了齊次神經(jīng)網(wǎng)絡(luò)中梯度下降算法的隱式正則化問題闲坎，包括具有ReLU或LeakyReLU激活的全連通和卷積神經(jīng)網(wǎng)絡(luò)疫粥。特別地，我們研究了梯度下降或梯度流動(dòng)腰懂。對(duì)任意齊次模型(可能是非光滑的)的邏輯損失或交叉熵?fù)p失進(jìn)行了優(yōu)化梗逮，結(jié)果表明，如果訓(xùn)練損失降低到一定的閾值以下绣溜，那么我們可以定義一個(gè)隨時(shí)間增加的歸一化邊緣的平滑版本慷彤。我們還建立了一個(gè)與邊際最大化相關(guān)的自然約束優(yōu)化問題，并證明了標(biāo)準(zhǔn)化邊際及其平滑版本在最優(yōu)化問題的KKT點(diǎn)上均收斂于目標(biāo)值怖喻。我們的結(jié)果推廣了已有的單層或多層線性網(wǎng)絡(luò)的邏輯回歸結(jié)果底哗，并在假設(shè)較弱的情況下給出了更多的均勻光滑神經(jīng)網(wǎng)絡(luò)的定量收斂結(jié)果。我們?cè)贛NIST和CIFAR-10數(shù)據(jù)集上進(jìn)行了幾個(gè)實(shí)驗(yàn)來(lái)證明我們的理論發(fā)現(xiàn)锚沸。最后艘虎，由于裕度與穩(wěn)健性密切相關(guān)，我們討論了延長(zhǎng)訓(xùn)練時(shí)間以提高模型穩(wěn)健性的潛在好處咒吐。
Adversarial Training and Provable Defenses: Bridging the Gap
Author: Mislav Balunovic, Martin Vechev
link: https://openreview.net/pdf?id=SJxSDxrKDr
Code: None
Abstract: 提出了一種基于對(duì)抗訓(xùn)練和可證明防御相結(jié)合的神經(jīng)網(wǎng)絡(luò)訓(xùn)練新方法——COLT野建。其核心思想是將神經(jīng)網(wǎng)絡(luò)訓(xùn)練建模為一個(gè)包含驗(yàn)證者和對(duì)手的過程。在每次迭代中恬叹，驗(yàn)證者的目標(biāo)是使用凸松弛來(lái)驗(yàn)證網(wǎng)絡(luò)候生，而對(duì)手試圖在凸松弛中尋找導(dǎo)致驗(yàn)證失敗的輸入。我們實(shí)驗(yàn)證明這種訓(xùn)練方法,名叫凸layerwise對(duì)抗訓(xùn)練(小馬),承諾和達(dá)到兩全其美——它產(chǎn)生60.5%的最先進(jìn)的神經(jīng)網(wǎng)絡(luò)與認(rèn)證的魯棒性和準(zhǔn)確性78.4%挑戰(zhàn)CIFAR-10 2/255 L-infinity擾動(dòng)數(shù)據(jù)集绽昼。這顯著地改進(jìn)了54.0%認(rèn)證的穩(wěn)健性和71.5%的準(zhǔn)確性的最佳并發(fā)結(jié)果唯鸭。
Differentiable Reasoning over a Virtual Knowledge Base
Author: Bhuwan Dhingra, Manzil Zaheer, Vidhisha Balachandran, Graham Neubig, Ruslan Salakhutdinov, William W. Cohen
link: https://openreview.net/pdf?id=SJxstlHFPH
Code: http://www.cs.cmu.edu/~bdhingra/pages/drkit.html
Abstract: 考慮使用語(yǔ)料庫(kù)作為虛擬知識(shí)庫(kù)來(lái)回答復(fù)雜的多跳問題。特別地硅确，我們描述了一個(gè)神經(jīng)模塊目溉，DrKIT明肮，它像一個(gè)知識(shí)庫(kù)一樣遍歷文本數(shù)據(jù)，溫柔地遵循語(yǔ)料庫(kù)中提到的實(shí)體之間的關(guān)系路徑缭付。在每個(gè)步驟中柿估，該模塊使用稀疏矩陣TFIDF索引和最大內(nèi)積搜索(MIPS)的組合，在提及的上下文表示的特殊索引上陷猫。該模塊是可微的秫舌，因此整個(gè)系統(tǒng)可以從自然語(yǔ)言輸入開始，使用基于梯度的方法進(jìn)行端到端的訓(xùn)練绣檬。我們也描述了一個(gè)上下文表示編碼器的前訓(xùn)練方案足陨，通過使用現(xiàn)有的知識(shí)庫(kù)生成硬的負(fù)面例子。我們發(fā)現(xiàn)娇未，在MetaQA數(shù)據(jù)集中墨缘，DrKIT在3-hop問題上的準(zhǔn)確率提高了9個(gè)百分點(diǎn)，將基于文本和基于kbk的藝術(shù)水平之間的差距縮小了70%零抬。在HotpotQA上镊讼，DrKIT在檢索回答問題所需的相關(guān)段落方面比基于bert的重新排序方法提高了10%。DrKIT也非常高效媚值，每秒處理的查詢比現(xiàn)有的多跳系統(tǒng)多10倍狠毯。
Federated Learning with Matched Averaging
Author: Hongyi Wang, Mikhail Yurochkin, Yuekai Sun, Dimitris Papailiopoulos, Yasaman Khazaeni
link: https://openreview.net/pdf?id=BkluqlSFDS
Code: https://github.com/IBM/FedMA
Abstract: 聯(lián)合學(xué)習(xí)允許邊緣設(shè)備在將培訓(xùn)數(shù)據(jù)保存在設(shè)備上的同時(shí)，協(xié)作學(xué)習(xí)共享模型褥芒，從而將進(jìn)行模型培訓(xùn)的能力與將數(shù)據(jù)存儲(chǔ)在云中的需求分離開來(lái)嚼松。我們提出了聯(lián)邦匹配平均(FedMA)算法，用于現(xiàn)代神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)的聯(lián)邦學(xué)習(xí)锰扶，如卷積神經(jīng)網(wǎng)絡(luò)(CNNs)和LSTMs献酗。FedMA通過匹配和平均隱藏元素(即卷積層的通道;LSTM的隱藏狀態(tài);具有類似特征提取特征的神經(jīng)元。我們的實(shí)驗(yàn)表明坷牛，F(xiàn)edMA不僅在深度CNN和基于真實(shí)數(shù)據(jù)集的LSTM架構(gòu)上優(yōu)于當(dāng)前流行的聯(lián)邦學(xué)習(xí)算法罕偎，而且降低了整體通信負(fù)擔(dān)。
往期回顧
入門基礎(chǔ)
「自然語(yǔ)言處理（NLP）」入門系列（一）初識(shí)NLP
「自然語(yǔ)言處理（NLP）」入門系列（二）什么才是深度學(xué)習(xí)京闰？
「自然語(yǔ)言處理（NLP）」入門系列（三）單詞表示颜及、損失優(yōu)化、文本標(biāo)記化
「自然語(yǔ)言處理（NLP）」入門系列（四）如何訓(xùn)練word2vec ｕ彘埂俏站！
論文閱讀
「自然語(yǔ)言處理（NLP）」【愛丁堡大學(xué)】基于實(shí)體模型的數(shù)據(jù)文本生成！！
「自然語(yǔ)言處理（NLP）」【Borealis AI】跨域文本連貫生成神經(jīng)網(wǎng)絡(luò)模型！沪羔！
「自然語(yǔ)言處理（NLP）」CTRL：16.3億個(gè)參數(shù)的條件轉(zhuǎn)換語(yǔ)言模型
無(wú)情韧掩！「自然語(yǔ)言處理(NLP)」統(tǒng)一預(yù)訓(xùn)練UniLM模型(NLU+NLG)
學(xué)術(shù)圈
「自然語(yǔ)言處理（NLP）」你必須要知道的八個(gè)國(guó)際頂級(jí)會(huì)議犯祠！
「重磅Ｐ竦取！」深度學(xué)習(xí)十年技術(shù)“進(jìn)化史”
【圣誕福利】ICLR2020開源代碼的paper集合（共計(jì)198篇）
收藏衡载！「自然語(yǔ)言處理（NLP）」全球?qū)W術(shù)界”巨佬“信息大盤點(diǎn)（一）搔耕！
Attention
更多自然語(yǔ)言處理相關(guān)知識(shí)，還請(qǐng)關(guān)注AINLPer公眾號(hào)月劈，極品干貨即刻送達(dá)度迂。
