https://arxiv.org/search/?query=Quoc+V.+Le&searchtype=all&source=header
1. EfficientNetV2
https://arxiv.org/abs/2104.00298
作者：Mingxing Tan???? Quoc V. Le?
本文介紹了一類新的卷積網(wǎng)絡(luò)EfficientNetV2护蝶，它比以前的模型具有更快的訓(xùn)練速度和更好的參數(shù)效率蝙眶。為了開發(fā)這類模型遏弱，我們結(jié)合訓(xùn)練感知神經(jīng)結(jié)構(gòu)搜索和縮放贸营，共同優(yōu)化訓(xùn)練速度和參數(shù)效率值朋。這些模型是從搜索空間中搜索出來的荷愕，搜索空間中包含了諸如融合MBConv之類的新操作迅腔。我們的實驗表明够庙，EfficientNetV2模型的訓(xùn)練速度比最先進(jìn)的模型快得多，同時體積小了6.8倍蓝纲。通過在訓(xùn)練過程中逐漸增大圖像大小阴孟，可以進(jìn)一步加快訓(xùn)練速度，但這通常會導(dǎo)致精度下降税迷。為了補(bǔ)償這種精度下降永丝，我們建議自適應(yīng)調(diào)整正則化（例如，退出和數(shù)據(jù)增強(qiáng)）箭养，這樣我們可以實現(xiàn)快速訓(xùn)練和良好的精度慕嚷。通過漸進(jìn)式學(xué)習(xí)，我們的EfficientNetV2在ImageNet和CIFAR/Cars/Flowers數(shù)據(jù)集上顯著優(yōu)于以前的模型毕泌。通過在相同的ImageNet21k上進(jìn)行預(yù)訓(xùn)練喝检，我們的EfficientNetV2在ImageNet ILSVRC2012上達(dá)到了87.3%的前1精度，比最近的ViT提高了2.0%的精度懈词，同時使用相同的計算資源訓(xùn)練速度提高了5-11倍
縮猩咭：前面的部分主要集中在大型模型上。在這里坎弯，我們通過使用與EfficientNet相似的復(fù)合比例系數(shù)來縮小EfficientNetV2-S來比較較小的模型纺涤。
為了便于比較，所有模型都是在不進(jìn)行漸進(jìn)式學(xué)習(xí)的情況下進(jìn)行訓(xùn)練的抠忘。
與這些小尺寸的EfficientNets（V1）相比撩炊，我們的新EfficientNetV2模型通常更快，同時保持了相當(dāng)?shù)膮?shù)效率
結(jié)論????本文介紹了EfficientNetV2崎脉，一種新的更小更快的用于圖像識別的神經(jīng)網(wǎng)絡(luò)拧咳。通過訓(xùn)練感知NAS和模型縮放進(jìn)行優(yōu)化，我們的EfficientNetV2顯著優(yōu)于以前的模型囚灼，同時在參數(shù)方面更快骆膝、更高效祭衩。為了進(jìn)一步加快訓(xùn)練速度，我們提出了一種改進(jìn)的漸進(jìn)學(xué)習(xí)方法阅签，即在訓(xùn)練過程中聯(lián)合增加圖像大小和正則化掐暮。大量實驗表明，我們的EfficientNetV2在ImageNet和CIFAR/Flowers/Cars上取得了很好的效果政钟。與EfficientNet和最近的作品相比路克，我們的EfficientNetV2的訓(xùn)練速度快了11倍，而體積小了6.8倍养交。
2.Scaling Up Visual and Vision-Language Representation Learning With Noisy Text Supervision
https://arxiv.org/abs/2102.05918
在許多自然語言處理和知覺任務(wù)中精算，預(yù)先訓(xùn)練的表征正變得至關(guān)重要。盡管NLP中的表征學(xué)習(xí)已經(jīng)過渡到對沒有人類注釋的原始文本的訓(xùn)練碎连，視覺和視覺語言表征仍然嚴(yán)重依賴于昂貴或需要專家知識的精心策劃的訓(xùn)練數(shù)據(jù)集灰羽。對于vision應(yīng)用程序，表示主要是使用帶有顯式類標(biāo)簽的數(shù)據(jù)集（如ImageNet或OpenImages）學(xué)習(xí)的鱼辙。對于vision語言谦趣，流行的數(shù)據(jù)集（如概念性標(biāo)題、MSCOCO或CLIP）都涉及到一個非常重要的數(shù)據(jù)收集（和清理）過程座每。這種昂貴的管理過程限制了數(shù)據(jù)集的大小，因此阻礙了訓(xùn)練模型的擴(kuò)展摘悴。在本文中峭梳，我們利用了一個超過10億個圖像-文本對的噪聲數(shù)據(jù)集，在概念字幕數(shù)據(jù)集中不需要昂貴的過濾或后處理步驟即可獲得蹂喻。一個簡單的雙編碼器架構(gòu)學(xué)習(xí)使用對比丟失來對齊圖像和文本對的視覺和語言表示葱椭。我們發(fā)現(xiàn)，我們的語料庫規(guī)目谒模可以彌補(bǔ)其噪音孵运，并導(dǎo)致國家的最先進(jìn)的表示，即使這樣一個簡單的學(xué)習(xí)方案蔓彩。我們的視覺表示在轉(zhuǎn)移到分類任務(wù)（如ImageNet和VTAB）時獲得了很強(qiáng)的性能治笨。對齊的視覺和語言表示也在Flickr30K和MSCOCO基準(zhǔn)上建立了最新的結(jié)果，即使與更復(fù)雜的交叉注意模型相比也是如此赤嚼。這些表示還支持復(fù)雜文本和文本+圖像查詢的跨模態(tài)搜索旷赖。
3.?PyGlove: Symbolic Programming for Automated Machine Learning
https://arxiv.org/abs/2101.08809
神經(jīng)網(wǎng)絡(luò)對超參數(shù)和結(jié)構(gòu)選擇非常敏感弱恒。自動機(jī)器學(xué)習(xí)（AutoML）是一種很有前途的自動化選擇的范例。然而糖声，當(dāng)前的ML軟件庫在處理AutoML組件之間的動態(tài)交互方面非常有限斤彼。例如，像ENAS和DARTS這樣的高效nas算法通常需要在搜索空間和搜索算法（AutoML中的兩個關(guān)鍵組件）之間實現(xiàn)耦合蘸泻。此外琉苇，實現(xiàn)復(fù)雜的搜索流（例如在搜索硬件配置的循環(huán)中搜索架構(gòu)）是困難的≡檬總之并扇，更改當(dāng)前ML庫中的搜索空間、搜索算法或搜索流通常需要對程序邏輯進(jìn)行重大更改抡诞。本文介紹了一種基于符號編程的AutoML編程方法穷蛹。在這種范式下，ML程序是可變的昼汗，因此可以很容易地被另一個程序操縱肴熏。因此，AutoML可以重新格式化為一個符號操作的自動化過程顷窒。利用這個公式蛙吏，我們將搜索算法的三角形、搜索空間和子程序解耦鞋吉。這種解耦使得更改搜索空間和搜索算法（不使用和使用權(quán)重共享）變得容易鸦做，還可以向現(xiàn)有代碼中添加搜索功能并實現(xiàn)復(fù)雜的搜索流。然后我們介紹PyGlove谓着，一個新的Python庫來實現(xiàn)這個范例泼诱。通過對ImageNet和NAS-Bench-101的實例研究，我們表明赊锚，pyglool用戶可以很容易地將靜態(tài)程序轉(zhuǎn)換為搜索空間治筒，快速迭代搜索空間和搜索算法，并通過復(fù)雜的搜索流來獲得更好的結(jié)果
4.Evolving Reinforcement Learning Algorithms
https://arxiv.org/abs/2101.03958
提出了一種元學(xué)習(xí)強(qiáng)化學(xué)習(xí)算法舷蒲，該算法通過搜索計算圖空間來計算基于值的無模型RL代理的損失函數(shù)進(jìn)行優(yōu)化矢炼。所學(xué)習(xí)的算法是領(lǐng)域不可知的，并且可以推廣到訓(xùn)練過程中沒有見過的新環(huán)境阿纤。我們的方法既可以從零開始學(xué)習(xí)句灌，也可以從已知的現(xiàn)有算法（如DQN）上自舉，實現(xiàn)可解釋的修改，從而提高性能胰锌。該方法從簡單的經(jīng)典控制和gridworld任務(wù)中學(xué)習(xí)骗绕，重新發(fā)現(xiàn)了時差（TD）算法。在DQN的引導(dǎo)下资昧，我們重點(diǎn)介紹了兩種學(xué)習(xí)算法酬土，它們比其他經(jīng)典的控制任務(wù)、gridworld類型任務(wù)和Atari游戲具有更好的泛化性能格带。對學(xué)習(xí)算法行為的分析表明撤缴，與最近提出的RL算法類似，后者解決了基于值的方法中的高估問題
5.AutoDropout: Learning Dropout Patterns to Regularize Deep Networks
https://arxiv.org/abs/2101.01761
神經(jīng)網(wǎng)絡(luò)往往參數(shù)化過度叽唱，因此受益于積極的正則化屈呕。傳統(tǒng)的正則化方法，如退出或重量衰減棺亭，不利用網(wǎng)絡(luò)的輸入和隱藏狀態(tài)的結(jié)構(gòu)虎眨。結(jié)果，這些傳統(tǒng)方法不如利用結(jié)構(gòu)的方法有效镶摘，例如SpatialDropout和DropBlock嗽桩，后者在隱藏狀態(tài)中隨機(jī)丟棄某些連續(xù)區(qū)域的值并將其設(shè)置為零。雖然脫落區(qū)域的位置是隨機(jī)的凄敢，但是空間脫落和脫落塊的模式是手工設(shè)計和固定的碌冶。在這里，我們建議學(xué)習(xí)輟學(xué)模式涝缝。在我們的方法中种樱，控制器學(xué)習(xí)在目標(biāo)網(wǎng)絡(luò)的每一個通道和層（如ConvNet或Transformer）生成一個dropout模式。然后俊卤，利用丟包模式對目標(biāo)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并將其驗證性能作為控制器學(xué)習(xí)的信號害幅。實驗結(jié)果表明消恍，該方法不僅適用于CIFAR-10和ImageNet上的圖像識別，而且適用于Penn樹庫和WikiText-2上的語言建模以现。學(xué)習(xí)到的輟學(xué)模式也會轉(zhuǎn)移到不同的任務(wù)和數(shù)據(jù)集狠怨，例如從賓州樹狀銀行的語言模型到WMT 2014的英法翻譯。我們的代碼將可用
6.Pre-Training Transformers as Energy-Based Cloze Models
https://arxiv.org/abs/2012.08561
我們介紹了Electric邑遏，一個基于能量的完形填空模型佣赖，用于文本表征學(xué)習(xí)。和BERT一樣记盒，它是一個給定上下文的條件生成模型憎蛤。但是，Electric不使用掩蔽或輸出上下文中可能出現(xiàn)的令牌的完整分布。相反俩檬，它為每個輸入標(biāo)記分配一個標(biāo)量能量分?jǐn)?shù)萎胰，以指示給定上下文的可能性。我們使用一種基于噪聲對比估計的算法來訓(xùn)練電力系統(tǒng)棚辽，并闡明了這種學(xué)習(xí)目標(biāo)與最近提出的ELECTRA預(yù)訓(xùn)練方法的密切關(guān)系技竟。Electric在轉(zhuǎn)移到下游任務(wù)時表現(xiàn)良好，在生成文本的可能性分?jǐn)?shù)方面特別有效：它對語音識別n-best列表進(jìn)行重新排序屈藐，比語言模型更好榔组，比蒙面語言模型快得多。此外联逻，它提供了一個更清晰和更具原則性的觀點(diǎn)搓扯，伊萊克特拉在訓(xùn)練前學(xué)習(xí)
7.Simple Copy-Paste is a Strong Data Augmentation Method for Instance Segmentation
https://arxiv.org/abs/2012.07177
在計算機(jī)視覺中，建立數(shù)據(jù)高效且能處理稀有對象類別的實例分割模型是一個重要的挑戰(zhàn)遣妥。利用數(shù)據(jù)擴(kuò)充是解決這一挑戰(zhàn)的一個有希望的方向擅编。在這里，我們對復(fù)制粘貼增強(qiáng)（[13箫踩，12]）進(jìn)行了系統(tǒng)的研究爱态，例如我們將對象隨機(jī)粘貼到圖像上的分割。以往對復(fù)制粘貼的研究依賴于對周圍的視覺環(huán)境進(jìn)行建模來粘貼對象境钟。然而锦担，我們發(fā)現(xiàn)隨機(jī)粘貼對象的簡單機(jī)制已經(jīng)足夠好了，可以在強(qiáng)基線的基礎(chǔ)上提供可靠的增益慨削。此外洞渔，我們還證明了復(fù)制粘貼與半監(jiān)督方法是相加的，半監(jiān)督方法通過偽標(biāo)記（如自訓(xùn)練）利用額外的數(shù)據(jù)缚态。在COCO實例分割方面磁椒，我們實現(xiàn)了49.1的mask-AP和57.3的box-AP，比現(xiàn)有技術(shù)提高了+0.6的mask-AP和+1.5的box-AP玫芦。我們進(jìn)一步證明了復(fù)制粘貼可以顯著改進(jìn)LVIS基準(zhǔn)浆熔。我們的基準(zhǔn)模型在稀有類別上的表現(xiàn)優(yōu)于LVIS 2020挑戰(zhàn)賽獲獎項目+3.6。
8.Towards Domain-Agnostic Contrastive Learning
https://arxiv.org/abs/2011.04419
盡管最近取得了成功桥帆，但大多數(shù)對比自監(jiān)督學(xué)習(xí)方法都是針對特定領(lǐng)域的医增，嚴(yán)重依賴于需要特定領(lǐng)域知識的數(shù)據(jù)增強(qiáng)技術(shù)，如圖像裁剪和旋轉(zhuǎn)老虫。為了克服這種局限性叶骨，我們提出了一種新的領(lǐng)域不可知的對比學(xué)習(xí)方法DACL，該方法適用于不易獲得不變性和數(shù)據(jù)增強(qiáng)技術(shù)的領(lǐng)域祈匙。我們的方法的關(guān)鍵是使用混合噪聲忽刽，通過在輸入或隱藏狀態(tài)級別不同地混合數(shù)據(jù)樣本來創(chuàng)建相似和不同的示例。為了證明DACL的有效性，我們在表格數(shù)據(jù)缔恳、圖像和圖形等不同領(lǐng)域進(jìn)行了實驗宝剖。我們的研究結(jié)果表明，DACL不僅優(yōu)于其他領(lǐng)域無關(guān)的去噪方法歉甚，如高斯噪聲万细，而且與特定領(lǐng)域的方法，如SimCLR纸泄，結(jié)合起來赖钞，提高了自監(jiān)督視覺表征學(xué)習(xí)。最后聘裁，我們從理論上分析了該方法雪营，并與基于高斯噪聲的對比學(xué)習(xí)方法進(jìn)行了比較
9.Smooth Adversarial Training
https://arxiv.org/abs/2006.14536
人們普遍認(rèn)為，網(wǎng)絡(luò)不可能同時具有精確性和魯棒性衡便，獲得魯棒性意味著失去精確性献起。人們還普遍認(rèn)為，除非使網(wǎng)絡(luò)變得更大镣陕，否則網(wǎng)絡(luò)體系結(jié)構(gòu)元素對提高對抗魯棒性的作用不大谴餐。在這里，我們通過對對抗性訓(xùn)練的仔細(xì)研究呆抑，提出了挑戰(zhàn)這些共同信念的證據(jù)岂嗓。我們的關(guān)鍵觀察是，廣泛使用的ReLU激活功能由于其非平穩(wěn)性而顯著削弱對抗性訓(xùn)練鹊碍。因此厌殉，我們提出了平滑對抗訓(xùn)練（SAT），即用ReLU的平滑逼近代替ReLU來加強(qiáng)對抗訓(xùn)練侈咕。SAT中平滑激活函數(shù)的目的是讓它在對抗性訓(xùn)練中找到更難的對抗性例子并計算出更好的梯度更新公罕。與標(biāo)準(zhǔn)對抗訓(xùn)練相比，SAT提高了“免費(fèi)”的對抗魯棒性耀销，即準(zhǔn)確度不下降楼眷，計算量不增加。例如树姨，在不引入額外計算的情況下，SAT顯著地將ResNet-50的健壯性從33.0%提高到42.3%桥状，同時還將ImageNet的精確度提高了0.9%帽揪。SAT也適用于更大的網(wǎng)絡(luò)：它有助于EfficientNet-L1在ImageNet上實現(xiàn)82.2%的準(zhǔn)確率和58.6%的健壯性，在準(zhǔn)確率和健壯性方面比以前最先進(jìn)的防御系統(tǒng)高出9.5%和11.6%辅斟。
10.Rethinking Pre-training and Self-training
11.AutoHAS: Efficient Hyperparameter and Architecture Search
高效的超參數(shù)或體系結(jié)構(gòu)搜索方法已經(jīng)取得了顯著的效果转晰，但每種方法都只適用于超參數(shù)或體系結(jié)構(gòu)的搜索。在這項工作中，我們提出了一個統(tǒng)一的管道AutoHAS查邢，以有效地搜索體系結(jié)構(gòu)和超參數(shù)蔗崎。AutoHAS學(xué)習(xí)交替更新共享網(wǎng)絡(luò)權(quán)值和一個強(qiáng)化學(xué)習(xí)（RL）控制器，后者學(xué)習(xí)候選體系結(jié)構(gòu)和候選HP的概率分布扰藕。引入一個臨時權(quán)重來存儲（由控制器）從所選HPs更新的權(quán)重缓苛，并且基于該臨時權(quán)重的驗證精度作為更新控制器的獎勵。在實驗中邓深，我們證明了AutoHAS是有效的未桥，并且可以推廣到不同的搜索空間、基線和數(shù)據(jù)集芥备。尤其是冬耿，AutoHAS可以在CIFAR-10/100、ImageNet和其他四個數(shù)據(jù)集上提高對流行網(wǎng)絡(luò)體系結(jié)構(gòu)（如ResNet和EfficientNet）的準(zhǔn)確性萌壳。
12.Funnel-Transformer: Filtering out Sequential Redundancy for Efficient Language Processing
隨著語言預(yù)訓(xùn)練的成功亦镶，開發(fā)更高效、可擴(kuò)展性更好的體系結(jié)構(gòu)袱瓮，以更低的成本利用豐富的未標(biāo)記數(shù)據(jù)成為一個迫切需要缤骨。為了提高效率，我們檢查了在維護(hù)一個完整的令牌級表示時被忽略的冗余懂讯，特別是對于只需要序列的單個向量表示的任務(wù)荷憋。基于這種直覺褐望，我們提出了漏斗變壓器勒庄，它將隱藏狀態(tài)序列逐漸壓縮為較短的狀態(tài)序列，從而降低了計算成本瘫里。更重要的是实蔽，通過重新投資從長度縮減節(jié)省下來的FLOPs來構(gòu)建更深或更寬的模型，我們進(jìn)一步提高了模型的容量谨读。此外局装，為了按照公共預(yù)訓(xùn)練目標(biāo)的要求執(zhí)行令牌級預(yù)測，漏斗變換器能夠通過解碼器從減少的隱藏序列中恢復(fù)每個令牌的深度表示劳殖。從經(jīng)驗上看铐尚，如果失敗次數(shù)相當(dāng)或更少，漏斗變換器在各種各樣的序列級預(yù)測任務(wù)（包括文本分類哆姻、語言理解和閱讀理解）上都優(yōu)于標(biāo)準(zhǔn)變換器宣增。代碼和預(yù)先訓(xùn)練的檢查點(diǎn)在https://github.com/laiguokun/Funnel-Transformer
