愛可可老師7月至9月的推薦(2021.10.12整理)——MLPs與Vision Transformer主干架構(gòu)專題量没，時間從近（9月）至遠（7月）

PoNet: Pooling Network for Efficient Token Mixing in Long Sequences

PoNet：基于池化網(wǎng)絡的長序列高效Token混合

https://hub.fastgit.org/lxchtan/PoNet

UFO-ViT: High Performance Linear Vision Transformer without Softmax

UFO-ViT：免Softmax高性能線性視覺Transformer

J Song

[Kakao Enterprise]

Predicting Attention Sparsity in Transformers

M Treviso, A Góis, P Fernandes, E Fonseca, A F. T. Martins

[Instituto de Telecomunica??es]

Transformer注意力稀疏度預測阔蛉。Transformer結(jié)構(gòu)的一個瓶頸御滩，是其相對于輸入序列的二次復雜度时迫，這催生了大量關(guān)于softmax有效稀疏近似的工作。entmax transformer使用的另一種方法，是內(nèi)置精確的稀疏注意；但是這種方法仍然需要四次的計算寞秃。本文提出Sparsefinder，一個簡單模型单芜，在計算entmax注意力之前，訓練它來識別稀疏模式犁柜。在兩個任務上實驗了該方法的三個變體洲鸠，即基于距離、量化和聚類的方法：機器翻譯(解碼器中的注意力)和掩碼語言建模(僅編碼器)馋缅。該工作為研究模型效率提供了一個新的角度扒腕，即對預測注意力圖的稀疏性和召回率之間的權(quán)衡做了廣泛的分析。允許在不同的模型之間進行詳細的比較萤悴，并可能指導未來稀疏模型的基準瘾腰。

Transformers Generalize Linearly

Transformer的線性泛化(結(jié)構(gòu)性泛化)

J Petty, R Frank

Do Long-Range Language Models Actually Use Long-Range Context?

長程語言模型真的有用長程上下文嗎？

S Sun, K Krishna, A Mattarella-Micke, M Iyyer

[University of Massachusetts Amherst & Intuit AI]

https://weibo.com/1402400261/Kzi2bkkn9

Sparse MLP for Image Recognition: Is Self-Attention Really Necessary?

C Tang, Y Zhao, G Wang, C Luo, W Xie, W Zeng

[Microsoft Research Asia & University of Science and Technology of China]

稀疏MLP圖像識別：自注意力真有必要嗎覆履？Transformer在計算機視覺領(lǐng)域的應用正在大規(guī)模興起蹋盆。本文探討了Transformer中的核心自注意力模塊是否是在圖像識別中取得優(yōu)異表現(xiàn)的關(guān)鍵费薄。為此，在現(xiàn)有的基于MLP的視覺模型基礎(chǔ)上建立了一個無注意力的網(wǎng)絡sMLPNet栖雾。用一種新的稀疏MLP(sMLP)模塊取代了token混合步驟中的MLP模塊楞抡。對于2D圖像token，sMLP沿軸向應用一維MLP析藕，參數(shù)在行或列之間共享召廷。通過稀疏連接和權(quán)重共享，sMLP模塊避免了傳統(tǒng)MLP的二次模型大小和二次計算復雜性账胧，大大減少了模型參數(shù)數(shù)量和計算復雜性竞慢，避免了困擾類MLP模型性能的常見過擬合問題。當只在ImageNet-1K數(shù)據(jù)集上訓練時治泥，所提出的sMLPNet僅用24M的參數(shù)就達到了81.9%的top-1準確率筹煮，在相同的模型規(guī)模約束下，比大多數(shù)CNN和視覺Transformer要好得多车摄。當擴展到66M參數(shù)時寺谤，sMLPNet達到了83.4%的最高準確率，這與最先進的Swin Transformer相當吮播。sMLPNet的成功表明变屁，自注意力機制不一定是計算機視覺中的銀彈。代碼將被公開提供意狠。

Sparse-MLP: A Fully-MLP Architecture with Conditional Computation

Y Lou, F Xue, Z Zheng, Y You

[National University of Singapore]

Sparse-MLP：條件計算全MLP架構(gòu)粟关。稀疏條件計算混合專家模型(MoE)已被證明是一種有效的架構(gòu)，可以在計算成本相當?shù)那闆r下將基于注意力的模型擴展到更多的參數(shù)环戈。本文提出Sparse-MLP闷板，用稀疏MoE層擴展最近的MLP-Mixer模型，以實現(xiàn)更高效的計算架構(gòu)院塞。將MLP-Mixer模型中的密集MLP塊的一個子集替換為稀疏塊遮晚。在每個稀疏塊中，應用兩級MoE層：一級是MLP專家沿圖塊維度混合通道內(nèi)的信息拦止，一級是MLP專家沿通道維度混合圖塊內(nèi)的信息县遣。此外，為減少路由計算成本并提高專家能力汹族，在每個稀疏塊中設(shè)計了Re-represent層萧求。這些層是通過兩個簡單而有效的線性變換來重新擴展圖像的表示。當用MoCo v3算法對ImageNet-1k進行預訓練時顶瞒，該模型在ImageNet Top-1的準確率上比密集MLP模型高出2.5%夸政，而參數(shù)和計算成本更低。在小規(guī)模的下游圖像分類任務上榴徐，即Cifar10和Cifar100守问，稀疏MLP仍然可以取得比基線更好的性能匀归。

ConvMLP: Hierarchical Convolutional MLPs for Vision

https://hub.fastgit.org/SHI-Labs/Convolutional-MLPs

J Li, A Hassani, S Walton, H Shi

[University of Oregon]

ConvMLP：視覺分層卷積MLP±业猓基于MLP的架構(gòu)由一連串多層感知器塊組成朋譬，最近被發(fā)現(xiàn)可達到與卷積和基于Transformer的方法相當?shù)慕Y(jié)果。然而兴垦，大多數(shù)采用的是空間MLP徙赢，接受固定維度的輸入，因此很難將其應用于下游任務探越，如目標檢測和語義分割狡赐。此外，單級設(shè)計進一步限制了其他計算機視覺任務的性能钦幔，而且全連接層的計算量很大枕屉。為解決這些問題，本文提出ConvMLP：面向視覺識別的分層卷積MLP鲤氢，輕量搀擂、分階段、共同設(shè)計的卷積層和MLP卷玉。ConvMLPS在ImageNet-1k上以9M的參數(shù)和2.4G的MACs達到了76.8%的最高精度(MLPMixer-B/16分別是15%和19%）哨颂。關(guān)于目標檢測和語義分割的實驗進一步表明，通過ConvMLP學習的視覺表示可以被無縫遷移相种，并以較少的參數(shù)取得有競爭力的結(jié)果威恼。

PermuteFormer: Efficient Relative Position Encoding for Long Sequences

https://hub.fastgit.org/cpcp1998/PermuteFormer

P Chen

[Peking University]

PermuteFormer: 長序列高效相對位置編碼。Transformer的一個最新變種Performer寝并，通過線性注意力機制將Transformer擴展到長序列箫措，但與相對位置編碼不兼容，而相對位置編碼比絕對位置編碼有優(yōu)勢衬潦。本文中討論了為Performer增加相對位置編碼的可能方法斤蔓。在分析的基礎(chǔ)上，提出了PermuteFormer镀岛，一種基于Performer的相對位置編碼模型弦牡，在長序列上可線性擴展。PermuteFormer在查詢和鍵上應用位置相關(guān)轉(zhuǎn)換哎媚，將位置信息編碼到注意力模塊喇伯。這種轉(zhuǎn)換是經(jīng)過精心設(shè)計的喊儡，因此自注意力的最終輸出不會受到token絕對位置的影響拨与。PermuteFormer通過設(shè)計引入了可忽略不計的計算開銷，運行速度與Performer一樣快艾猜。在Long-Range Arena(一個長序列數(shù)據(jù)集)和WikiText-103(一個語言建模數(shù)據(jù)集)上評估了PermuteFormer买喧。實驗表明捻悯，PermuteFormer在幾乎沒有計算開銷的情況下普遍提高了Performer的性能，并在大多數(shù)任務上優(yōu)于vanilla Transformer淤毛。

Exploring and Improving Mobile Level Vision Transformers

移動級視覺Transformer的探索和改進

Searching for Efficient Multi-Stage Vision Transformers

Y Liao, S Karaman, V Sze

[MIT]

高效多階段視覺Transformer探索今缚。視覺Transformer(ViT)證明了用于自然語言處理的Transformer可以應用到計算機視覺任務中，并產(chǎn)生與卷積神經(jīng)網(wǎng)絡(CNN)相當?shù)男阅艿偷笳咴谟嬎銠C視覺中已經(jīng)被研究和采用多年了姓言。這自然提出了一個問題：如何利用CNN的設(shè)計技術(shù)提高ViT的性能。為此蔗蹋，本文提出將CNN的兩種設(shè)計技術(shù)何荚，即空間縮減和NAS，融入到ViT中猪杭，并提出了ViT-ResNAS餐塘，用神經(jīng)架構(gòu)搜索(NAS)設(shè)計的高效多階段ViT架構(gòu)。提出了殘差空間縮減皂吮，以減少較深層的序列長度戒傻，利用多階段架構(gòu)。減少長度時蜂筹，增加了跳接(skip connection)需纳，以提高性能并穩(wěn)定訓練更深的網(wǎng)絡。提出了具有多架構(gòu)采樣的分權(quán)NAS狂票。放大一個網(wǎng)絡并利用其子網(wǎng)絡來定義一個搜索空間候齿。然后訓練一個覆蓋所有子網(wǎng)絡的超級網(wǎng)絡，以快速評估其性能闺属。為有效地訓練超級網(wǎng)絡慌盯，提出用一個前向-后向通道對多個子網(wǎng)絡進行采樣和訓練。通過進化搜索來發(fā)現(xiàn)高性能的網(wǎng)絡結(jié)構(gòu)掂器。在ImageNet上的實驗表明亚皂，ViT-ResNAS比原來的DeiT和ViT的其他強基線實現(xiàn)了更好的精度-MAC和精度-吞吐量折衷。

∞-former: Infinite Memory Transformer

P H Martins, Z Marinho, A F. T. Martins

[Instituto de Telecomunica??es & DeepMind]

∞-former：無限記憶Transformer国瓮。Transformer在處理長上下文時很吃力灭必，因為計算量隨著上下文長度的增加而增加，不能有效模擬長期記憶乃摹。為緩解該問題禁漓，已經(jīng)提出了幾種變體，但它們都是有限的記憶容量孵睬，被迫放棄舊的信息播歼。本文提出∞-former，它擴展了具有無界長期記憶的vanilla transformer掰读。通過利用連續(xù)空間注意力機制來關(guān)注長期記憶秘狞，∞-former的注意力復雜性變得與上下文長度無關(guān)叭莫。因此，能夠模擬任意長的上下文并保持"粘性記憶"烁试，同時保持一個固定的計算量雇初。在一個合成分類任務上的實驗證明了∞-former保留長序列信息的能力。進行了語言建模的實驗减响，通過從頭開始訓練一個模型和微調(diào)一個預訓練語言模型靖诗，顯示了無界長期記憶的好處。

Hire-MLP: Vision MLP via Hierarchical Rearrangement

J Guo, Y Tang, K Han, X Chen, H Wu, C Xu, C Xu, Y Wang

[Huawei Technologies & Peking University & University of Sydney]

Hire-MLP：基于分層重排的視覺MLP支示。本文提出Hire-MLP呻畸，一個簡單而有競爭力的基于分層重排的視覺MLP架構(gòu)。之前的視覺MLP悼院，如MLP-Mixer伤为，對于各種尺寸的圖像來說并不靈活，而且通過扁平化的token捕捉空間信息的效率很低据途。Hire-MLP對現(xiàn)有基于MLP的模型進行了創(chuàng)新绞愚，提出了分層重排的想法，以聚合局部和全局的空間信息颖医，同時對下游任務具有通用性位衩。內(nèi)部區(qū)域重排的設(shè)計是為了捕捉空間區(qū)域內(nèi)的局部信息。為了實現(xiàn)不同區(qū)域之間的信息交流并獲取全局信息熔萧，提出了跨區(qū)域重排糖驴，以沿空間方向循環(huán)移動所有token。所提出的HireMLP架構(gòu)是由簡單的通道混合MLP和重排操作構(gòu)建的佛致，具有很高的靈活性和推理速度贮缕。實驗表明，Hire-MLP在ImageNet-1K基準上取得了最先進的性能俺榆，在ImageNet上達到了83.4%的最高精度感昼，超過了之前基于Transformer和基于MLP的模型，在準確率和吞吐量之間有更好的權(quán)衡罐脊。

The Devil is in the Detail: Simple Tricks Improve Systematic Generalization of Transformers

R Csordás, K Irie, J Schmidhuber

[The Swiss AI Lab IDSIA]

魔鬼在細節(jié)：提高Transformer系統(tǒng)泛化能力的簡單技巧定嗓。最近，很多數(shù)據(jù)集被提出以測試神經(jīng)網(wǎng)絡的系統(tǒng)泛化能力萍桌。與之對應的基線Transformer宵溅，通常是用標準任務中的默認超參數(shù)進行訓練的，被證明是非常失敗的上炎。本文證明通過改進模型配置恃逻，如嵌入的尺度、早期停止、相對位置嵌入和通用Transformer變體等基本配置辛块，可以極大提高Transformer在系統(tǒng)泛化方面的性能。報告了對五個流行數(shù)據(jù)集的改進铅碍。SCAN润绵、CFQ、PCFG胞谈、COGS和數(shù)學數(shù)據(jù)集尘盼。所提出模型在PCFG分割上將準確率從50%提高到85%，在COGS上從35%提高到81%烦绳。在SCAN上卿捎，相對位置嵌入在很大程度上緩解了EOS決策問題，在長度分割上達到了100%的精度径密。這些模型之間的性能差異通常在IID數(shù)據(jù)分割上是看不見的午阵，需要適當?shù)姆夯炞C集來開發(fā)系統(tǒng)性泛化的神經(jīng)網(wǎng)絡。

Do Transformer Modifications Transfer Across Implementations and Applications?

S Narang, H W Chung, Y Tay, W Fedus, T Fevry, M Matena, K Malkan, N Fiedel, N Shazeer, Z Lan, Y Zhou, W Li, N Ding, J Marcus, A Roberts, C Raffel

[Google Research]

Transformer的修改能否在不同的實現(xiàn)和應用間遷移享扔？自Transformer架構(gòu)在三年前推出以來底桂，研究界已經(jīng)提出了大量的修改意見，但其中相對較少的修改意見得到了廣泛的采用惧眠。本文在一個涵蓋自然語言處理中Transformer大多數(shù)常見用途的共享實驗環(huán)境中籽懦，全面評估了這些修改。令人驚訝的是氛魁，大多數(shù)修改都不能有意義地提高性能暮顺。大多數(shù)Transformer變體都是基于同一套代碼開發(fā)的，或者只有相對較小的改動秀存。猜測性能的提高可能在很大程度上取決于實現(xiàn)細節(jié)捶码，相應地提出一些建議，以提高實驗結(jié)果的通用性或链。

Smart Bird: Learnable Sparse Attention for Efficient and Effective Transformer

C Wu, F Wu, T Qi, Y Huang

[Tsinghua University & Microsoft Research Asia]

Smart Bird：基于可學習稀疏注意力的高效高性能Transformer宙项。Transformer在NLP中取得了巨大的成功。然而株扛，Transformer中自注意力機制的二次方復雜性使其在處理長序列時效率低下尤筐。許多現(xiàn)有的工作探索通過計算稀疏自注意力而不是密集自注意力來加速Transformer，通常關(guān)注某些位置的token或隨機選擇的token洞就。然而盆繁，手動選擇的或隨機的標記，對上下文建模來說可能是信息不足的旬蟋。本文提出Smart Bird油昂，一種具有可學習稀疏注意力的高效Transformer，可智能地關(guān)注重要的token對。先用一個單頭低維Transformer計算出一個粗略的注意力矩陣冕碟，其目的是找到token之間潛在的重要交互拦惋，根據(jù)從粗略注意力矩陣中得出的概率分數(shù)對token進行采樣，為不同的注意力頭生成不同的稀疏注意力指數(shù)矩陣安寺，根據(jù)索引矩陣選擇token嵌入厕妖，以形成稀疏注意力網(wǎng)絡的輸入。Smart Bird可有效降低Transformer的計算復雜度挑庶，同時可以識別token間的重要交互言秸，更準確地捕捉上下文信息。在6個不同任務的基準數(shù)據(jù)集上進行的大量實驗迎捺，驗證了Smart Bird在文本建模中的效率和效果举畸。

SHAQ: Single Headed Attention with Quasi-Recurrence

SHAQ：準遞歸單頭注意力

N Bharwani, W Kushner, S Dandona, B Schreiber

[Georgia Institute of Technology]

Global Pooling, More than Meets the Eye: Position Information is Encoded Channel-Wise in CNNs

M A Islam, M Kowal, S Jia, K G. Derpanis, N D. B. Bruce

[Ryerson University & York University & University of Guelph & Toronto AI Lab]

CNN中的每通道位置信息編碼。本文挑戰(zhàn)一個常見假設(shè)凳枝，即通過全局池化將卷積神經(jīng)網(wǎng)絡(CNN)中的3D(空間通道)張量的空間維度壓縮成一個矢量抄沮，會消除所有空間信息。證明了位置信息是根據(jù)通道維度排序來編碼的岖瑰，而語義信息基本上沒有合是。通過將這些發(fā)現(xiàn)應用到兩個應用中，展示了其在現(xiàn)實世界中的影響锭环。提出了一個簡單而有效的數(shù)據(jù)增強策略和損失函數(shù)聪全，以提高CNN輸出的轉(zhuǎn)換不變性。提出了一種方法來有效地確定潛表示中的哪些通道負責（i）編碼整體位置信息 或（ii）特定區(qū)域的位置辅辩。語義分割在很大程度上依賴于整體位置通道進行預測难礼。有可能進行 "特定區(qū)域 "攻擊，并降低網(wǎng)絡在輸入的特定部分的性能玫锋。

Adaptive Multi-Resolution Attention with Linear Complexity

線性復雜度自適應多分辨率注意力

Mobile-Former: Bridging MobileNet and Transformer

Y Chen, X Dai, D Chen, M Liu, X Dong, L Yuan, Z Liu

[Microsoft & University of Science and Technology of China]

Mobile-Former：MobileNet和Transformer的橋接并行設(shè)計蛾茉。本文提出Mobile-Former，MobileNet和Transformer帶有雙向通道的并行設(shè)計撩鹿。這種結(jié)構(gòu)充分利用了MobileNet在局部處理和Transformer在全局交互方面的優(yōu)勢谦炬。通道實現(xiàn)了局部和全局特征的雙向融合。與最近關(guān)于視覺Transformer的工作不同节沦，Mobile-Former中的Transformer包含很少的Token(例如键思，少于6個Token)，這些Token是隨機初始化的甫贯，因此計算成本很低吼鳞。結(jié)合所提出的輕量交叉注意力建立通道模型，Mobile-Former不僅計算效率高叫搁，而且有更多的表示能力赔桌，在ImageNet分類上供炎，在25M到500M FLOPs的低FLOP設(shè)置下，超過了MobileNetV3疾党。例如音诫，在294M FLOPs時，它達到了77.9%的最高準確率雪位，比MobileNetV3提高了1.3%竭钝，但節(jié)省了17%的計算量。當遷移到目標檢測時茧泪，Mobile-Former比MobileNetV3高出8.6AP。

RaftMLP: Do MLP-based Models Dream of Winning Over Computer Vision?

RaftMLP：面向計算機視覺的改進MLP模型

PSViT: Better Vision Transformer via Token Pooling and Attention Sharing

B Chen, P Li, B Li, C Li, L Bai, C Lin, M Sun, J Yan, W Ouyang

[The University of Sydney & BAIDU USA LLC & SenseTime Group Limited & University of Oxford]

PSViT：基于Token池化和注意力共享的更好視覺Transformer聋袋。本文觀察到在應用視覺Transformer(ViT)進行圖像識別時队伟，存在兩個層次的冗余。首先幽勒，在整個網(wǎng)絡中固定Token數(shù)量會在空間層面產(chǎn)生冗余的特征嗜侮。第二，不同Transformer層之間的注意力圖是冗余的啥容⌒饪牛基于上述觀察，本文提出PSViT：一種基于Token池化和注意力共享的ViT咪惠，以減少冗余击吱，有效提高特征表示能力，并實現(xiàn)更好的速度-精度權(quán)衡遥昧。在PSViT中覆醇，Token池化可以被定義為在空間層面減少token數(shù)量的操作。相鄰Transformer層之間將建立注意力共享炭臭，以重用相鄰層之間具有強關(guān)聯(lián)性的注意力圖永脓。為不同的Token池化和注意力共享機制構(gòu)建可能組合的緊湊集⌒裕基于該緊湊集常摧，每層的Token數(shù)量和分享注意力的層的選擇可以被視為超參數(shù)，從數(shù)據(jù)中自動學習威创。實驗結(jié)果表明落午，與DeiT相比，所提出的方案在ImageNet分類中可以實現(xiàn)高達6.6%的精度提升肚豺。

FMMformer: Efficient and Flexible Transformer via Decomposed Near-field and Far-field Attention

T M. Nguyen, V Suliafu, S J. Osher, L Chen, B Wang

[University of California, Los Angeles & University of Utah]

FMMformer: 基于近場和遠場注意力分解的高效靈活Transformer板甘。本文提出FMMformer，一種高效靈活的Transformer详炬，其靈感來自于用于加速相互作用粒子仿真的快速多極方法(FMM)盐类。FMM將粒子與粒子的相互作用分解為近場和遠場部分寞奸，然后分別進行直接計算和粗粒度計算。同樣在跳，F(xiàn)MMformers將注意力分解為近場注意力和遠場注意力枪萄，用帶狀矩陣對近場注意力進行建模，用低秩矩陣對遠場注意力進行建模猫妙。計算FMMformers的注意力矩陣需要在計算時間和內(nèi)存占用方面與序列長度呈線性復雜關(guān)系瓷翻。相比之下，標準Transformer的復雜度是二次的割坠。分析并驗證了FMMformers在Long Range Arena和語言建钠胫悖基準上相比標準Transformer的優(yōu)勢。FMMformers甚至可以在精度方面大大超過標準Transformer彼哼。例如对妄，F(xiàn)MMformers在五個Long Range Arena任務中取得了60.74%的平均分類準確率，這明顯優(yōu)于標準Transformer的58.70%的平均準確率敢朱。

Vision Transformer with Progressive Sampling

https://hub.fastgit.org/yuexy/PS-ViT

（ICCV2021）

X Yue, S Sun, Z Kuang, M Wei, P Torr, W Zhang, D Lin

[Centre for Perceptual and Interactive Intelligence & University of Oxford & SenseTime Research & Tsinghua University]

漸進采樣視覺Transformer剪菱。最近，具有強大全局關(guān)系建模能力的Transformer拴签，已經(jīng)被引入到基本計算機視覺任務中孝常。作為一個典型例子，視覺Transformer(ViT)直接將純Transformer架構(gòu)應用于圖像分類蚓哩，通過簡單將圖像分割成具有固定長度的token构灸，用Transformer學習token之間的關(guān)系。然而岸梨，這種簡單的token化可能會破壞物體結(jié)構(gòu)冻押，將網(wǎng)格分配給不感興趣的區(qū)域，如背景盛嘿，引入干擾信號洛巢。為緩解該問題，本文提出一種迭代和漸進采樣策略次兆，以定位鑒別性區(qū)域稿茉。每次迭代中梁沧，當前采樣步驟的嵌入被送入一個Transformer編碼器層鸽素，預測一組采樣偏移量煎殷，以更新下一步采樣位置涣澡。漸進式采樣是可微的。當與視覺Transformer結(jié)合時唆姐，得到的PS-ViT網(wǎng)絡可以自適應地學習尋找的位置隔节。PS-ViT既有效又高效值纱，在ImageNet上從頭開始訓練時彪薛，PS-ViT比vanilla ViT的top-1準確率高3.8%茂装，參數(shù)少4倍怠蹂，F(xiàn)LOPs少10倍。

Evo-ViT: Slow-Fast Token Evolution for Dynamic Vision Transformer

Evo-ViT：動態(tài)視覺Transformer的慢-快Token進化

https://hub.fastgit.org/YifanXu74/Evo-ViT

S2-MLPv2: Improved Spatial-Shift MLP Architecture for Vision

T Yu, X Li, Y Cai, M Sun, P Li

[Baidu Research]

S2-MLPV2：面向視覺的改進型空間位移MLP架構(gòu)少态。最近城侧，基于MLP的視覺骨干嶄露頭角。與CNN和視覺Transformer相比彼妻，基于MLP的視覺架構(gòu)具有較小的歸納偏差嫌佑，在圖像識別方面取得了有競爭力的性能。其中侨歉，空間位移MLP(S-MLP)屋摇，采用直接的空間位移操作，取得了比包括MLP-mixer和ResMLP在內(nèi)的開創(chuàng)性工作更好的性能幽邓。最近炮温，通過采用金字塔結(jié)構(gòu)和更小的圖塊，Vision Permutator(ViP)和Global Filter Network(GFNet)取得了比S-MLP更好的性能颊艳。本文改進了S-MLP的視覺骨架茅特，沿通道維度擴展特征圖忘分，并將擴展后的特征圖分成若干部分棋枕。對分割的部分進行不同的空間位移操作。利用分割-注意力操作來融合這些分割部分妒峦。同樣采用了更小圖塊重斑，并使用金字塔結(jié)構(gòu)，來提高圖像識別的精度肯骇。改進的空間位移MLP視覺骨干稱為S2-MLPv2窥浪。使用55M參數(shù)的中等規(guī)模模型SMLPv2-Medium在ImageNet-1K基準上使用224×224的圖像，在沒有自注意力和外部訓練數(shù)據(jù)的情況下笛丙，達到了83.6%的最高精確度漾脂。

Go Wider Instead of Deeper

F Xue, Z Shi, F Wei, Y Lou, Y Liu, Y You

[National University of Singapore]

更寬而不是更深。Transformer最近在各種任務上取得了令人印象深刻的結(jié)果胚鸯。為進一步提高Transformer的有效性和效率骨稿，現(xiàn)有工作主要是兩種思路：(1)通過擴展到更多的可訓練參數(shù)來擴大范圍；(2)通過參數(shù)共享或模型壓縮以及深度來縮小范圍姜钳。然而坦冠，當可用于訓練的標記較少時，較大的模型通常不能很好地擴展哥桥，而且當模型非常大時辙浑，需要先進的并行機制。由于表示力的損失拟糕，較小的模型與原始的Transformer模型相比判呕，通常取得較差的性能倦踢。為了用更少的可訓練參數(shù)實現(xiàn)更好的性能，本文提出一個框架佛玄，通過更寬而不是更深來有效地部署可訓練參數(shù)硼一。通過用專家混合(MoE)取代前饋網(wǎng)絡(FFN)來擴展模型寬度。利用各層的規(guī)范化梦抢，在各Transformer塊之間共享MoE層般贼。這樣的部署起到了轉(zhuǎn)換各種語義表示的作用，使得模型的參數(shù)效率更高奥吩、更有效哼蛆。為了評估該框架，設(shè)計了WideNet霞赫，并在ImageNet-1K上對其進行了評估腮介。其最佳模型在0.72倍的可訓練參數(shù)下，比Vision Transformer(ViT)高出1.46%端衰。使用0.46倍和0.13倍的參數(shù)叠洗，WideNet仍然可以分別比ViT和ViT-MoE高出0.83%和2.08%。

Rethinking and Improving Relative Position Encoding for Vision Transformer

K Wu, H Peng, M Chen, J Fu, H Chao

[Sun Yat-sen University & Microsoft Research Asia]

視覺Transformer相對位置編碼的反思和改進旅东。相對位置編碼(RPE)對于Transformer來說非常重要灭抑，可以捕捉到輸入標記的序列順序。在自然語言處理中抵代，其通用有效性已被證實腾节。然而，在計算機視覺中荤牍，其有效性并沒有得到很好的研究案腺，甚至仍然存在爭議，例如康吵，相對位置編碼是否可以和絕對位置編碼一樣好用劈榨？為澄清這一點，本文首先回顧了現(xiàn)有的相對位置編碼方法晦嵌，并分析了它們在視覺Transformer應用中的優(yōu)點和缺點同辣。提出了專用于2D圖像的新的相對位置編碼方法——圖像RPE(iRPE)，該方法考慮了方向性的相對距離建模耍铜，以及查詢和相對位置嵌入在自注意力機制中的相互作用邑闺。iRPE方法是簡單和輕量的，可以很容易地插入到Transformer塊中棕兼。實驗表明陡舅，僅僅由于所提出的編碼方法，DeiT和DETR在ImageNet和COCO上分別比其原始版本獲得了高達1.5%(top-1 Acc)和1.3%(mAP)的穩(wěn)定改進伴挚，無需調(diào)整任何額外的超參數(shù)靶衍，如學習速率和權(quán)重衰減灾炭。消融和分析也產(chǎn)生了有趣的發(fā)現(xiàn)，其中一些與之前的理解相悖颅眶。

Contextual Transformer Networks for Visual Recognition

Y Li, T Yao, Y Pan, T Mei

[JD AI Research]

面向視覺識別的上下文Transformer網(wǎng)絡蜈出。基于自注意力的Transformer帶來了自然語言處理領(lǐng)域的革命涛酗，最近也激發(fā)了Transformer式架構(gòu)設(shè)計的出現(xiàn)铡原，并在許多計算機視覺任務中取得了有競爭力的結(jié)果。然而商叹，大多數(shù)現(xiàn)有設(shè)計直接采用2D特征圖上的自注意力燕刻，以獲得基于每個空間位置上孤立查詢和鍵對的注意力矩陣，但沒有充分地利用鄰近鍵之間的豐富上下文剖笙。本文設(shè)計了一種新的Transformer式模塊Contextual Transformer(CoT)卵洗，利用輸入鍵之間的上下文信息來指導自注意力的學習，用于視覺識別弥咪。該設(shè)計充分地利用了輸入鍵之間的上下文信息來指導動態(tài)注意力矩陣的學習过蹂，從而加強了視覺表示的能力。CoT塊首先通過3×3卷積對輸入鍵進行上下文編碼聚至，形成輸入的靜態(tài)上下文表示酷勺。將編碼的鍵與輸入查詢連接起來，通過兩個連續(xù)的1×1卷積來學習動態(tài)的多頭注意力矩陣晚岭。學到的注意力矩陣與輸入值相乘鸥印，以實現(xiàn)輸入的動態(tài)上下文表示勋功。靜態(tài)和動態(tài)上下文表示的融合最終作為輸出坦报。這種方式優(yōu)雅地將上下文挖掘和自注意力學習統(tǒng)一到一個架構(gòu)中，加強了視覺表示的能力狂鞋。CoT模塊可以很容易地取代ResNet架構(gòu)中的每個3×3卷積片择，產(chǎn)生一個Transformer式的骨干——Contextual Transformer Networks(CoTNet)。對廣泛的應用(如圖像識別骚揍、物體檢測和實例分割)的實驗字管，表明了CoTNet作為一個更強大的骨干網(wǎng)的優(yōu)勢。

H-Transformer-1D: Fast One-Dimensional Hierarchical Attention for Sequences

Z Zhu, R Soricut

[Google Research]

H-Transformer-1D：面向序列的快速一維層次注意力信不。本文提出一種高效的層次方法來計算Transformer架構(gòu)中的注意力嘲叔。所提出的注意機制利用了類似于數(shù)值分析領(lǐng)域?qū)哟尉仃?H-Matrix)的矩陣結(jié)構(gòu)，具有線性的運行時間和內(nèi)存復雜度抽活，與GPU和TPU上的密集線性代數(shù)庫完全兼容硫戈。廣泛的實驗表明層次注意力所體現(xiàn)的歸納偏差在捕捉自然語言和視覺任務的典型序列中的層次結(jié)構(gòu)方面是有效的。在Long Range Arena基準測試中下硕，所提出方法比其他次二次建議平均高出+6分丁逝。在One-Billion Word數(shù)據(jù)集上創(chuàng)造了新的SOTA測試困惑度汁胆，模型參數(shù)比之前最好的基于Transformer的模型少5倍。

CycleMLP: A MLP-like Architecture for Dense Prediction

S Chen, E Xie, C Ge, D Liang, P Luo

[The University of Hong Kong & SenseTime Research]

CycleMLP：類MLP密集預測架構(gòu)霜幼。本文提出一種簡單的類MLP架構(gòu)CycleMLP嫩码，視覺識別和密集預測的多功能骨干，與MLP-Mixer罪既、ResMLP和gMLP等現(xiàn)代MLP架構(gòu)不同铸题，它們的架構(gòu)與圖像大小相關(guān)，因此在目標檢測和分割中不可行琢感。與現(xiàn)代方法相比回挽，CycleMLP的主要優(yōu)勢有兩個：(1) 可以應對各種圖像尺寸 (2) 通過使用局部窗口實現(xiàn)了與圖像大小相關(guān)的線性計算復雜度。相比之下猩谊，之前的MLP由于其全空間連接而具有二次計算量千劈。本文構(gòu)建了一個超越現(xiàn)有MLP的模型族，與最先進的Swin Transformer(83.3%)相比牌捷，在ImageNet-1K分類上取得了相當?shù)臏蚀_性(83.2%)墙牌，但用到的參數(shù)和FLOPs更少。擴大了類MLP模型的適用性暗甥，使其成為密集預測任務的多功能骨干喜滨。CycleMLP旨在為MLP模型的目標檢測、實例分割和語義分割提供一個有競爭力的基線撤防。

Combiner: Full Attention Transformer with Sparse Computation Cost

H Ren, H Dai, Z Dai, M Yang, J Leskovec, D Schuurmans, B Dai

[Stanford University & Google Research]

Combiner：具有稀疏計算成本的全注意力Transformer虽风。Transformer提供了一類表現(xiàn)力強的架構(gòu)，對序列建模非常有效寄月。然而辜膝，Transformer的關(guān)鍵限制是它們相對注意力層序列長度的二次記憶量和時間復雜度O(L)，這限制了對極長序列的應用漾肮。大多數(shù)現(xiàn)有方法利用注意力矩陣中的稀疏性或低秩假設(shè)來降低成本厂抖，但犧牲了表達能力。本文提出Combiner克懊，在每個注意力頭中提供完全的注意力能力忱辅，同時保持低計算和內(nèi)存復雜度。其關(guān)鍵思想是將自注意力機制視為對每個位置的嵌入的條件期望谭溉，并用結(jié)構(gòu)因子化來近似條件分布墙懂。每個位置都可以通過直接注意力或間接注意力來注意到所有其他位置的抽象，這些抽象又是對相應局部區(qū)域嵌入的條件期望扮念。在現(xiàn)有的稀疏Transformer中使用的大多數(shù)稀疏注意力模式能夠啟發(fā)全注意力的這種因子化的設(shè)計损搬，導致同樣的次二次方成本。Combiner是現(xiàn)有Transformer中注意力層的平移替換，可以很容易地在普通框架中實現(xiàn)场躯。對自回歸和雙向序列任務的實驗評估谈为，證明了該方法的有效性，在一些圖像和文本建模任務上產(chǎn)生了最先進的結(jié)果踢关。

CMT: Convolutional Neural Networks Meet Vision Transformers

J Guo, K Han, H Wu, C Xu, Y Tang, C Xu, Y Wang

[Noah’s Ark Lab & University of Sydney]

CMT：卷積神經(jīng)網(wǎng)絡與視覺Transformer的混合架構(gòu)伞鲫。視覺Transformer已經(jīng)成功地應用于圖像識別任務，得益于其能捕捉圖像中的長程依賴關(guān)系签舞。然而秕脓，Transformer和卷積神經(jīng)網(wǎng)絡(CNN)在性能和計算成本方面仍然存在差距。本文的目標儒搭，是開發(fā)一個不僅可以超越典型的Transformer吠架，還能超越高性能卷積模型的網(wǎng)絡。提出一種新的基于Transformer的混合網(wǎng)絡搂鲫，利用Transformer來捕捉長程依賴關(guān)系傍药，用CNN來模擬局部特征。對其進行擴展魂仍，得到了一個叫CMT的模型族拐辽，與之前基于卷積和Transformer的模型相比，獲得了更好的精度和效率擦酌。特別是俱诸，CMT-S在ImageNet上達到了83.5%的最高精度，同時在FLOPs上比現(xiàn)有的DeiT和EfficientNet分別小14倍和2倍赊舶。所提出的CMT-S在CIFAR10（99.2%）睁搭、CIFAR100（91.7%）、Flowers（98.7%）和其他具有挑戰(zhàn)性的視覺數(shù)據(jù)集如COCO（44.3% mAP）上也有很好的通用性笼平，而且計算成本大大降低园骆。

Perceiver: General Perception with Iterative Attention

https://hub.fastgit.org/lucidrains/perceiver-pytorch

很多星

A Jaegle, F Gimeno, A Brock, A Zisserman, O Vinyals, J Carreira

[DeepMind]

Perceiver：基于迭代注意力的一般感知。生物系統(tǒng)通過同時處理來自視覺出吹、聽覺遇伞、觸覺辙喂、本體感覺等不同模態(tài)的高維輸入來感知世界捶牢，而深度學習使用的感知模型是為單模態(tài)設(shè)計的，通常依賴于特定領(lǐng)域的假設(shè)巍耗，如幾乎所有視覺模型所利用的局部網(wǎng)格結(jié)構(gòu)秋麸。這些先驗引入了有用的歸納偏差，但也將模型鎖定在個別模態(tài)上炬太。本文提出Perceiver——一種建立在Transformers基礎(chǔ)上的模型灸蟆，對其輸入之間的關(guān)系沒有什么架構(gòu)上的假設(shè)，但也可以像ConvNets一樣擴展到數(shù)十萬個輸入亲族，可以處理任意的傳感器配置炒考，在所有層面上實現(xiàn)信息的融合可缚。該模型利用非對稱的注意力機制，將輸入迭代提煉成一個緊密的潛在瓶頸斋枢，使其能夠擴展到處理非常大的輸入帘靡。實驗表明，該架構(gòu)在各種模式的分類任務上與強大的專門模型相競爭瓤帚，甚至超過了它們：圖像描姚、點云、音頻戈次、視頻和視頻+音頻轩勘。Perceiver通過直接處理50,000個像素，在ImageNet上獲得了與ResNet-50和ViT相當?shù)男阅芮有啊Ｋ贏udioSet的所有模式中也有競爭力绊寻。

Long-Short Transformer: Efficient Transformers for Language and Vision

https://hub.fastgit.org/lucidrains/long-short-transformer

C Zhu, W Ping, C Xiao, M Shoeybi, T Goldstein, A Anandkumar, B Catanzaro

[NVIDIA & University of Maryland]

長-短Transformer：面向語言和視覺的高效Transformer。Transformer在語言和視覺領(lǐng)域都取得了成功悬秉。然而榛斯，將它們擴展到長序列(如長文檔或高分辨率圖像)是非常昂貴的，因為相對于輸入序列的長度搂捧，自注意力機制具有二次的時間和記憶復雜度驮俗。本文中提出長短Transformer(Transformer-LS)，一種高效的自注意力機制允跑，用于語言和視覺任務的長序列建模王凑，具有線性復雜度。該方法聚集了一種新的長程注意力和一種短程注意力聋丝，前者用動態(tài)投影來模擬遠距離相關(guān)性索烹，后者用來捕捉細粒度的局部相關(guān)性。提出一種雙重歸一化(DualLN)策略弱睦，已解決這兩種注意力機制之間規(guī)模的不匹配百姓，更有效地聚合局部和全局注意力。Transformer-LS可用于自回歸和雙向模型况木，沒有額外的復雜性垒拢。該方法在語言和視覺領(lǐng)域的多個任務上都優(yōu)于最先進的模型，包括Long Range Arena benchmark火惊、自回歸語言建模和ImageNet分類求类。例如，Transformer-LS在enwik8上用比以前的方法少一半的參數(shù)實現(xiàn)了0.97的測試BPC屹耐，同時速度更快尸疆，與相同硬件上的全注意力版本相比，能夠處理3倍長的序列。在ImageNet上寿弱，可以獲得最先進的結(jié)果（例如犯眠，僅在224×224的ImageNet-1K上訓練的Top-1準確率為84.1%），同時在高分辨率圖像上更具可擴展性症革。

Rethinking Positional Encoding

J Zheng, S Ramasinghe, S Lucey

[University of Adelaide]

位置編碼的反思阔逼。基于坐標的多層感知器通過將坐標位置編碼為一系列的傅里葉特征地沮，在保留高頻信息方面受益匪淺嗜浮。到目前為止，這些位置編碼的有效性的理由只通過傅里葉的視角進行研究摩疑。本文試圖擴大這種理解危融，表明其他非傅里葉嵌入函數(shù)確實可以用于位置編碼，其性能完全由嵌入矩陣的穩(wěn)定秩和嵌入坐標間距離保持兩者的權(quán)衡決定±状現(xiàn)在無處不在的位置傅里葉特征映射是滿足這些條件的一個特例吉殃。提出了一個更普遍的理論來分析移位基函數(shù)方面的位置編碼。推導了必要的理論公式楷怒，并從經(jīng)驗上驗證了該理論主張在實踐中是成立的蛋勺。提出了一種新的位置編碼機制，在某些約束條件下鸠删，可以將任意的連續(xù)信號作為潛嵌入器抱完，使位置編碼有更多的可解釋性和更少的限制性，可用于各種計算機視覺任務刃泡。

Augmented Shortcuts for Vision Transformers

Y Tang, K Han, C Xu, A Xiao, Y Deng, C Xu, Y Wang

[Peking University & Huawei Technologies & University of Sydney]

視覺Transformer的增強捷徑巧娱。Transformer模型最近在計算機視覺任務上取得了很大的進展。視覺Transformer的快速發(fā)展主要是由于其從輸入圖像中提取信息性特征的強表示能力烘贴。然而禁添，主流的Transformer模型都是采用深度架構(gòu)設(shè)計的，隨著深度的增加桨踪，特征的多樣性會不斷減少老翘，也就是特征坍縮。本文從理論上分析了特征坍縮現(xiàn)象锻离，研究了這些Transformer模型中捷徑和特征多樣性之間的關(guān)系铺峭。提出了一個增強捷徑方案，該方案在原始捷徑上并行插入了具有可學習參數(shù)的額外路徑纳账。為節(jié)省計算成本逛薇，進一步探索了一種高效方法，用塊循環(huán)投影來實現(xiàn)增強捷徑疏虫。在基準數(shù)據(jù)集上進行的廣泛實驗證明了所提出方法的有效性，使最先進的視覺Transformer的準確度提高了1%，而沒有明顯增加它們的參數(shù)和FLOPs卧秘。

CSWin Transformer: A General Vision Transformer Backbone with Cross-Shaped Windows

CSWin Transformer：帶十字形窗口的通用視覺Transformer骨干

X Dong, J Bao, D Chen, W Zhang, N Yu, L Yuan, D Chen, B Guo

[University of Science and Technology of China & Microsoft Research Asia & Microsoft Cloud + AI]

Focal Self-attention for Local-Global Interactions in Vision Transformers

J Yang, C Li, P Zhang, X Dai, B Xiao, L Yuan, J Gao

[Microsoft Research at Redmond & Microsoft Cloud + AI]

視覺Transformer局部-全局交互焦點自注意力呢袱。最近，視覺Transformer及其變體在各種計算機視覺任務中顯示出巨大的前景翅敌。通過自注意力捕捉短程和長程視覺依賴關(guān)系的能力是成功的關(guān)鍵羞福，但同時也帶來了挑戰(zhàn)，因為需要四倍的計算開銷蚯涮，特別是對于高分辨率的視覺任務(如目標檢測)治专。最近的許多工作試圖通過應用粗粒度的全局注意力或細粒度的局部注意力來減少計算和內(nèi)存成本并提高性能。然而遭顶，這兩類方法都削弱了多層Transformer原始的自注意力機制的建模能力张峰，從而導致了次優(yōu)的解決方案。本文提出焦點式自注意力棒旗，同時包含細粒度局部和粗粒度全局的交互喘批。每個標記在細粒度上關(guān)注其周圍近處的標記，在粗粒度上關(guān)注遠處的標記铣揉，可有效地捕捉短程和長程的視覺依賴饶深。基于焦點自注意力逛拱，提出一種新的視覺Transformer模型變體敌厘，F(xiàn)ocal Transformers，在一系列公共圖像分類和物體檢測基準上取得了比最先進的視覺Transformer更高的性能朽合。

Global Filter Networks for Image Classification

Y Rao, W Zhao, Z Zhu, J Lu, J Zhou

[Tsinghua University]

面向圖像分類的全局濾波網(wǎng)絡额湘。最近，用于視覺的自注意力和純多層感知器(MLP)模型的進展顯示出巨大潛力旁舰，以較少的歸納偏差實現(xiàn)了可喜的性能锋华。這些模型通常是基于從原始數(shù)據(jù)中學習空間位置之間的相互作用。隨著圖像大小的增加箭窜，自注意力和MLP的復雜性呈四次方增長毯焕，這使得這些模型在需要高分辨率特征時難以擴大規(guī)模。本文提出全局濾波網(wǎng)絡(GFNet)磺樱，一種概念簡單但計算效率高的架構(gòu)纳猫，以對數(shù)線性的復雜度學習頻域中的長程空間依賴關(guān)系。該架構(gòu)用三個關(guān)鍵操作取代了視覺transformer中的自注意力層：二維離散傅里葉變換竹捉，頻域特征和可學習全局濾波器之間的逐元乘法芜辕，以及二維反傅里葉變換。展示了該模型在ImageNet和下游任務中有利的準確性/復雜性權(quán)衡块差。實驗結(jié)果表明侵续，GFNet在效率倔丈、泛化能力和魯棒性方面可以成為transformer式模型和CNN的一個非常有競爭力的替代方案。

AutoFormer: Searching Transformers for Visual Recognition

AutoFormer：面向視覺識別的Transformer架構(gòu)搜索