論文提出了經(jīng)典的Vision Transormer模型Swin Transformer竭贩，能夠構(gòu)建層級(jí)特征提高任務(wù)準(zhǔn)確率瑞躺，而且其計(jì)算復(fù)雜度經(jīng)過(guò)各種加速設(shè)計(jì)敷搪，能夠與輸入圖片大小成線性關(guān)系。從實(shí)驗(yàn)結(jié)果來(lái)看隘蝎，Swin Transormer在各視覺(jué)任務(wù)上都有很不錯(cuò)的準(zhǔn)確率购啄，而且性能也很高
?
來(lái)源：曉飛的算法工程筆記 公眾號(hào)
論文: Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
[圖片上傳失敗...(image-43c120-1662354220676)]
Introduction
? 長(zhǎng)期以來(lái)，計(jì)算機(jī)視覺(jué)建模一直由卷積神經(jīng)網(wǎng)絡(luò)(CNN)主導(dǎo)嘱么。從AlexNet在ImageNet中的革命性表現(xiàn)開(kāi)始狮含，通過(guò)更大的規(guī)模顽悼、更廣泛的連接以及更復(fù)雜的卷積形式逐級(jí)演變出越來(lái)越強(qiáng)大的CNN架構(gòu)。另一方面几迄，自然語(yǔ)言處理(NLP)網(wǎng)絡(luò)架構(gòu)的演變則采取了不同的路徑蔚龙，如今最流行的就是Transformer架構(gòu)。Transformer專為序列建模和轉(zhuǎn)導(dǎo)任務(wù)而設(shè)計(jì)映胁，以使用注意力來(lái)建模數(shù)據(jù)中的長(zhǎng)距離關(guān)系而著稱木羹。
? Transformer在語(yǔ)言領(lǐng)域的巨大成功促使研究人員研究其在計(jì)算機(jī)視覺(jué)的適應(yīng)性，目前也取得了很不錯(cuò)的結(jié)果解孙，特別是用于圖像分類的ViT以及用于視覺(jué)語(yǔ)言聯(lián)合建模的CLIP坑填。
? 本文作者嘗試擴(kuò)展Transformer的適用性，將其用作計(jì)算機(jī)視覺(jué)的通用主干弛姜，就像Transformer在NLP和CNN在視覺(jué)中所做的那樣脐瑰。將Transformer在語(yǔ)言領(lǐng)域的高性能表現(xiàn)轉(zhuǎn)移到視覺(jué)領(lǐng)域所面臨的主要挑戰(zhàn)，主要源自兩個(gè)領(lǐng)域之間的差異：
- 尺寸廷臼。token作為NLP Transformer中的基本元素苍在，其尺寸是固定的，對(duì)應(yīng)段落中的一個(gè)單詞荠商。但視覺(jué)目標(biāo)的尺寸可能有較大的差異寂恬，這也是如物體檢測(cè)等任務(wù)備受關(guān)注的問(wèn)題，通常需要捕獲多尺度特征來(lái)解決莱没。而在現(xiàn)有的基于Transformer的模型中初肉，token都是固定尺寸的，對(duì)應(yīng)一個(gè)單詞或固定的圖片區(qū)域郊愧，顯然不適用于當(dāng)前的視覺(jué)應(yīng)用任務(wù)朴译。
- 數(shù)量級(jí)井佑。與文本段落中的單詞數(shù)量相比属铁，圖像中的像素?cái)?shù)量要多很多。在許多如語(yǔ)義分割的視覺(jué)任務(wù)中躬翁，需要進(jìn)行像素級(jí)的密集預(yù)測(cè)焦蘑。而Transformer在高分辨率圖像上的處理是難以進(jìn)行的，因?yàn)樽宰⒁饬Φ挠?jì)算復(fù)雜度與圖像大小成二次方關(guān)系盒发。
[圖片上傳失敗...(image-b557eb-1662354220676)]
? 為了解決這些問(wèn)題例嘱，論文提出了Swin Transformer，能夠構(gòu)建層級(jí)特征圖并且計(jì)算復(fù)雜度與圖像大小成線性關(guān)系宁舰。
? 基于層級(jí)特征圖拼卵，Swin Transformer模型可以很方便地結(jié)合先進(jìn)的密集預(yù)測(cè)技術(shù)，如特征金字塔網(wǎng)絡(luò)(FPN)或U-Net蛮艰。如圖1a所示腋腮，Swin Transformer從小尺寸的圖像塊開(kāi)始，逐漸合并相鄰圖像塊來(lái)構(gòu)建層級(jí)特征。線性計(jì)算復(fù)雜度則是通過(guò)只在局部非重疊窗口（圖1a紅色區(qū)域）計(jì)算自注意力來(lái)實(shí)現(xiàn)的即寡。由于窗口大小是固定的徊哑，所以復(fù)雜度與圖像大小成線性關(guān)系。
? Swin Transformer還有一個(gè)關(guān)鍵設(shè)計(jì)元素聪富，就是在連續(xù)的同尺度self-attention層使用移位窗口分區(qū)(shifted window partition)莺丑。類似于對(duì)分組卷積的分組間通信優(yōu)化，移位窗口能夠促進(jìn)前一層的窗口之間的特征融合墩蔓，從而顯著提高建模能力梢莽。常見(jiàn)的基于滑動(dòng)窗口(sliding window)的自注意力，由于每個(gè)query對(duì)應(yīng)的key集不同奸披，所以都要單獨(dú)計(jì)算注意力矩陣然后輸出蟹漓，實(shí)現(xiàn)上很低效。而移位窗口由于僅在窗口內(nèi)進(jìn)行自注意力計(jì)算源内，同窗口內(nèi)的query對(duì)應(yīng)的key集相同葡粒，key集可在窗口內(nèi)共享，可直接單次矩陣計(jì)算同時(shí)完成全部注意力計(jì)算然后輸出膜钓，在實(shí)現(xiàn)上十分高效嗽交。
? Swin Transformer在圖像分類、目標(biāo)檢測(cè)和語(yǔ)義分割的識(shí)別任務(wù)上取得了很不錯(cuò)的結(jié)果颂斜。在速度相似的情況下夫壁，準(zhǔn)確率顯著優(yōu)于ViT/DeiT和ResNe(X)t模型。在COCO test-dev數(shù)據(jù)集上達(dá)到的58.7 box AP和51.1 mask AP沃疮，分別比SOTA高2.7和2.6盒让。在ADE20K val數(shù)據(jù)集集上獲得了 53.5 mIoU，比SOTA高3.2司蔬。在ImageNet-1K數(shù)據(jù)集上達(dá)到了87.3%的top-1準(zhǔn)確率邑茄。
Method
[圖片上傳失敗...(image-3f5347-1662354220676)]
Overall Architecture
? Swin Transformer整體架構(gòu)如圖3所示，該圖是Tiny版本Swin-T俊啼，分為以下幾個(gè)部分：
- Patch Partition：輸入圖像的處理跟ViT類似肺缕，通過(guò)patch splitting模塊將輸入的RGB圖像分割成不重疊的圖像塊，直接將每個(gè)圖像塊內(nèi)的RGB值concate起來(lái)作為一個(gè)token授帕。在實(shí)現(xiàn)時(shí)同木，每個(gè)圖像塊的大小為
，因此每個(gè)圖像塊的特征維度為
跛十。
- Linear Embedding：隨后彤路，Linear Embedding層對(duì)這個(gè)原始特征進(jìn)行處理，將其映射到指定維度大小
芥映。
- Swin Transformer block：在得到圖像塊token后洲尊，連續(xù)使用多個(gè)包含改進(jìn)自注意力的Transformer模塊(Swin Transformer block)進(jìn)行特征提取缝裤。
- Patch Merging：為了構(gòu)建層級(jí)特征，隨著網(wǎng)絡(luò)變深颊郎，通過(guò)Patch Merging層減少token的數(shù)量憋飞。第一個(gè)Patch Merging層將每個(gè)維度的
的相鄰圖像塊特征concate起來(lái)，并在得到的
維特征上使用Linear Embedding層進(jìn)行維度映射姆吭。這樣榛做，token量就減少了
的倍數(shù)(相當(dāng)于兩倍下采樣)并且映射到指定維度大小
，最后同樣使用Swin Transformer blocks進(jìn)行特征變換内狸。
? Linear Embedding與后續(xù)的Swin Transformer blocks一起稱為Stage 1检眯，token的數(shù)量為。第一個(gè)Patch Merging和Swin Transformer blocks稱為Stage 2昆淡，分辨率保持在
锰瘸。該過(guò)程重復(fù)兩次，分別為Stage 3和Stage 4昂灵，輸出分辨率分別為
和
避凝。各Stage共同構(gòu)建的層級(jí)特征，其特征分辨率與典型卷積網(wǎng)絡(luò)相同眨补，例如VGG和ResNet管削。因此，Swin Transformer架構(gòu)可以方便地替換現(xiàn)有方法中的骨干網(wǎng)絡(luò)撑螺，用于各種視覺(jué)任務(wù)含思。
-
Swin Transformer block
? Swin Transformer模塊將Transformer模塊中的多頭自注意力(MSA)替換為基于windows或shifted window的多頭自注意力，其他層保持不變甘晤。如圖3b所示含潘，對(duì)于連續(xù)的Swin Transformer模塊杂彭，前一個(gè)使用基于window的MSA模塊洲炊，后一個(gè)使用基于shifted window的MSA模塊踪宠，然后都是接一個(gè)帶GELU非線性激活的兩層MLP废离，每個(gè)MSA模塊和每個(gè)MLP都有LayerNorm(LN)層和一個(gè)殘差連接。
Shifted Window based Self-Attention
? 標(biāo)準(zhǔn)的Transformer架構(gòu)及其在圖像分類的應(yīng)用都進(jìn)行全局自注意力計(jì)算呻纹，計(jì)算每個(gè)token和所有其他token之間的關(guān)系浴鸿。全局自注意力計(jì)算的復(fù)雜度是token數(shù)量的二次方，這顯然不適用于許多需要大量token進(jìn)行密集預(yù)測(cè)或產(chǎn)生高分辨率圖像的視覺(jué)問(wèn)題居砖。
-
Self-attention in non-overlapped windows
? 為了高效計(jì)算，論文提出僅在局部窗口內(nèi)計(jì)算自注意力驴娃，各窗口以不重疊的方式均勻地劃分圖像奏候。假設(shè)每個(gè)窗口包含個(gè)圖像塊，在包含
個(gè)圖像塊的特征圖上唇敞，全局模式和窗口模式的計(jì)算復(fù)雜度分別為:
[圖片上傳失敗...(image-de536a-1662354220676)]
? 復(fù)雜度前面的部分應(yīng)該是Q蔗草、K咒彤、V和最終輸出的生成計(jì)算，后面部分是Q和K的矩陣相乘和權(quán)值與V的相乘咒精。全局模式的計(jì)算復(fù)雜度與圖像塊數(shù)量成二次方镶柱，而當(dāng)
固定時(shí)(默認(rèn)設(shè)置為7)，窗口模式的計(jì)算復(fù)雜度則是線性的模叙。所以當(dāng)
很大時(shí)歇拆，全局自注意力計(jì)算通常是難以進(jìn)行的，而基于窗口的自注意力則是可調(diào)整的范咨。
-
Shifted window partitioning in successive blocks
? 類似于分組卷積的問(wèn)題故觅，基于窗口的自注意力缺乏跨窗口的連接，限制了建模能力渠啊。為了在保持高效計(jì)算的情況下引入跨窗口連接输吏，論文提出了移位窗口分區(qū)(shifted window partitioning)方法，在連續(xù)的Swin Transformer模塊交替使用兩種不同分區(qū)邏輯替蛉。
[圖片上傳失敗...(image-592767-1662354220676)]
? 如圖2所示贯溅，第一個(gè)模塊使用從左上角像素開(kāi)始的常規(guī)窗口分區(qū)策略，將特征圖均勻地劃分為4個(gè)
(M = 4)大小的窗口躲查。然后盗迟，下一個(gè)模塊采用與前一層不同的窗口分區(qū)策略，將常規(guī)窗口移動(dòng)
個(gè)像素熙含。
? 基于移位窗口分區(qū)方法罚缕，連續(xù)的Swin Transformer模塊的計(jì)算變?yōu)椋?/p>
[圖片上傳失敗...(image-ff5586-1662354220676)]
其中和
表示
層的(S)WMSA模塊和MLP模塊的輸出特征，W-MSA和SW-MSA 分別表示使用常規(guī)窗口分區(qū)和移位窗口分區(qū)的窗口多頭自注意怎静。
? 移位窗口分區(qū)方法增加了上一層中相鄰的非重疊窗口之間的聯(lián)系邮弹，這在圖像分類、物體檢測(cè)和語(yǔ)義分割中是十分有效的蚓聘。
-
Efficient batch computation for shifted configuration
? 移位窗口分區(qū)會(huì)導(dǎo)致窗口數(shù)變多腌乡，從個(gè)窗口變?yōu)?img class="math-inline" src="https://math.jianshu.com/math?formula=(%5Clfloor%20%5Cfrac%7Bh%7D%7BM%7D%2B1%5Crfloor%2C%20%5Clfloor%20%5Cfrac%7Bw%7D%7BM%7D%2B1%5Crfloor)" alt="(\lfloor \frac{h}{M}+1\rfloor, \lfloor \frac{w}{M}+1\rfloor)" mathimg="1">個(gè)窗口，而且部分窗口的大小會(huì)小于
夜牡。在計(jì)算窗口自注意力時(shí)与纽，一般會(huì)將多個(gè)窗口拼接成矩陣進(jìn)行矩陣計(jì)算，要求每個(gè)窗口的大小一致塘装。
? 一個(gè)簡(jiǎn)單的移位窗口分區(qū)的兼容做法是將較小的窗口填充到的大小急迂，然后在計(jì)算注意力時(shí)屏蔽掉填充的值。在常規(guī)分區(qū)中的窗口數(shù)量較少時(shí)蹦肴，例如
僚碎，使用這種簡(jiǎn)單的解決方案增加的計(jì)算量是相當(dāng)大的(
，增加2.25倍)阴幌。
[圖片上傳失敗...(image-6600d1-1662354220676)]
? 為此勺阐，論文提出了一種更高效的批處理計(jì)算方法卷中，通過(guò)向左上方向循環(huán)移位進(jìn)行小窗口的合并計(jì)算，如圖4所示渊抽。在移位之后蟆豫，單個(gè)窗口可能由幾個(gè)原本不相鄰的子窗口組成，因此需要采用掩碼機(jī)制將自注意力計(jì)算限制在每個(gè)子窗口內(nèi)懒闷，掩碼機(jī)制主要是屏蔽掉計(jì)算出來(lái)的注意力矩陣十减。在循環(huán)移位后，由于窗口數(shù)量與常規(guī)窗口分區(qū)的數(shù)量相同毛雇，因此計(jì)算量也相當(dāng)嫉称。
-
Relative position bias
? 在計(jì)算self-attention時(shí)，論文參考當(dāng)前一些研究的做法灵疮，在進(jìn)行相似度計(jì)算時(shí)為每個(gè)head加入相對(duì)位置偏置(relative position bias) 织阅，注意區(qū)別于常規(guī)相對(duì)位置編碼的做法：
[圖片上傳失敗...(image-d48ada-1662354220676)]
其中是
Q、K震捣、V特征的維度荔棉，是窗口中的圖像塊數(shù)。由于每個(gè)軸方向的相對(duì)位置均在
范圍內(nèi)蒿赢，論文設(shè)置了一個(gè)較小尺寸的可學(xué)習(xí)偏置矩陣
(對(duì)應(yīng)二維相對(duì)位置組合數(shù)量)润樱，然后根據(jù)窗口中各位置的相對(duì)位置轉(zhuǎn)換得到唯一索引編碼，從
取對(duì)應(yīng)的值構(gòu)成
矩陣羡棵。這樣做的目的有兩個(gè)壹若，降低參數(shù)量(
vs
)，同時(shí)讓相同位置的使用相同偏置皂冰。
? 從實(shí)驗(yàn)結(jié)果來(lái)看店展，與沒(méi)有此偏置項(xiàng)或使用絕對(duì)位置偏置的對(duì)比，相對(duì)位置偏置有顯著的性能提升秃流。ViT使用了絕對(duì)位置偏置赂蕴，論文也嘗試進(jìn)一步疊加絕對(duì)位置偏置，但測(cè)試會(huì)略微降低性能舶胀，因此在實(shí)現(xiàn)中未采用它概说。
? 當(dāng)要fine-tuning不同窗口大小的模式時(shí)，預(yù)訓(xùn)練到的相對(duì)位置偏置也可通過(guò)bi-cubic interpolation進(jìn)行轉(zhuǎn)換嚣伐。
Architecture Variants
[圖片上傳失敗...(image-6bb931-1662354220676)]
? 論文構(gòu)建了基礎(chǔ)模型Swin-B糖赔，跟ViTB/DeiT-B的模型大小和計(jì)算復(fù)雜度差不多。此外纤控，論文還涉及了Swin-T挂捻、Swin-S和Swin-L版本，分別是基礎(chǔ)模型的模型大小和計(jì)算復(fù)雜度的0.25倍船万、0.5倍和2倍的版本刻撒。其中，Swin-T和Swin-S的復(fù)雜度分別對(duì)標(biāo)ResNet-50(DeiT-S)和ResNet-101耿导。默認(rèn)情況下声怔，窗口大小設(shè)置為 M = 7。對(duì)于所有實(shí)驗(yàn)舱呻，自注意力計(jì)算每個(gè)head的特征維度醋火，每個(gè)MLP的擴(kuò)展層
。
? 這些模型變體的架構(gòu)超參數(shù)是：
- Swin-T：C = 96, layer numbers = {2, 2, 6, 2}
- Swin-S：C = 96, layer numbers ={2, 2, 18, 2}
- Swin-B：C = 128, layer numbers ={2, 2, 18, 2}
- Swin-L：C = 192, layer numbers ={2, 2, 18, 2}
? 其中是Stage 1的維度數(shù)箱吕。
Experiment
[圖片上傳失敗...(image-ec595a-1662354220676)]
? 直接訓(xùn)練和預(yù)訓(xùn)練在Image-1K數(shù)據(jù)集上的性能對(duì)比芥驳。
[圖片上傳失敗...(image-5ef6f9-1662354220676)]
? 目標(biāo)檢測(cè)上對(duì)比嵌套多種檢測(cè)算法和其它主干網(wǎng)絡(luò)。
[圖片上傳失敗...(image-241e0f-1662354220676)]
? 語(yǔ)義分割上對(duì)比其它SOTA模型茬高。
[圖片上傳失敗...(image-368c56-1662354220676)]
? 移位窗口策略性能以及不同的position embedding組合的對(duì)比兆旬。
[圖片上傳失敗...(image-26268e-1662354220676)]
? 不同策略之間的推理性能對(duì)比。
[圖片上傳失敗...(image-f9e429-1662354220676)]
? Swin Transformer搭配不同自注意力計(jì)算方法的性能對(duì)比怎栽。
Conclusion
? 論文提出了經(jīng)典的Vision Transormer模型Swin Transformer丽猬，能夠構(gòu)建層級(jí)特征提高任務(wù)準(zhǔn)確率，而且其計(jì)算復(fù)雜度經(jīng)過(guò)各種加速設(shè)計(jì)熏瞄，能夠與輸入圖片大小成線性關(guān)系脚祟。從實(shí)驗(yàn)結(jié)果來(lái)看，Swin Transormer在各視覺(jué)任務(wù)上都有很不錯(cuò)的準(zhǔn)確率强饮，而且性能也很高由桌。
?
?
?
?
如果本文對(duì)你有幫助，麻煩點(diǎn)個(gè)贊或在看唄～
更多內(nèi)容請(qǐng)關(guān)注 微信公眾號(hào)【曉飛的算法工程筆記】
