這篇論文的核心是通過顯著性估計的方法將圖像前景粘貼到其他背景圖像中器钟，進行對比學習诉字，對比學習部門完全沿用現(xiàn)用方法，所以應用在下游任務如檢測伏伯，單實例多實例的矛盾仍然沒有解決，但是本文嘗試解決解決的是通過復制粘貼的方式學到背景不變性捌袜，學到了背景不變性意味著模型學習到了區(qū)分前后景说搅，對檢測任務是有幫助的。
摘要：
現(xiàn)有的自監(jiān)督學習的一大缺陷是無法定位前景目標虏等，導致其無法提取有判別力的高級特征弄唧。本文提出的方法是先估計圖像顯著性适肠，然后將前景目標粘貼在一系列背景圖像上。經(jīng)過此方法后候引，自監(jiān)督學習的方法仍然遵循實例分類侯养，所以訓練的表征希望能夠拋棄背景內(nèi)容，集中于前景目標上澄干。
1. Introduction
現(xiàn)有的SSL的代理任務是實例判別（instance discrimination）逛揩，不變性從低級圖像的數(shù)據(jù)增強（ spatial cropping and color jittering）種學習得到。
現(xiàn)有的SSL缺乏定位前景目標的能力麸俘，學習到的表征可以主要有背景像素決定辩稽。這是因為SSL把圖像中的每個位置傾向于認為是相等重要的。
作者假設驅(qū)動位置的學習信號來自于類別級別的監(jiān)督標簽从媚，因為背景內(nèi)容通常在不同的類別中是通用的逞泄，而在同一類中，顯著的只有情景目標静檬。
自監(jiān)督與監(jiān)督學習在定位能力上的差異，促使作者從自監(jiān)督的表征中蒸餾出位置信息并级，做法為對圖像估計出前景目標顯著mask,將其粘貼在不同背景圖像中拂檩。對同一前景目標粘貼在不同背景進行對比學習，這使得表征具有背景不變性嘲碧，從而具備對于前景目標的定位能力稻励。
Revisiting Contrastive Learning
與監(jiān)督的表征相比，非監(jiān)督的表征能夠從數(shù)據(jù)增強中獲益更多愈涩。
通過梯度觀察監(jiān)督型學習與自監(jiān)督學習的差異望抽，可見，監(jiān)督型學習的梯度集中在目標上履婉，而SSL的梯度在前景和背景上都有煤篙。因為SSL通過數(shù)據(jù)增強學習到不變性，數(shù)據(jù)增強將前景與背景的像素點以相同方式對待毁腿，SSL沒有設計損失函數(shù)來驅(qū)動模型發(fā)現(xiàn)目標辑奈。
通過監(jiān)督學習訓練好的BASNet進行顯著性估計。
粘貼數(shù)據(jù)集有三種已烤，Grayscale,Texture,Imagenet
DiLo: Distilling Localization via Background Invariance
本文的目的是學習到前景目標能夠被自動定位的目標鸠窗。這種目標定位的能力通過對于背景不變性的蒸餾而來。
實驗
t2(b)對全部數(shù)據(jù)都進行粘貼性能會下降胯究，粘貼30%-50%的數(shù)據(jù)會對性能有提升稍计。
t2(c)可得Texture提升有限,Grayscale和Imagenet提升相近。
將本文方法加到moco種裕循，可以看到梯度集中在目標上臣嚣。
