論文解讀CutPaste: Self-Supervised Learning for Anomaly Detection and Localization

本文想解決是單分類問題躲株,通過對正常樣本的學(xué)習(xí),檢測出未知類型的異常镣衡,更傾向于缺陷檢測霜定。方法整體流程分為兩步,首先基于自監(jiān)督學(xué)習(xí)方法學(xué)習(xí)樣本表征廊鸥,繼而通過一個單分類器對表征進行分類望浩。通過文中提出的CutPaste實現(xiàn)對于正常樣本的表征學(xué)習(xí)及分類。CutPaste是一種數(shù)據(jù)增強方法惰说,從圖像中裁剪出一塊矩形區(qū)域粘貼到任意位置磨德。cutpaste 的目的是產(chǎn)生空間上的不規(guī)則性,作為不參與訓(xùn)練的真實缺陷的近似值∵菏樱現(xiàn)有的一些很受歡迎的方法將旋轉(zhuǎn)和對比學(xué)習(xí)應(yīng)用于單分類剖张,但是本文實驗證明切诀,對于檢測缺陷,單純使用旋轉(zhuǎn)或者對比學(xué)習(xí)不是最優(yōu)的搔弄。作者猜想幾何變換例如旋轉(zhuǎn)和移位幅虑,在學(xué)習(xí)語義概念的表征中是有效的(如學(xué)習(xí)對象),但
較少對規(guī)律性的學(xué)習(xí)(例如顾犹,連續(xù)性倒庵、重復(fù)性)。對于缺陷檢測炫刷,本文希望提出一種數(shù)據(jù)增強的方法模擬局部不規(guī)則模式擎宝。

目前單分類異常檢測算法主要思路是訓(xùn)練一個能表征正常樣本的模型,并且假設(shè)這個模型不能很好的表征異常樣本浑玛。但是基于像素級的重建損失一般無法獲得高級語義信息绍申。
本文采用了一種自監(jiān)督學(xué)習(xí)中pretext task的思路,在(a)自監(jiān)督學(xué)習(xí)表征階段,對正樣本采用cutpaste生成圖像顾彰,訓(xùn)練一個二分類CNN极阅,識別正常樣本,及添加cutpaste后的圖像涨享。在(b)異常檢測及定位階段筋搏,CNN用來提取特征,參數(shù)高斯概率密度估計(GDE)使用CNN提取的特征計算異常分數(shù)厕隧,圖像級別的異常檢測可以使用GradCAM大致定位異常區(qū)域奔脐,patch級別的異常定位,對原圖分割成若干patch,分別送到CNN--GDE計算異常分數(shù)吁讨,得出更細粒度異常熱力圖髓迎。
(第二階段應(yīng)該是沒訓(xùn)練,直接用輸出的表征計算出來的異常分數(shù))
發(fā)現(xiàn)到一個現(xiàn)象建丧。
使用對比式自監(jiān)督學(xué)習(xí)做異常檢測的(simclr等)排龄,基本需要在第二階段進行finetune。
使用其他自監(jiān)督學(xué)習(xí)做異常檢測的(體現(xiàn)在pretext task沒用對比學(xué)習(xí)茶鹃,而是識別圖象旋轉(zhuǎn),是否進行增強的)艰亮,一在第二階段可以不進行finetune.

image.png

文章中使用的數(shù)據(jù)增強方法cutpaste和cutpaste(scar)試有cutout和scar啟發(fā)而來闭翩,scar是添加舉行細長線。實際自監(jiān)督學(xué)習(xí)實驗看作三分類問題迄埃,正常樣本疗韵,添加cutpaste的樣本,添加cutpaste(scar)的樣本侄非。

image.png

對于MVTec AD dataset蕉汪,或者實際的缺陷檢測任務(wù)流译,缺陷一般含有拉伸變形,特殊的紋理構(gòu)造者疤。作者對正常樣本使用cutpaste的目的是希望在正常樣本的表征學(xué)習(xí)中福澡,能夠通過cutpaste模擬異常樣本,作者使用可視化技術(shù)發(fā)現(xiàn),添加cutpaste后的正樣本與原始正樣本距離較大驹马,但是與真實的異常樣本接近度較小革砸,說明仍需要更好的數(shù)據(jù)增強方法。

image.png

實驗對比糯累,AUC


實驗對比算利,缺陷定位


image.png

不同數(shù)據(jù)增強方法的消融實驗


image.png

在語義異常檢測數(shù)據(jù)集上的實驗
作者將cifar10數(shù)據(jù)集的異常檢測定義為Semantic Outlier Detection,其需要識別車與狗這種語義級別的差異泳姐,而MVTec AD dataset代表的缺陷異常檢測識別的是細微處的差異效拭。在cifar10上取得69.4 的AUC,高于 Cutout (60:2).但是低于使用旋轉(zhuǎn)預(yù)測方法 (91:3 AUC)

(Learning and evaluating representations fordeep one-class classification.自監(jiān)督學(xué)習(xí)階段,對圖像旋轉(zhuǎn)不同角度當(dāng)作不同類別胖秒,)
作者認為缎患,對于不同類型的數(shù)據(jù)集,結(jié)合不同數(shù)據(jù)增強方法的pretext task影響是很大的扒怖。對于語義級的數(shù)據(jù)集较锡,旋轉(zhuǎn)更優(yōu),對于細節(jié)缺陷檢測盗痒,本文cutpaste性能更優(yōu)蚂蕴。需要根據(jù)異常的特點,針對性的設(shè)計數(shù)據(jù)增強方法俯邓,以在正樣本中豐富出與正樣本差異較大的樣本骡楼,最好是能夠表現(xiàn)出異常樣本的特點。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末稽鞭,一起剝皮案震驚了整個濱河市鸟整,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌朦蕴,老刑警劉巖篮条,帶你破解...
    沈念sama閱讀 218,525評論 6 507
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異吩抓,居然都是意外死亡涉茧,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,203評論 3 395
  • 文/潘曉璐 我一進店門疹娶,熙熙樓的掌柜王于貴愁眉苦臉地迎上來伴栓,“玉大人,你說我怎么就攤上這事∏澹” “怎么了惑淳?”我有些...
    開封第一講書人閱讀 164,862評論 0 354
  • 文/不壞的土叔 我叫張陵,是天一觀的道長饺窿。 經(jīng)常有香客問我歧焦,道長,這世上最難降的妖魔是什么短荐? 我笑而不...
    開封第一講書人閱讀 58,728評論 1 294
  • 正文 為了忘掉前任倚舀,我火速辦了婚禮,結(jié)果婚禮上忍宋,老公的妹妹穿的比我還像新娘痕貌。我一直安慰自己,他們只是感情好糠排,可當(dāng)我...
    茶點故事閱讀 67,743評論 6 392
  • 文/花漫 我一把揭開白布舵稠。 她就那樣靜靜地躺著,像睡著了一般入宦。 火紅的嫁衣襯著肌膚如雪哺徊。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,590評論 1 305
  • 那天乾闰,我揣著相機與錄音落追,去河邊找鬼。 笑死涯肩,一個胖子當(dāng)著我的面吹牛轿钠,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播病苗,決...
    沈念sama閱讀 40,330評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼疗垛,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了硫朦?” 一聲冷哼從身側(cè)響起贷腕,我...
    開封第一講書人閱讀 39,244評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎咬展,沒想到半個月后泽裳,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,693評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡破婆,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,885評論 3 336
  • 正文 我和宋清朗相戀三年涮总,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片荠割。...
    茶點故事閱讀 40,001評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡妹卿,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出蔑鹦,到底是詐尸還是另有隱情夺克,我是刑警寧澤,帶...
    沈念sama閱讀 35,723評論 5 346
  • 正文 年R本政府宣布嚎朽,位于F島的核電站铺纽,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏哟忍。R本人自食惡果不足惜狡门,卻給世界環(huán)境...
    茶點故事閱讀 41,343評論 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望锅很。 院中可真熱鬧其馏,春花似錦、人聲如沸爆安。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,919評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽扔仓。三九已至褐奥,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間翘簇,已是汗流浹背撬码。 一陣腳步聲響...
    開封第一講書人閱讀 33,042評論 1 270
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留版保,地道東北人呜笑。 一個月前我還...
    沈念sama閱讀 48,191評論 3 370
  • 正文 我出身青樓,卻偏偏與公主長得像找筝,于是被迫代替她去往敵國和親蹈垢。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,955評論 2 355

推薦閱讀更多精彩內(nèi)容