simclr動(dòng)圖
https://vdn1.vzuu.com/SD/9e10ead6-5a34-11eb-b86b-26b5ae12cbf4.mp4?disable_local_cache=1&auth_key=1629184957-0-0-6f9844a215936bb0f10ab911ee8301ae&f=mp4&bu=pico&expiration=1629184957&v=hw
Simclr核心觀點(diǎn)：
- 數(shù)據(jù)增強(qiáng)(data augmentations)的組合對(duì)預(yù)測(cè)任務(wù)的表現(xiàn)有重要影響臊岸，對(duì)于非監(jiān)督學(xué)習(xí)而言树酪，數(shù)據(jù)增強(qiáng)的提升作用更大如暖；
- 本文定義了一個(gè)對(duì)比損失和表征之間的可學(xué)習(xí)非線性轉(zhuǎn)換汉形，大幅提高了表征的質(zhì)量；
- 具有對(duì)比交叉熵?fù)p失(contrastive cross entropy loss)的表征學(xué)習(xí)得益于歸一化嵌入和適當(dāng)?shù)卣{(diào)整溫度參數(shù)；
-
與監(jiān)督學(xué)習(xí)相比，對(duì)比學(xué)習(xí)可以通過(guò)更多的訓(xùn)練和更大的Batch Size 獲得更好的表現(xiàn)，更深更寬的網(wǎng)絡(luò)對(duì)對(duì)比學(xué)習(xí)表現(xiàn)的提升也有益说敏。
1.simclr涉及的數(shù)據(jù)增強(qiáng)方法，需要注意的是丢郊，在實(shí)驗(yàn)中盔沫，其只使用了隨即裁剪（包括裁剪、大小調(diào)整和翻轉(zhuǎn)）枫匾、顏色失真和高斯模糊三種手段迅诬。
image.png
作者認(rèn)為單一數(shù)據(jù)增強(qiáng)方法都不足以學(xué)到良好的表征，即使模型可以識(shí)別出任務(wù)中的正對(duì)婿牍，組合增強(qiáng)方法會(huì)增大預(yù)測(cè)難度侈贷，但是能夠顯著提升表征質(zhì)量，最后作者發(fā)現(xiàn)，隨機(jī)裁剪和顏色失真的組合最有利于學(xué)習(xí)表征俏蛮。
image.png
實(shí)際用到的數(shù)據(jù)增強(qiáng)方法
image.png
simclr中將數(shù)據(jù)增強(qiáng)后的圖像作為原始圖像的相近樣本撑蚌，在這一設(shè)定下，作者實(shí)驗(yàn)發(fā)現(xiàn)rotate等數(shù)據(jù)增強(qiáng)方法對(duì)于simclr是有反作用的搏屑，CSI作者解決的異常檢測(cè)問(wèn)題争涌，其pretext task設(shè)置為分辨出原始圖像與增強(qiáng)后的圖像，實(shí)驗(yàn)發(fā)現(xiàn)simclr中性能不佳的rotate反而在異常檢測(cè)中性能較好辣恋×恋妫可能的原因是simclr與csi的設(shè)定可以認(rèn)為是相反的，對(duì)于csi的設(shè)定伟骨，rotate等形狀變化類數(shù)據(jù)增強(qiáng)方法對(duì)分類任務(wù)更敏感（作者認(rèn)為是引入更顯著的分布差異）饮潦。
1.CSI論文中涉及的數(shù)據(jù)增強(qiáng)方法
2.將原圖與增強(qiáng)后的圖進(jìn)行二分類任務(wù)
可以得出perm和rotate這兩種涉及形狀變換的數(shù)據(jù)增強(qiáng)分發(fā)對(duì)于對(duì)于二分類任務(wù)的貢獻(xiàn)最大，說(shuō)明形狀變換的數(shù)據(jù)增強(qiáng)方法較大的改變了數(shù)據(jù)的分布携狭。
3.在vanilla SimCLR上自監(jiān)督學(xué)習(xí)任務(wù)對(duì)數(shù)據(jù)增強(qiáng)方法進(jìn)行消融實(shí)驗(yàn)
Align表示把數(shù)據(jù)增強(qiáng)當(dāng)作正樣本（認(rèn)為添加增強(qiáng)的圖像與原圖相似性高）
Shift表示把數(shù)據(jù)增強(qiáng)當(dāng)作負(fù)樣本（認(rèn)為添加增強(qiáng)的圖像與原圖相似性低）
實(shí)驗(yàn)可知继蜡，baseline任務(wù)性能為87.9，將相關(guān)數(shù)據(jù)增強(qiáng)方法當(dāng)作正樣本會(huì)降低vanilla SimCLR的性能逛腿，特別是perm和rotate的反作用最明顯稀并。
而當(dāng)作負(fù)樣本時(shí)候，將相關(guān)數(shù)據(jù)增強(qiáng)方法當(dāng)作正樣本會(huì)提升vanilla SimCLR的性能单默，特別是perm和rotate的作用最明顯碘举。
接上表，受simclr啟發(fā)搁廓，作者也嘗試了使用多種數(shù)據(jù)增強(qiáng)方法要優(yōu)于單種數(shù)據(jù)增強(qiáng)方法引颈，以rotate作為基礎(chǔ)，結(jié)合其他的數(shù)據(jù)增強(qiáng)方法枚抵。
4.數(shù)據(jù)集與數(shù)據(jù)增強(qiáng)的關(guān)系
作者分析了數(shù)據(jù)集特點(diǎn)與數(shù)據(jù)增強(qiáng)的關(guān)系。對(duì)于旋轉(zhuǎn)不變性的數(shù)據(jù)集明场，如下圖的編織紋理類數(shù)據(jù)集汽摹，旋轉(zhuǎn)不影響語(yǔ)義，故對(duì)任務(wù)無(wú)促進(jìn)作用苦锨，而高斯噪聲則對(duì)任務(wù)有價(jià)值逼泣。更詳細(xì)的沒有說(shuō)明，數(shù)據(jù)集適應(yīng)的數(shù)據(jù)增強(qiáng)方法只能通過(guò)實(shí)驗(yàn)證明舟舒。
一些想法
在將自監(jiān)督學(xué)習(xí)引入異常檢測(cè)方法中拉庶，
- 數(shù)據(jù)增強(qiáng)實(shí)際上是讓增強(qiáng)后的數(shù)據(jù)與原數(shù)據(jù)形成差異，以便于模擬異常數(shù)據(jù)秃励。（可通過(guò)t-sne查看分布）
- 變形類數(shù)據(jù)增強(qiáng)方法（rotate/perm）更容易與原始圖像區(qū)分氏仗，說(shuō)明其與原始圖像的分布差異更大，原始其他數(shù)據(jù)增強(qiáng)是在原圖基礎(chǔ)上做的夺鲜。
- 不同數(shù)據(jù)集的正常/異常數(shù)據(jù)分布不同皆尔，像mnist/cifar10等數(shù)據(jù)集模擬異常檢測(cè)任務(wù)呐舔，爭(zhēng)產(chǎn)樣本與異常樣本的分布差異較大，使用變形類數(shù)據(jù)增強(qiáng)方法可能更能模擬此種差異慷蠕。而像ped2這種實(shí)際場(chǎng)景下的異常事件數(shù)據(jù)集珊拼，正常/異常樣本的分布差異可能很小，此時(shí)使用變形類數(shù)據(jù)增強(qiáng)方法是不合適的流炕∨煜郑可以結(jié)合t-sne分析哪些數(shù)據(jù)增強(qiáng)方法與異常樣本集合更像，以及如何量化增強(qiáng)后的正常數(shù)據(jù)與異常數(shù)據(jù)的相似度（余弦距離每辟？）
