回歸任務中的常見損失函數(shù)

一、概述

??近期看了一些low-level vision相關的文章飘言,發(fā)現(xiàn)很多工作都有使用一些經典的損失函數(shù)仅颇。加上做的項目主要以回歸任務為主缕题,所以考慮將一些圖像重建及回歸任務中常用的損失函數(shù)進行整理和記錄伊者。

二素挽、常用損失函數(shù)

1. MSE

??MSE可能是早期圖像重建類任務用的最多褐捻,也是作為默認選項的損失函數(shù)偏螺。其特點可以歸納如下:

  • 優(yōu)點:
    1. 收斂速度快:整體來說,L2損失的梯度相比L1大一些叼架,故其收斂速度很快畔裕。
    2. 可解釋性強:優(yōu)化重建圖像與GT之間的MSE等同于優(yōu)化兩個圖像之間的PSNR
      MSE與PSNR之間的關系
  • 缺點:
    1. 對小error不友好:當重建圖像與GT之間error較小時,L2損失函數(shù)接近0的位置梯度很小乖订,導致train step更小扮饶。這一缺陷對于精確的位置回歸任務(如關鍵點檢測)而言影響較大(參考Wing Loss論文
    2. 容易受到outlier干擾:回到梯度公式2y*(\hat{y}-y),若預測值是一個很大的異常值(如11,13,1000,8)乍构,則loss會被該異常值主導甜无。尤其是對于regression target邊界值沒有明確限制的情況,不推薦使用MSE
    3. 用于重建任務中會造成圖像模糊:由于最小化MSE相當于最小化數(shù)據(jù)集經驗分布和高斯分布之間的KL散度哥遮,而高斯分布是單模態(tài)的(參考:為什么L2損失函數(shù)會造成圖像模糊岂丘?

2. L1損失

圖像生成、重建昔善、回歸任務(如深度估計)應用最廣泛的per-pixel loss形式元潘。Homography estimation任務[5]中也常用作photometric loss畔乙。

2.1 變體1——wing loss[3]

適合用于解決regression訓練到后期時君仆,pred和gt之間的小偏差問題(比如訓練后期某個樣本的error為10,batch內其他樣本error為1但是仍需要繼續(xù)優(yōu)化,那么由于梯度由前者主導返咱,會導致小error的樣本很難被訓到)钥庇。通過在零點附近使用log函數(shù),給小error大梯度咖摹,以解決上述問題评姨。
注意,Wing loss論文中另一個貢獻是提出一種pose-based data balancing approaches萤晴,解決facial landmark數(shù)據(jù)集中headpose分布不均的問題吐句,也非常值得學習。

  • wing loss公式
  • wing loss示意圖
2.2. 變體2——Charbonnier loss

L_{char} = \sqrt{||X_s-Y||+\epsilon}
這個loss看起來只是在l1 loss基礎上多了一個\epsilon店读,好像沒什么特點嗦枢。但是在近兩年不少大公司的論文中(如[2]),多見用該loss代替l1/l2 loss來優(yōu)化圖像重建屯断,或者更一般的文虏,任意regressor的訓練都可以試試該loss。

2.3. 變體3——Balanced MSE loss

最近剛出的工作殖演,來自商湯[11]:


Balanced MSE

3. Perceptual loss與generic perceptual loss

Perceptual loss在image synthesis任務取得了令人矚目的成功氧秘。該損失最早在[7]中用來優(yōu)化風格遷移與超分任務;后續(xù)多見于許多圖像復原工作中趴久,并逐漸成為相關研究以及業(yè)界實踐中的標準范式丸相。

阿德萊德大學沈春華團隊最近的文章對perceptual loss做了新的解讀,并提出一種generic perceptual loss[8]彼棍。本文認為已添,perceptual loss真正work的并非vgg網絡的預訓練權重,而是CNN網絡本身滥酥。通過將vgg預訓練權重用隨機初始化參數(shù)代替更舞,作者能夠在指標上和原perceptual loss達到一致。這一發(fā)現(xiàn)很大程度提高了該方法的靈活性和便捷性坎吻,在此基礎上作者探索了用不同網絡結構計算感知損失的效果缆蝉,并將其成功推廣到更一般的結構性預測任務,如語義分割瘦真、實例分割刊头、深度估計等,均在SOTA基礎上取得一定提升诸尽。

根據(jù)[8]中的分析原杂,perceptual loss的高效并不在于提取感知特征進行對比,而在于利用深度神經網絡您机,很大程度上考慮了輸出變量統(tǒng)計特性之間的關聯(lián)與依賴穿肄。從這個角度來說年局,"perceptual loss"這個名稱其實并不準確,或者說[8]其實和感知無關咸产,只是單純的沿用這一名稱矢否。

另外,這篇論文很容易讓人想到Deep Image Prior脑溢,另外幾乎是模型壓縮中那篇很有名的rethinking論文[9]僵朗,在dense prediction領域的翻版...因為[9]的核心觀點就是說pruning最重要的并不是大模型的weight,而是模型結構本身屑彻。

Perceptual loss這種思想在很多研究方向上得到了拓展验庙。MMLab的DGP[12]中提出了一種基于pretrained GAN Discriminator的特征損失,由于預訓練的判別器和生成器一同訓練社牲,作者認為使用該模型比在第三方任務上訓練的VGG更加自然壶谒。


Deep Generative Prior

4. 結構化損失函數(shù)

在某些圖像(比如強紋理的圖像)生成、恢復任務中膳沽,有時也需要對預測結果進行結構上的約束汗菜。該方向上應用比較廣泛的是SSIM loss,另外2017年Amazon的一篇論文[4]提出挑社,早些年Gatys等在風格遷移工作提出的texture loss陨界,其中的Gram矩陣在衡量“符合人類感知的”圖像塊相似度時具有令人印象深刻的表現(xiàn)。

4.1 SSIM loss
SSIM公式

優(yōu)點:
· SSIM從照明度痛阻、對比度菌瘪、圖像結構等多個方面對比兩張圖像的相似度
缺點:
· 可能造成顏色、亮度等出現(xiàn)偏移阱当,導致結果不夠飽和


SSIM問題
4.2 Gram Matrix-based texture loss

論文[5]在研究單幅圖像超分辨率重建任務時發(fā)現(xiàn)俏扩,僅使用單個texture loss來訓練CNN即可達到GAN+混合loss訓練的結果。這表明深度特征的Gram矩陣在捕獲圖像的perceptual representations上非常強大弊添,非常適用于對LPIPS等感知相似性要求比較高的場景录淡,而不僅僅是風格遷移任務。

Texture Loss

5. Unpaired images損失度量

5.1 Contextual Loss

大多數(shù)圖像生成油坝、重建任務假設網絡生成圖像和目標圖像之間在空間上保持嚴格的像素級對齊嫉戚。上面的L1/L2/Perceptual loss也均基于該假設。然而很多研究方向并不存在嚴格成對的數(shù)據(jù)澈圈,比如style或者domain transfer彬檀。即便是在圖像復原任務中,clean和observation之間也往往存在misplacement瞬女,如下圖所示窍帝。

Contextual loss應對unaligned data

以色列理工大學的研究人員提出了一種上下文損失[10],其將圖像視作特征的集合诽偷,通過比較兩圖像特征集合之間的相似度坤学,來衡量圖像整體的相似程度疯坤。

三、常用的評價指標

3.1 LPIPS

四拥峦、參考:

[1] rediscovery of ssim index in image reconstruction
[2] 2021-Google-Multi-Stage Progressive Image Restoration
[3] 2018-Wing loss for robust facial landmark localisation with convolutional neural networks
[4] 2017-The Unreasonable Effectiveness of Texture Transfer for Single Image Super-resolution
[5] 2017-Unsupervised Deep Homography: A Fast and Robust Homography Estimation Model
[6] 2018-The unreasonable effectiveness of deep features as a perceptual metric
[7] 2016-Perceptual losses for real-time style transfer and super-resolution
[8] 2021-Generic Perceptual Loss for Modeling Structured Output Dependencies
[9] RETHINKING THE VALUE OF NETWORK PRUNING
[10] The Contextual Loss for Image Transformation with Non-Aligned Data
[11] https://zhuanlan.zhihu.com/p/501956790
[12] 2020-ECCV-Oral Deep Generative Prior

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末贴膘,一起剝皮案震驚了整個濱河市卖子,隨后出現(xiàn)的幾起案子略号,更是在濱河造成了極大的恐慌,老刑警劉巖洋闽,帶你破解...
    沈念sama閱讀 222,865評論 6 518
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件玄柠,死亡現(xiàn)場離奇詭異,居然都是意外死亡诫舅,警方通過查閱死者的電腦和手機羽利,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,296評論 3 399
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來刊懈,“玉大人这弧,你說我怎么就攤上這事⌒檠矗” “怎么了匾浪?”我有些...
    開封第一講書人閱讀 169,631評論 0 364
  • 文/不壞的土叔 我叫張陵,是天一觀的道長卷哩。 經常有香客問我蛋辈,道長,這世上最難降的妖魔是什么将谊? 我笑而不...
    開封第一講書人閱讀 60,199評論 1 300
  • 正文 為了忘掉前任冷溶,我火速辦了婚禮,結果婚禮上尊浓,老公的妹妹穿的比我還像新娘逞频。我一直安慰自己,他們只是感情好栋齿,可當我...
    茶點故事閱讀 69,196評論 6 398
  • 文/花漫 我一把揭開白布虏劲。 她就那樣靜靜地躺著,像睡著了一般褒颈。 火紅的嫁衣襯著肌膚如雪柒巫。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 52,793評論 1 314
  • 那天谷丸,我揣著相機與錄音堡掏,去河邊找鬼。 笑死刨疼,一個胖子當著我的面吹牛泉唁,可吹牛的內容都是我干的鹅龄。 我是一名探鬼主播,決...
    沈念sama閱讀 41,221評論 3 423
  • 文/蒼蘭香墨 我猛地睜開眼亭畜,長吁一口氣:“原來是場噩夢啊……” “哼扮休!你這毒婦竟也來了?” 一聲冷哼從身側響起拴鸵,我...
    開封第一講書人閱讀 40,174評論 0 277
  • 序言:老撾萬榮一對情侶失蹤玷坠,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后劲藐,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體八堡,經...
    沈念sama閱讀 46,699評論 1 320
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 38,770評論 3 343
  • 正文 我和宋清朗相戀三年聘芜,在試婚紗的時候發(fā)現(xiàn)自己被綠了兄渺。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,918評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡汰现,死狀恐怖挂谍,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情瞎饲,我是刑警寧澤口叙,帶...
    沈念sama閱讀 36,573評論 5 351
  • 正文 年R本政府宣布,位于F島的核電站企软,受9級特大地震影響庐扫,放射性物質發(fā)生泄漏。R本人自食惡果不足惜仗哨,卻給世界環(huán)境...
    茶點故事閱讀 42,255評論 3 336
  • 文/蒙蒙 一形庭、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧厌漂,春花似錦萨醒、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,749評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至旨椒,卻和暖如春晓褪,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背综慎。 一陣腳步聲響...
    開封第一講書人閱讀 33,862評論 1 274
  • 我被黑心中介騙來泰國打工涣仿, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 49,364評論 3 379
  • 正文 我出身青樓好港,卻偏偏與公主長得像愉镰,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子钧汹,可洞房花燭夜當晚...
    茶點故事閱讀 45,926評論 2 361

推薦閱讀更多精彩內容