Toward Convolutional Blind Denoising of Real Photographs

本文提出了一個針對真實圖像的盲卷積去噪網絡窖认,增強了深度去噪模型的魯棒性和實用性豫柬。


摘要

  • 作者提出了一個 CBD-Net,由噪聲估計子網絡和去噪子網絡兩部分組成扑浸。

  • 作者設計了一個更加真實的噪聲模型烧给,同時考慮了信號依賴的噪聲和相機內部處理的噪聲。

  • 基于真實噪聲模型合成的圖片和真實的噪聲圖片被聯(lián)合在一起對網絡進行訓練喝噪。


噪聲模型

  • 除了高斯噪聲础嫡,真實的圖片噪聲更加復雜,并且是信號依賴的酝惧。

  • 給定一個干凈圖片 x榴鼎,一個更加真實的噪聲模型 n(x) ~ N(0, \sigma(y)) 可以表示為:

  • 其中,n(x) = n_s (x) + n_c 包含一個信號依賴的組成 n_s 和一個靜態(tài)的噪聲組成 n_c晚唇。n_c 是一個方差為 \sigma_c ^2 的高斯噪聲巫财, n_s 則和圖像的像素值有關,比如 x(i) * \sigma_s^2哩陕。

  • 另外平项,我們再把相機內部處理過程考慮進去的話,就會產生以下這個信號依賴和通道依賴的噪聲模型悍及。

  • y 表示合成圖片闽瓢, f 代表相機反應函數(CRF),M 代表將 sRGB 圖片轉化為 Bayer 圖片的函數心赶,M^{-1}代表去馬賽克函數鸳粉。

  • 此外,為了擴展到對壓縮圖片的處理园担,我們把 JPEG 壓縮也考慮進合成圖片的生成過程。

  • 針對原始圖片枯夜、無壓縮圖片和壓縮圖片弯汰,我們分別用以上三種模型來生成訓練圖片。

網絡結構

  • 噪聲等級子網絡由五層的卷積組成湖雹,卷積核大小為 3*3咏闪,通道數為 32,激活函數采用 Relu摔吏,沒有采用池化和批歸一化鸽嫂,輸出的噪聲等級圖和原噪聲圖片大小相同纵装。

  • 去噪子網絡將噪聲等級圖和原噪聲圖片一起作為輸入,采用了 U-Net 的網絡結構据某,卷積核大小為 3*3橡娄,激活函數采用 Relu,學習噪聲圖片的殘差癣籽。


非對稱學習

作者用傳統(tǒng)的去噪方法 BM3D/FFDNet 做了一個實驗挽唉。當給定的噪聲等級和真實噪聲等級一樣時,去噪效果毋庸置疑是最好的筷狼。當給定的噪聲等級低于真實噪聲等級一樣時瓶籽,去噪結果仍然有可見的噪聲;但當給定的噪聲等級高于真實噪聲等級一樣時埂材,仍然可以取得非常滿意的結果塑顺。

  • 為了利用這種非對稱特性進行盲去噪,我們在噪聲估計中提出了不對稱損失以避免在噪聲水平上出現(xiàn)低估誤差俏险。
  • 給定像素 i 處估計的噪聲等級 \hat \sigma(y_i)和真實值 \sigma(y_i)严拒。當 \hat \sigma(y_i) < \sigma(y_i),我們應該強加更多懲罰寡喝。 因此糙俗,噪聲等級估計子網絡的不對稱損失定義如下:
  • 通過設定 0 < \alpha < 0.5,,我們可以強加更多懲罰給低估誤差预鬓。

  • 另外巧骚,我們引入一個總體方差正則化項來限制 \hat \sigma(y_i) 的平滑性:

  • 對于去噪子網絡的輸出 \hat x,我們定義重構誤差為:

  • 網絡的總損失即為以上三部分的求和:



訓練過程

  • 基于真實噪聲模型合成的圖片和真實的噪聲圖片被聯(lián)合在一起對網絡進行訓練格二,來增強網絡處理真實圖像的泛化能力劈彪。

  • 針對一個批次的合成圖片,L_{rec} , L_{asymm},L_{TV} 三個損失都被計算來訓練網絡顶猜。

  • 針對一個批次的真實沧奴,由于噪聲等級不可知,因此只有长窄,L_{rec} 和 L_{TV} 兩個損失被計算來訓練網絡滔吠。


驗證和結果

  • 不同 \alpha 值的去噪結果對比如下圖所示,可以看到挠日,較小的 \alpha = 0.3 會對去除未知噪聲并且保留圖片的結構有所幫助疮绷。
  • 另外,作者又對只用合成圖片嚣潜、只用真實圖片和聯(lián)合真實圖片和合成圖片三種情況進行了對比冬骚,進一步驗證了聯(lián)合訓練的有效性。


  • 最后,一些實驗結果如下所示:




?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末只冻,一起剝皮案震驚了整個濱河市庇麦,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌喜德,老刑警劉巖山橄,帶你破解...
    沈念sama閱讀 216,324評論 6 498
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異住诸,居然都是意外死亡驾胆,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,356評論 3 392
  • 文/潘曉璐 我一進店門贱呐,熙熙樓的掌柜王于貴愁眉苦臉地迎上來丧诺,“玉大人,你說我怎么就攤上這事奄薇〔笛郑” “怎么了?”我有些...
    開封第一講書人閱讀 162,328評論 0 353
  • 文/不壞的土叔 我叫張陵馁蒂,是天一觀的道長呵晚。 經常有香客問我,道長沫屡,這世上最難降的妖魔是什么饵隙? 我笑而不...
    開封第一講書人閱讀 58,147評論 1 292
  • 正文 為了忘掉前任,我火速辦了婚禮沮脖,結果婚禮上金矛,老公的妹妹穿的比我還像新娘。我一直安慰自己勺届,他們只是感情好驶俊,可當我...
    茶點故事閱讀 67,160評論 6 388
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著免姿,像睡著了一般饼酿。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上胚膊,一...
    開封第一講書人閱讀 51,115評論 1 296
  • 那天故俐,我揣著相機與錄音,去河邊找鬼紊婉。 笑死购披,一個胖子當著我的面吹牛,可吹牛的內容都是我干的肩榕。 我是一名探鬼主播,決...
    沈念sama閱讀 40,025評論 3 417
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼株汉!你這毒婦竟也來了筐乳?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 38,867評論 0 274
  • 序言:老撾萬榮一對情侶失蹤乔妈,失蹤者是張志新(化名)和其女友劉穎蝙云,沒想到半個月后,有當地人在樹林里發(fā)現(xiàn)了一具尸體路召,經...
    沈念sama閱讀 45,307評論 1 310
  • 正文 獨居荒郊野嶺守林人離奇死亡勃刨,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 37,528評論 2 332
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了股淡。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片身隐。...
    茶點故事閱讀 39,688評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖唯灵,靈堂內的尸體忽然破棺而出贾铝,到底是詐尸還是另有隱情,我是刑警寧澤埠帕,帶...
    沈念sama閱讀 35,409評論 5 343
  • 正文 年R本政府宣布垢揩,位于F島的核電站,受9級特大地震影響敛瓷,放射性物質發(fā)生泄漏叁巨。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,001評論 3 325
  • 文/蒙蒙 一呐籽、第九天 我趴在偏房一處隱蔽的房頂上張望锋勺。 院中可真熱鬧,春花似錦绝淡、人聲如沸宙刘。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,657評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽悬包。三九已至,卻和暖如春馍乙,著一層夾襖步出監(jiān)牢的瞬間布近,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,811評論 1 268
  • 我被黑心中介騙來泰國打工丝格, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留撑瞧,地道東北人。 一個月前我還...
    沈念sama閱讀 47,685評論 2 368
  • 正文 我出身青樓显蝌,卻偏偏與公主長得像预伺,于是被迫代替她去往敵國和親订咸。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 44,573評論 2 353

推薦閱讀更多精彩內容