本文提出了一個針對真實圖像的盲卷積去噪網絡窖认,增強了深度去噪模型的魯棒性和實用性豫柬。
摘要
作者提出了一個 CBD-Net,由噪聲估計子網絡和去噪子網絡兩部分組成扑浸。
作者設計了一個更加真實的噪聲模型烧给,同時考慮了信號依賴的噪聲和相機內部處理的噪聲。
基于真實噪聲模型合成的圖片和真實的噪聲圖片被聯(lián)合在一起對網絡進行訓練喝噪。
噪聲模型
除了高斯噪聲础嫡,真實的圖片噪聲更加復雜,并且是信號依賴的酝惧。
給定一個干凈圖片 x榴鼎,一個更加真實的噪聲模型 可以表示為:
其中, 包含一個信號依賴的組成 和一個靜態(tài)的噪聲組成 晚唇。 是一個方差為 的高斯噪聲巫财, 則和圖像的像素值有關,比如 哩陕。
另外平项,我們再把相機內部處理過程考慮進去的話,就會產生以下這個信號依賴和通道依賴的噪聲模型悍及。
表示合成圖片闽瓢, 代表相機反應函數(CRF), 代表將 sRGB 圖片轉化為 Bayer 圖片的函數心赶,代表去馬賽克函數鸳粉。
此外,為了擴展到對壓縮圖片的處理园担,我們把 JPEG 壓縮也考慮進合成圖片的生成過程。
- 針對原始圖片枯夜、無壓縮圖片和壓縮圖片弯汰,我們分別用以上三種模型來生成訓練圖片。
網絡結構
噪聲等級子網絡由五層的卷積組成湖雹,卷積核大小為 3*3咏闪,通道數為 32,激活函數采用 Relu摔吏,沒有采用池化和批歸一化鸽嫂,輸出的噪聲等級圖和原噪聲圖片大小相同纵装。
去噪子網絡將噪聲等級圖和原噪聲圖片一起作為輸入,采用了 U-Net 的網絡結構据某,卷積核大小為 3*3橡娄,激活函數采用 Relu,學習噪聲圖片的殘差癣籽。
非對稱學習
作者用傳統(tǒng)的去噪方法 BM3D/FFDNet 做了一個實驗挽唉。當給定的噪聲等級和真實噪聲等級一樣時,去噪效果毋庸置疑是最好的筷狼。當給定的噪聲等級低于真實噪聲等級一樣時瓶籽,去噪結果仍然有可見的噪聲;但當給定的噪聲等級高于真實噪聲等級一樣時埂材,仍然可以取得非常滿意的結果塑顺。
- 為了利用這種非對稱特性進行盲去噪,我們在噪聲估計中提出了不對稱損失以避免在噪聲水平上出現(xiàn)低估誤差俏险。
- 給定像素 處估計的噪聲等級 和真實值 严拒。當 ,我們應該強加更多懲罰寡喝。 因此糙俗,噪聲等級估計子網絡的不對稱損失定義如下:
通過設定 ,,我們可以強加更多懲罰給低估誤差预鬓。
-
另外巧骚,我們引入一個總體方差正則化項來限制 的平滑性:
-
對于去噪子網絡的輸出 ,我們定義重構誤差為:
-
網絡的總損失即為以上三部分的求和:
訓練過程
基于真實噪聲模型合成的圖片和真實的噪聲圖片被聯(lián)合在一起對網絡進行訓練格二,來增強網絡處理真實圖像的泛化能力劈彪。
針對一個批次的合成圖片, 三個損失都被計算來訓練網絡顶猜。
針對一個批次的真實沧奴,由于噪聲等級不可知,因此只有长窄, 兩個損失被計算來訓練網絡滔吠。
驗證和結果
- 不同 值的去噪結果對比如下圖所示,可以看到挠日,較小的 會對去除未知噪聲并且保留圖片的結構有所幫助疮绷。
-
另外,作者又對只用合成圖片嚣潜、只用真實圖片和聯(lián)合真實圖片和合成圖片三種情況進行了對比冬骚,進一步驗證了聯(lián)合訓練的有效性。
-
最后,一些實驗結果如下所示: