Abstract
在本文中，我們提出了一個(gè)名為Cycle-Dehaze的端到端網(wǎng)絡(luò)，用于單個(gè)圖像去霧問(wèn)題丽猬，它不需要成對(duì)的模糊和相應(yīng)的地面真實(shí)圖像進(jìn)行訓(xùn)練。也就是說(shuō)熏瞄，我們通過(guò)以不成對(duì)的方式提供干凈和模糊的圖像來(lái)訓(xùn)練網(wǎng)絡(luò)脚祟。此外，所提出的方法不依賴(lài)于大氣散射模型參數(shù)的估計(jì)强饮。我們的方法通過(guò)結(jié)合循環(huán)一致性和感知損失來(lái)增強(qiáng)CycleGAN制劑由桌，以便改善紋理信息恢復(fù)的質(zhì)量并產(chǎn)生視覺(jué)上更好的無(wú)霧圖像椭盏。通常允睹，用于去霧的深度學(xué)習(xí)模型將低分辨率圖像作為輸入并產(chǎn)生低分辨率輸出。然而汛蝙，在NTIRE 2018對(duì)單圖像去霧的挑戰(zhàn)中剪廉，提供了高分辨率圖像娃循。因此，我們應(yīng)用雙三次縮小斗蒋。在從網(wǎng)絡(luò)獲得低分辨率輸出后捌斧，我們利用拉普拉斯金字塔將輸出圖像放大到原始分辨率。我們?cè)贜YU-Depth泉沾，I-HAZE和O-HAZE數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)捞蚂。大量實(shí)驗(yàn)表明，所提出的方法在數(shù)量和質(zhì)量上都改進(jìn)了CycleGAN方法爆哑。
1.Introduction
????由Goodfellow等人介紹的GAN在圖像生成任務(wù)中非常成功洞难，例如， 數(shù)據(jù)增強(qiáng)，圖像修復(fù)和樣式轉(zhuǎn)移队贱。 他們的主要目標(biāo)是生成與目標(biāo)域上的原始圖像無(wú)法區(qū)分的假圖像色冀。 通過(guò)利用GAN，存在最先進(jìn)的方法柱嫌。對(duì)于單個(gè)圖像去霧锋恬，其需要以成對(duì)方式模糊輸入圖像及其基礎(chǔ)事實(shí)。 最近编丘，在CycleGAN提出用于圖像到圖像轉(zhuǎn)換的循環(huán)一致性損失之后与学，不需要配對(duì)的數(shù)據(jù) 。 受循環(huán)一致性損失的啟發(fā)嘉抓，Yang等人已經(jīng)引入DisentangledDehazing Network（DDN）索守。 用于單個(gè)圖像去霧。 與CycleGAN架構(gòu)不同抑片，DDN通過(guò)大氣散射模型重建循環(huán)圖像卵佛，而不是使用另一個(gè)生成器。 因此敞斋，它需要在訓(xùn)練階段的場(chǎng)景輻射截汪，中等透射圖和全球大氣光。
????在這項(xiàng)工作中植捎，我們通過(guò)聚合循環(huán)一致性和感知損失利用CycleGAN [37]架構(gòu)引入Cycle-Dehaze網(wǎng)絡(luò)衙解。我們的主要目的是建立一個(gè)端到端的網(wǎng)絡(luò)，無(wú)論單個(gè)圖像去霧的大氣散射模型如何焰枢。為了將輸入圖像輸入到我們的網(wǎng)絡(luò)中蚓峦，通過(guò)雙三次縮減將它們調(diào)整為256×256像素分辨率。在對(duì)輸入圖像進(jìn)行去霧后医咨，將雙三次升級(jí)到其原始大小不足以估計(jì)丟失的信息枫匾。為了能夠獲得高分辨率圖像，我們采用了一種基于拉普拉斯金字塔的簡(jiǎn)單上采樣方法拟淮。我們?cè)贒-HAZY的NYU-Depth部分和單圖像去霧數(shù)據(jù)集上的NTIRE 2018挑戰(zhàn)中進(jìn)行實(shí)驗(yàn)：I-HAZE和O-HAZE干茉。根據(jù)我們的結(jié)果，Cycle-Dehaze實(shí)現(xiàn)了比CycleGAN架構(gòu)更高的圖像質(zhì)量指標(biāo)很泊。此外角虫，我們分析了Cycle-Dehaze在跨數(shù)據(jù)集場(chǎng)景中的表現(xiàn)，也就是說(shuō)委造，我們?cè)谟?xùn)練和測(cè)試階段使用不同的數(shù)據(jù)集戳鹅。
我們的主要貢獻(xiàn)總結(jié)如下：
我們通過(guò)增加循環(huán)感知 - 一致性損失以及循環(huán)一致性損失來(lái)增強(qiáng)用于單圖像去霧的CycleGAN架構(gòu)。
我們的方法既不需要模糊和真實(shí)圖像的樣本昏兆，也不需要在訓(xùn)練和測(cè)試階段的任何大氣散射模型參數(shù)
我們提出了一種簡(jiǎn)單而有效的技術(shù)枫虏，通過(guò)拉普拉斯金字塔來(lái)放大帶霧圖像。
由于其循環(huán)結(jié)構(gòu)，我們的方法提供了一個(gè)通用模型隶债，可以通過(guò)跨數(shù)據(jù)集場(chǎng)景的實(shí)驗(yàn)證明腾它。
2.Related Work
3.Proposed Method
????Cycle-Dehaze是用于單圖像去霧的CycleGAN架構(gòu)的增強(qiáng)版本。 為了提高視覺(jué)質(zhì)量指標(biāo)死讹，PSNR瞒滴，SSIM，它利用了EnhanceNet啟發(fā)的感知損失赞警。 這種損失的主要思想是比較特征空間中的圖像而不是像素空間中的圖像妓忍。 因此，Cycle-Dehaze將原始圖像與兩個(gè)空間處的重建循環(huán)圖像進(jìn)行比較愧旦，其中循環(huán)一致性損失確保了高PSNR值世剖，并且感知損失保持了圖像的清晰度。 此外笤虫，Cycle-Dehaze使用傳統(tǒng)的拉普拉斯金字塔搁廓，在主要的除霧過(guò)程后提供更好的上采樣結(jié)果。 圖2顯示了Cycle-Dehaze架構(gòu)的整體表示耕皮。
????如圖2所示，Cycle-Dehaze架構(gòu)由兩個(gè)生成器G蝙场，F(xiàn)和兩個(gè)鑒別器Dx凌停，Dy組成。 除了常規(guī)鑒別器和生成器損失之外售滤，為了增加/添加霧度罚拟，從該架構(gòu)循環(huán)一致性和循環(huán)感知一致性損失的組合中獲益。 結(jié)果完箩，該架構(gòu)保留輸入圖像的紋理信息并產(chǎn)生無(wú)霧輸出赐俗。 另一方面，追求循環(huán)一致性和感知性損失之間的平衡并非易事弊知。 給感知損失過(guò)重會(huì)導(dǎo)致去霧過(guò)程后顏色信息的丟失阻逮。 因此，循環(huán)一致性損失需要具有比感知損失更高的權(quán)重秩彤。
????Cyclic perceptual-consistency loss.CycleGAN [37]架構(gòu)引入了循環(huán)一致性損失叔扼，它計(jì)算原始圖像和循環(huán)圖像之間的L1范數(shù)，用于不成對(duì)的圖像到圖像轉(zhuǎn)換任務(wù)漫雷。 然而瓜富，原始圖像和循環(huán)圖像之間的這種計(jì)算損失不足以恢復(fù)所有紋理信息，因?yàn)槟：膱D像大部分被嚴(yán)重破壞降盹。 循環(huán)感知 - 一致性損失旨在通過(guò)查看從VGG16體系結(jié)構(gòu)的第二和第五池化層提取的高級(jí)和低級(jí)特征的組合來(lái)保留原始圖像結(jié)構(gòu)与柑。 在x∈X，y∈Y和發(fā)生器G：X→Y的約束下，發(fā)生器F：Y→X价捧，下面給出了循環(huán)感知 - 一致性損失的表達(dá)式丑念，其中（x，y）指的是模糊和基本事實(shí) 不成對(duì)的圖像集和φ是來(lái)自第2和第5個(gè)池層的VGG16 [29]特征提取器：
Laplacian upscaling.Cycle-Dehaze架構(gòu)采用256×256像素分辨率輸入圖像干旧，由于GPU限制渠欺，產(chǎn)生256×256像素分辨率輸出圖像。 為了減少縮小和放大過(guò)程中圖像質(zhì)量的惡化椎眯，我們利用拉普拉斯金字塔挠将，這是通過(guò)使用高分辨率模糊圖像創(chuàng)建的。 為了獲得高分辨率的去噪圖像编整，我們用我們的去噪低分辨率圖像改變了拉普拉斯金字塔的頂層舔稀，并像往常一樣執(zhí)行拉普拉斯放大過(guò)程。 拉普拉斯金字塔的這種基本用法尤其在清潔過(guò)程中保留了模糊圖像的大部分邊緣掌测，并在升級(jí)階段提升了SSIM值内贮。 拉普拉斯算子升級(jí)是在處理高分辨率圖像時(shí)可選的后處理步驟。
conclusion
我們提出了一個(gè)單一的圖像去霧網(wǎng)絡(luò)汞斧，名為Cycle-Dehaze夜郁，它可以直接從朦朧的輸入圖像生成無(wú)霧圖像，而無(wú)需估算大氣散射模型的參數(shù)粘勒。此外竞端，我們的網(wǎng)絡(luò)以不成對(duì)的方式提供朦朧和地面真實(shí)圖像的訓(xùn)練過(guò)程。為了保持無(wú)霧圖像的高視覺(jué)質(zhì)量庙睡，我們通過(guò)將它與感知損失相結(jié)合來(lái)改善CycleGAN架構(gòu)的循環(huán)一致性損失事富。 Cycle-Dehaze將低分辨率圖像作為輸入，因此需要將其輸入縮小為預(yù)處理步驟乘陪。為了在調(diào)整大小時(shí)減少圖像失真统台，我們利用拉普拉斯金字塔來(lái)放大低分辨率圖像，而不是直接使用雙三次放大啡邑。實(shí)驗(yàn)結(jié)果表明贱勃，我們的方法產(chǎn)生視覺(jué)上更好的圖像，并實(shí)現(xiàn)比CycleGAN架構(gòu)更高的PSNR和SSIM值谣拣。此外募寨，我們?cè)诳鐢?shù)據(jù)集場(chǎng)景中進(jìn)行了額外的實(shí)驗(yàn)，以證明我們的模型對(duì)不同域的普遍性森缠。
