【綜述】圖像去霧的前世今生

1. 前言

其實之前對圖像去霧也沒有什么深入的理解，只是了解，實現(xiàn)過一些傳統(tǒng)的圖像去霧方法而已舞萄。個人感覺，在CNN模型大流行的今天管削，已經(jīng)有很多人忽略了傳統(tǒng)算法的發(fā)展倒脓，以至于你今天去搜索10年前的傳統(tǒng)去霧算法或許根本找不到相關資料了，或許這就是網(wǎng)絡中的圍城吧含思。今天周六有空來整理一下我所了解到的圖像去霧技術的發(fā)展崎弃，并嘗試做一個詳細點的綜述。

2. 概述

圖像去霧在計算機視覺中雖然不像目標檢測含潘，語義分割這種任務整天會放在臺面上說饲做，但實際上也有大量的研究人員在不斷的研究新方法攻克這一充滿挑戰(zhàn)性的問題。具體來說遏弱，圖像去霧算法大致可以分為下面這幾類盆均。

基于圖像增強的去霧算法∈荩基于圖像增強的去霧算法出發(fā)點是盡量去除圖像噪聲泪姨，提高圖像對比度，從而恢復出無霧清晰圖像饰抒。代表性方法有：直方圖均衡化（HLE）肮砾、自適應直方圖均衡化（AHE）、限制對比度自適應直方圖均衡化（CLAHE）循集、Retinex算法唇敞、小波變換、同態(tài)濾波 等等咒彤。
基于圖像復原的去霧算法疆柔。這一系列方法基本是基于大氣退化模型，進行響應的去霧處理镶柱。代表性算法有：來自何凱明博士的暗通道去霧算法(CVPR 2009最佳論文)旷档、基于導向濾波的暗通道去霧算法、Fattal的單幅圖像去霧算法（Single image dehazing）歇拆、Tan的單一圖像去霧算法（Visibility in bad weather from a single image）鞋屈、Tarel的快速圖像恢復算法（Fast visibility restoration from a single color or gray level image）范咨、貝葉斯去霧算法（Single image defogging by multiscale depth fusion），基于大氣退化模型的去霧效果普遍好于基于圖像增強的去霧算法厂庇，后面挑選的傳統(tǒng)去霧算法例子也大多是基于圖像復原的去霧算法渠啊。
基于深度學習的去霧算法。由于CNN近年在一些任務上取得了較大的進展权旷，去霧算法自然也有大量基于CNN的相關工作替蛉。這類方法是主要可以分為兩類，第一類仍然是于大氣退化模型拄氯，利用神經(jīng)網(wǎng)絡對模型中的參數(shù)進行估計躲查，早期的方法大多數(shù)是基于這種思想。第二類則是利用輸入的有霧圖像译柏，直接輸出得到去霧后的圖像镣煮，也即是深度學習中常說的end2end。

3. 霧天退化模型

我們后面介紹的一些經(jīng)典算法例子大多基于霧天退化模型鄙麦，因此有必要在這里將它講清楚典唇。

在計算機視覺領域，通常使用霧天圖像退化模型來描述霧霾等惡劣天氣條件對圖像造成的影響黔衡，該模型是McCartney首先提出蚓聘。該模型包括衰減模型和環(huán)境光模型兩部分腌乡。模型表達式為：

$I(x)=J(x)e^{-rd(x)}+A(1-e^{-rd(x)})...........................(1)$

其中盟劫， $x$ 是圖像像素的空間坐標， $I(x)$ 是觀察到的有霧圖像与纽， $J(x)$ 是待恢復的無霧圖像侣签， $r$ 表示大氣散射系數(shù)， $d$ 代表景物深度急迂， $A$ 是全局大氣光影所，通常情況下假設為全局常量，與空間坐標 $x$ 無關僚碎。

公式(1)中的 $e^{-rd(x)}$ 表示坐標空間 $x$ 處的透射率猴娩，我們使用 $t(x)$ 來表示透射率，于是得到公式（2）：

$I(x)=J(x)t(x)+A(1-t(x)).............................(2)$

由此可見勺阐，圖像去霧過程就是根據(jù) $I(x)$ 求解 $J(x)$ 的過程卷中。要求解出 $J(x)$ ，還需要根據(jù) $I(x)$ 求解出透射率 $t(x)$ 和全局大氣光 $A$ 渊抽。

實際上蟆豫，所有基于霧天退化模型的去霧算法就是是根據(jù)已知的有霧圖像 $I(x)$ 求解出透射率 $t(x)$ 和全局大氣光 $A$ 。

3.1 如何估計全局大氣光值A懒闷？

一十减，將圖像的亮度最大的點的灰度值作為全局大氣光值 $A$ 栈幸。
二，利用暗通道估計全局大氣光值 $A$ 帮辟。在暗通道去霧算法中速址，從暗原色通道中選取最亮的 $0.1%$ 比例的像素值，然后選取原輸入圖像中這些像素具有的最大灰度值作為全局大氣光值 $A$ 由驹。 $RGB$ 三通道中每一個通道都有一個大氣光值壳繁。
三，分塊遞歸思想估計全局大氣光值 $A$ 荔棉。具體思想就是先將圖像平均分為四個部分闹炉，然后分別求取四個部分中的平均亮度值，選取亮度值最大的塊润樱，將這個塊平均分為四個塊渣触，選取最亮的塊，當分解到塊的大小達到一定閾值時壹若，在這個塊中選取亮度最大的點作為全局大氣光A嗅钻。可以看到這有一個遞歸的過程。
四店展，分段思量估計全局大氣光值 $A$ 养篓。我記得這是一個韓國小哥提出的方法，對天空具有天然的免疫性赂蕴。我們觀察一般的圖像柳弄，天空部分一般被分配在圖像的上 $1/3$ 部分，因此將圖像水平分為 $3$ 個部分概说，然后在最上的 $1/3$ 部分使用暗通道估計算法估計全局大氣光 $A$ 碧注。
五，快速估計全局大氣光值 $A$ 糖赔。首先求取輸入圖像RGB三通道中的最小值萍丐，即求取暗原色通道圖像，然后對暗原色通道圖像進行均值濾波放典，然后求取其中灰度值最大的點逝变，接著求取輸入圖像RGB三通道中值最大的通道圖像，然后求取出灰度值最大的點奋构，然后將兩個點的灰度值的平均值作為全局大氣光A壳影。

3.2 如何估計透射率？

3.2.1 暗通道去霧算法估計透射率

在3.1節(jié)估計出全局大氣光值 $A$ 之后声怔，

根據(jù)公式(2)可以得出：

$t(x)=\frac{A-I(x)}{A-J(x)}...........................(3)$

首先可以確定的是 $t(x)$ 的范圍是 $[0, 1]$ 态贤， $I(x)$ 的范圍是 $[0,255]$ ， $J(x)$ 的范圍是 $[0, 255]$ 醋火。 $A$ 和 $I(x)$ 是已知的悠汽，可以根據(jù) $J(x)$ 的范圍從而確定 $t(x)$ 的范圍箱吕。已知的條件有：

$0<=J(x)<=255, 0<=I(x)<=A,0<=J(x)<=A,0<=t(x)<=1...............(4)$

$=>t(x)>=\frac{A-I(x)}{A-0}=\frac{A-I(x)}{A}=1-\frac{I(x)}{A}..................(5)$

根據(jù)(4)和(5)推出：
$1-\frac{I(x)}{A}<=t(x)<=1..................................(6)$

因此初略估計透射率的計算公式：

$t(x)=1-\frac{I(x)}{A}...........................................(7)$

最后為了保證圖片的自然性，增加一個參數(shù) $w$ 來調(diào)整透射率：

$t(x)=1-w\frac{I(x)}{A}..............................(8)$

3.2.2 利用迭代思想估計透射率

這個算法非常有意義柿冲，本人還沒來得及復現(xiàn)茬高，先來看看原理。首先假抄，如果想獲得更好的去霧效果怎栽，就要求去霧后的圖像對比度高，并且失真度小宿饱。然后對上面的公式(2)做一個變換可以得到：
$J(x)=\frac{1}{t(x)}I(x)-\frac{A}{t(x)}+A.................(9)$

可以發(fā)現(xiàn)熏瞄， $J(x)$ 和 $I(x)$ 在坐標軸上對應一條直線，其中直線和 $y$ 軸的交點是 $(0,-\frac{A}{t(x)})$ 谬以，和 $x$ 軸的交點是 $(A[1-t(x)], 0)$ 强饮。可以看到隨著 $I(x)$ 在 $(0,255)$ 的范圍內(nèi)進行變化为黎， $J(x)$ 會對應的產(chǎn)生負數(shù)或者超過 $255$ 邮丰，這就導致了圖像失真。因此為了改善這一缺點铭乾，論文提出使用下面的等式來衡量失真度剪廉。

$E_{loss}=\sum_{c\in (r,g,b)}{(min(0,J_c(x)))^2+(max(0,J_c(x)-255))^2}....................(10)$

我們使用均方誤差MSE來衡量對比度增強。

$E_{contrast}=\sum_{c\in(r,g,b)}\frac{(J_c(x)-J_{mean})^2}{N_{all}}=\sum_{c\in(r,g,b)\frac{(I_c(x)-I_{mean})^2}{t^2N_{all}}}...........(11)$

其中炕檩， $I_{mean}$ 表示平均值斗蒋， $N_{all}$ 表示像素點總數(shù)，因此我們要求取透射率使得 $E_{loss}-E_{contrast}$ 最小捧书。假設 $t(x)$ 從 $0.1$ 開始吹泡，增強是 $0.1$ 骤星，一直到 $1.0$ 結(jié)束经瓷，一共迭代 $9$ 次，選取其中使得上式最小的值作為該像素點的透射率洞难。

可以想一下舆吮，這種做法會導致什么問題？復雜度會增加 $10$ 倍队贱！ 為了改善這一問題色冀，我們可以假設一小塊區(qū)域的像素的透射率相同，計算每一小塊中 $E_{loss}-E_{contrast}$ 的最小值為該塊所有像素點的透射率柱嫌。

3.2.3 精細化透射率的例子

如何精細化透射率锋恬，典型的有以下幾種方法：

Soft matting（暗通道去霧論文中有提到）。
雙邊濾波编丘。
導向濾波与学。（已復現(xiàn)成功彤悔，后面分享）。

3.3 后處理

上面我們獲得了大氣光值 $A$ 以及透射率 $t(x)$ 索守，那么根據(jù)霧天退化模型我們就可以獲得去霧后的結(jié)果圖了晕窑。一般來說，去霧后的結(jié)果圖可能會偏暗卵佛，因此可以適當進行一些后處理如采用自動對比度增強杨赤，亮度增強，伽馬校正 （均在公眾號分享了）等圖像處理方法進行處理截汪，以便得效果更佳的無霧圖像疾牲。

OK，現(xiàn)在了解了去霧算法的重要理論接下來就直接開始盤點經(jīng)典算法衙解。

4. 帶色彩恢復的多尺度視網(wǎng)膜增強算法（MSRCR）

這篇論文主要提出了一個Retinex理論说敏，包含了兩個方面的內(nèi)容：物體的顏色是由物體對長波、中波和短波光線的反射能力決定的丢郊，而不是由反射光強度的絕對值決定的盔沫；物體的色彩不受光照非均勻性的影響,具有一致性。根據(jù)Retinex理論枫匾，人眼感知物體的亮度取決于環(huán)境的照明和物體表面對照射光的反射架诞，其數(shù)學表達式為：

$I(x,y)=L(x,y)*R(x,y).........(4-1)$

其中， $I(x,y)$ 代表被觀察或照相機接收到的圖像信號干茉； $L(x,y)$ 代表環(huán)境光的照射分量谴忧； $R(x,y)$ 表示攜帶圖像細節(jié)信息的目標物體的反射分量。

將上式兩邊取對數(shù)角虫，則可拋開入射光的性質(zhì)得到物體的本來面貌沾谓，即有關系式：

$Log[R(x,y)] = Log[I(x,y)]-Log[L(x,y)]......(4-2)$

這個技術運用到圖像處理上，就是針對我們現(xiàn)在已經(jīng)獲得的一幅圖像數(shù)據(jù) $I(x,y）$ 戳鹅，計算出對應的 $R(x,y)$ 均驶，則 $R(x,y)$ 認為是增強后的圖像，現(xiàn)在的關鍵是如何得到 $L(X,Y)$ 枫虏。Retinex理論的提出者指出這個 $L(x,y）$ 可以通過對圖像數(shù)據(jù) $I(x,y）$ 進行高斯模糊得到妇穴。

因此，算法流程可以總結(jié)為：

輸入: 原始圖像數(shù)據(jù) $I(x,y)$ ,尺度（也就是所謂的模糊的半徑）
計算原始圖像按指定尺度進行模糊后的圖像 $L(x,y)$ 隶债。
按照4-2式的計算方法計算出 $Log[R(x,y)]$ 的值腾它。
將 $Log[R(x,y)]$ 量化為 $0$ 到 $255$ 范圍的像素值，作為最終的輸出死讹。

具體效果怎么樣呢瞒滴？看張圖吧。

原圖

結(jié)果圖

5. CVPR 2009 暗通道去霧算法

原理見：OpenCV圖像處理專欄六 | 來自何凱明博士的暗通道去霧算法(CVPR 2009最佳論文)

原圖1

結(jié)果圖1

原圖2

結(jié)果圖2

6. 基于中值濾波進行去霧

算法原理：OpenCV圖像處理專欄十 | 利用中值濾波進行去霧

原圖

結(jié)果圖

7. A Fast Single Image Haze Removal Algorithm Using Color Attenuation Prior

這篇論文就更有意思了哦赞警。論文觀察到妓忍，單幅圖像去霧的難點在于圖像中包含的關于場景結(jié)構(gòu)等信息非常少稀并，因此很難獲得較為全面的信息從而進行去霧。然而单默，人的大腦在面對一幅圖像的時候其實是可以很快的分辨清楚哪里有霧碘举、哪里沒有，或者很快分辨清楚近景搁廓、遠景而不需要其他太多的資料引颈。基于這一思考境蜕，作者對很多副有霧圖像進行分析發(fā)現(xiàn)統(tǒng)計意義上的結(jié)論從而提出一個新的思路蝙场，通過對很多圖像的遠景、中景粱年、近景進行分析發(fā)現(xiàn)了霧的濃度與亮度和飽和度之差呈正比售滤。

作者通過2幅圖像分析了有霧和無霧圖像的區(qū)別：

Figure3

我們知道，霧天退化模型可以寫成：

$I(x)=J(x)t(x)+A(1-t(x))$

從Figure3中可以看到直接的衰減會導致反射能量的減弱台诗，從而導致brightness的低值完箩，也即 $J(x)t(x)$ 。同時拉队，大氣光成分會增強brightness的值并且降低飽和度saturation弊知。 總結(jié)下來，即為粱快，當霧的程度越大秩彤，大氣光成分的的影響越大事哭。因此鳍咱，論文考慮通過研究saturation和brightness之間的差來分析霧的濃度降盹。公式為：

在這里插入圖片描述

其中 $d(x)$ 為景深澎现， $c(x)$ 為霧濃度， $v(x)每辟，s(x)$ 分別為亮度值和飽和度值干旧。這個公式就是color attenuation prior椎眯。然后，作者通過構(gòu)建訓練樣本采集了超過500張圖像乳丰，最后得出了合適的參數(shù)产园。最終公式如下：

$d(x)=\theta_0+\theta_1v(x)+\theta_2s(x)+ \varepsilon (x)$

最終什燕，參數(shù)結(jié)果為：

$d(x)=0.121779+0.959710v(x)-0.780245s(x)+\varepsilon(x)$

論文地址為：http://ieeexplore.ieee.org/document/7128396/屎即。

8. 中部小結(jié)

上面列出了一些經(jīng)典的用傳統(tǒng)算法去霧的例子（姑且把它叫作圖像去霧的前世），接下來我們看看CNN是如何在這個領域發(fā)揮的（圖像去霧的今生）统台。

9. 2016 華南理工DehazeNet

論文和代碼下載官方地址：http://caibolun.github.io/DehazeNet/

這篇論文是較早使用深度學習來進行去霧的網(wǎng)絡饺谬，它是一個端到端的模型募寨，利用CNN來對大氣退化模型中的 $t(x)$ 進行估計仪缸。模型輸入霧圖恰画，輸出透射率 $t(x)$ 映射圖拴还，然后通過大氣退化模型來恢復無霧圖像片林。采用深度CNN結(jié)構(gòu)（4層）费封，并提出了一種新的非線性激活函數(shù)弓摘。提高了恢復圖像的質(zhì)量韧献。

DehazeNet的貢獻如下：

end2end系統(tǒng)势决，直接學習并估計傳輸率與有霧圖像的關系陈莽。
提出nonlinear激活函數(shù)走搁，稱為BReLU（雙邊ReLU）私植，取得了更好的恢復效果曲稼。
分析了DehazeNet與已有去霧技術之間的關系贫悄。

具體來說，作者先對暗通道去霧鸭津，最大對比度去霧（Maximum Contrast逆趋，MC，論文名為：Visibility in bad weather from a single image）吴汪，基于顏色衰減先驗去霧（Color Attenuation Prior漾橙，CAP霜运，論文名為：A fast single image haze removal algorithm using color attenuation prior）淘捡，基于色度不一致去霧（A fast single image haze removal algorithm using color attenuation prior）這些方法做了介紹激况，然后作者結(jié)合上面的方法進行網(wǎng)絡設計乌逐，網(wǎng)絡結(jié)構(gòu)主要分成4大部分：

特征提取浙踢。
多尺度映射洛波。
局部極值。
非線性回歸闻伶。

網(wǎng)絡結(jié)構(gòu)如下圖所示蓝翰。

DehazeNet結(jié)構(gòu)

9.1 特征提取

這里的特征提取和普通的CNN不同，這里采用“卷積+Maxout”的結(jié)構(gòu)作為網(wǎng)絡第一層爆雹。如下面公式所示：

特征提取

其中 $F$ 表示輸出的特征钙态， $i$ 代表第 $i$ 個册倒， $1$ 是是指第一層驻子， $k$ 是指 $k$ 個層進行 $Maxout$ 操作崇呵。 $W$ 和 $B$ 是權重和偏置荒辕。第一層是特征提取層兄纺，即提取有霧圖像特征估脆。本文中使用了 $16$ 個濾波器，通過 $Maxout Unit$ 的激活函數(shù)圃阳，每四個輸出一張圖捍岳。這里不 $Padding$ ，輸入是 $3*16*16$ 三通道的塊银萍。輸出的是四個 $12*12$ ,每一個代表一種特征贴唇。

作者指出链患，“卷積+Maxout”等價于傳統(tǒng)的手工去霧特征锣险。當W1是反向（Opposite）濾波器,通道的最大等價于通道的最小值，等價于暗通道先驗（DCP）；當W1是環(huán)形（Round）濾波器, 等價于對比度提取油吭，等價于最大對比度（MC）婉宰；當W1同時包含反向（Opposite）濾波器和全通（All-pass）濾波器，等價于RGB到HSV顏色空間轉(zhuǎn)換蟹腾，等價于顏色衰減先驗（CAP）娃殖。此外，從機器學習角度芬首，Maxout是一種樣條函數(shù)衩辟，具有更強的非線性擬合能力昼钻，如圖（d）然评。

Figure4

9.2 多尺度映射

使用空間多個尺度的卷積。分別使用 $16$ 個 $3\times 3,5\times ,7\times 7$ 的卷積核和特征圖進行卷積亿眠，最后一共獲得 $48$ 個 $12\times 12$ 大小的特征圖。

多尺度卷積細節(jié)

9.3 局部極值

根據(jù)假設竟趾，透射率具有局部不變性，所以使用了一個Max Pooling層（ $7\times 7$ 大邢铡）抑制透射率的估計噪聲。

9.4 非線性回歸

大氣透射率 $t(x)$ 是一個概率（0到1）铸本，不可能無窮大箱玷，也不可能無窮小。受到Sigmoid和ReLU激勵函數(shù)的啟發(fā)舶得，提出了新的激活函數(shù)（Bilateral Rectified Linear Unit纫骑，BReLU）先馆，在雙邊約束的同時，保證局部的線性仿野。激活函數(shù)圖如下：

BReLU

9.5 訓練

要獲取自然場景的有霧和無霧的圖像是十分困難的，所以作者使用了基于物理霧霾形成模型的綜合訓練集。從網(wǎng)絡上收集的圖像中隨機抽樣 $10,000$ 個大小為 $16\times 16$ 的無霧霾 $patch$ 桨螺。對于每個 $patch$ ，作者統(tǒng)一采樣 $10$ 個 $t$ 以生成 $10$ 個模糊 $patch$ ，這里為了減小變量學習的不確定性煌张，將大氣光 $A$ 設置為 $1$ ，共生成 $100,000$ 個 $16\times 16$ 的數(shù)據(jù)档玻。損失函數(shù)被定義為：

Loss

10. ICCV 2017 AOD-Net

論文名為：All-in-One Network for Dehazing and Beyond

這篇文章文并沒有單獨估計 $t(x)$ 和大氣光 $A$ ，而是通過輕量級的CNN直接生成清晰的圖像凉当，這種端到端的設計使得其可以嵌入到其他的模型中糯而，比如說物體檢測Faster-RCNN。

這篇文章的貢獻如下：

提出了一個end2end的去霧模型瓜贾，完成了有霧圖像到清晰圖像之間的轉(zhuǎn)化。通過 $K(x)$ 將 $t(x)$ 與 $A$ 統(tǒng)一龟劲，基于 $K(x)$ 可以完成對清晰圖像的重構(gòu)。
提出了新的比較去霧效果的客觀標準蚕愤，定量研究去霧質(zhì)量是如何影響后續(xù)高級視覺任務的，同時裕坊，其模型可以和其他深度學習模型無縫嵌套。

由霧天退化模型知可以知道静浴，表達式中有兩個未知數(shù)大氣光 $A$ 和透射率 $t(x)$ ，作者提出將這兩個未知數(shù)化為一個得问，即用 $K(x)$ 將 $A$ 與 $t(x)$ 相統(tǒng)一焚挠。其中， $b$ 是具有默認值的恒定偏差噩斟。

核心理論

網(wǎng)絡結(jié)構(gòu)如下：

All-in-One Network for Dehazing and Beyond 網(wǎng)絡結(jié)構(gòu)

其中齐鲤，K-estimation Module是利用輸入圖像 $I(x)$ 對未知變量 $K(x)$ 進行估計佳遂。而Clean image generation module 是將估計所得的 $K(x)$ 作為自適應變量輸入網(wǎng)絡，得到 $J(x)$ 。K-estimation Module 有點意思煤搜，作者是受到DehazeNet，MSCNN的啟發(fā)迹卢，使用五個卷積層徒仓，并通過融合不同大小的濾波器形成多尺度特征腐碱。值得注意的是，AOD-Net的每個卷積層僅僅使用了 $3$ 個卷積核掉弛。

11. CVPR 2018 DCPDN

論文標題： Densely Connected Pyramid Dehazing Network

論文的貢獻如下：

提出一個基于去霧公式的端到端的網(wǎng)絡症见。
一個保邊的密集連接的編解碼網(wǎng)絡生成 $t$ 喂走。
為了獲得去霧后的圖和t之間的關聯(lián)性谋作，使用判別器對它們進行聯(lián)合訓練芋肠。

DCPDN 網(wǎng)絡結(jié)構(gòu)

具體而言，對于產(chǎn)生 $t$ 圖的網(wǎng)絡遵蚜，采用的是多層金字塔池化模塊帖池。這里從DenseNet里直接取前三個DenseBlock和相應的下采樣層作為Encode模塊，然后同樣使用DenseBlock進行上采樣谬晕。這樣做的目的是可以通過金字塔池化獲得全局的信息碘裕，Dense模塊可以讓利于信息流動，加速收斂攒钳。同時為了帮孔，為了最后的輸出獲得多個scale的特征，同時保留這些特征的局部信息而不是只獲得全局信息不撑，這里使用了一個多scale的pooling層文兢，將不同級別的特征pooling到同一個尺度下，然后進行上采樣焕檬。網(wǎng)絡示意圖如下所示：

多層密集連接金字塔池化模塊

而對于 $A$ 姆坚，使用一個8個Block的UNet。

12. WACV 2019 GCANet

論文標題：Gated Context Aggregation Network for Image Dehazing and Deraining
這篇論文用GAN網(wǎng)絡实愚，實現(xiàn)可端到端的圖像去霧兼呵，本文的重點在于解決了網(wǎng)格偽影（grid artifacts）的問題，該文章的方法在PSNR和SSIM的指標上腊敲，有了極大的提升击喂，非常值得借鑒。

本文貢獻如下：

提出端到端的去霧網(wǎng)絡碰辅，不依賴于先驗懂昂。
采用了smooth dilated convolution 代替原有的dilated convolution，解決了原來的dilated convolution導致的grid artifacts問題没宾。
提出了一個gated fusion sub-network凌彬，融合high-level 及l(fā)ow-level 特征，提升復原效果循衰。

網(wǎng)絡結(jié)構(gòu)如Figure1所示铲敛，三個卷積模塊作為編碼部分，一個反卷積和兩個卷積作為解碼部分在二者之間插入多個smoothed dilated resblocks羹蚣。

GCANet結(jié)構(gòu)

12.1 Smoothed Dilated Convolution(平滑空洞卷積)

從昨天的推文【綜述】神經(jīng)網(wǎng)絡中不同種類的卷積層我們了解了空洞卷積原探。但空洞卷積有一個缺點，它會產(chǎn)生網(wǎng)格偽影，針對這一問題咽弦，作者用了一個簡單的分離卷積徒蟆。

Smoothed Dilated Convolution

在上圖中，上面這部分表示的是原始的空洞卷積型型，從圖中色塊可以看出段审，經(jīng)過空洞率大于 $1$ 的空洞卷積后，輸出的特征圖中相鄰的特征值與輸入特征圖是完全獨立的闹蒜，不存在相互依賴的關系寺枉，而我們知道圖像是局部相關的。因此绷落，特征層也應當保留此特性姥闪。所以下面部分的圖就是Smoothed Dilated Convolution了，在執(zhí)行空洞卷積之前砌烁，做了一次核為 $2\times r-1$ 的分離卷積筐喳，卷積的參數(shù)共享，經(jīng)過該層卷積之后函喉，每一個特征點都融合了周圍 $2\times r-1$ 大小的特征避归。該操作僅僅增加了 $(2\times r-1)\times (2\times r-1)$ 大小的參數(shù)，卻能有效的解決網(wǎng)格偽影問題管呵。

12.2 Gated Fusion Sub-network（門控融合子網(wǎng)）

這個子網(wǎng)絡主要是融合了不同層次的特征信息梳毙，和ASFF太像了。捐下。账锹。之前的網(wǎng)絡都是直接添加直連(shortcut)操作進行信息融合，這里的門控融合單元為不同層次的特征分別學習了權重坷襟，最后加權得到融合的特征層牌废。

門控融合子網(wǎng)融合方式

12.3 損失函數(shù)

損失函數(shù)

13. AAAI 2018 Disentangled Dehazing Network

論文標題：Towards Perceptual Image Dehazing by Physics-based Disentanglement and Adversarial Training

作者認為之前基于先驗知識的去霧，缺點在于先驗知識不是在任何情況都滿足的（比如說多光源啤握，大霧），并且不是監(jiān)督訓練的晶框。而基于CNN的去霧需要訓練集是成對的排抬，即同時有有霧圖像與無霧圖像。而一個有效的去霧模型應該能夠?qū)W習無霧圖像到有霧圖像的映射授段，無需使用成對監(jiān)督蹲蒲。并且人類對去霧后的圖像和沒去霧的圖像的感知應當是一致的，基于此侵贵，作者提出這個Disentangled Dehazing Network届搁，主要貢獻如下：

提出一種基于解耦的新型去霧網(wǎng)絡。
收集了具有挑戰(zhàn)性的數(shù)據(jù)集，包含800多個自然模糊圖像與1000個無霧的室外場景圖像卡睦。
通過對合成和真實圖像的數(shù)據(jù)集的廣泛實驗來評估感知圖像去霧宴胧。

一句話總結(jié)，將GAN用于去霧表锻。

13.1 解耦網(wǎng)絡 Disentangled Dehazing Network

論文引入基于解耦與重建的物理模型恕齐，目標是將有霧圖像解耦為隱藏特征值，再利用隱藏特征值重建圖像瞬逊。網(wǎng)絡的總體結(jié)構(gòu)如Figure1所示显歧。

Figure1

13.2 損失函數(shù)

損失函數(shù)包含三部分，重建損失确镊，對抗損失士骤，正則化損失。

重建損失蕾域。使用L1損失函數(shù)拷肌。

重建損失

多尺度對抗損失。為了生成更真實的圖像束铭，作者其對中間輸出 $J$ 引入了多尺度生成訓練廓块，受到（Isola et al. 2017) and (Zhu et al. 2017)啟發(fā)，作者使用了patch-level discriminator契沫，并進行了改進带猴，使用了局部鑒別器和全局鑒別器。如Figure2所示懈万。

Figure2

正則化損失拴清。在該部分，借鑒了前人的經(jīng)驗会通，使用medium transmission map的平滑性作為正則化損失口予。

正則化損失

最后，總的損失函數(shù)為：

總損失

目標函數(shù)為：

目標函數(shù)

13.3 圖像恢復

經(jīng)過網(wǎng)絡處理后涕侈，可以得到兩個去霧后的圖像沪停，一個是生成器 $G_J$ 的直接輸出，另一個是利用估計的 $t(x)$ 和 $A$ 來獲得的裳涛。這兩種方法得到的去霧圖像各有優(yōu)劣木张，其中生成器輸出得到的圖像傾向于生成具有更多紋理細節(jié)的圖像，并且在感知上更加清晰端三，但是其易于受到噪聲的影響并且會有undesirable artifacts舷礼，而用后種方式得到的圖像更平滑，所以作者將二者進行了混合郊闯。公式如下：

混合兩個無霧圖像

14. CVPR 2018 Cycle-Dehaze

論文題目：Enhanced CycleGAN for Single Image

這篇論文是基于《Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks》來做改進的妻献，前者設計了一個循環(huán)的對抗網(wǎng)絡學習圖像風格的遷移蛛株，使用不成對的圖像來訓練網(wǎng)絡。這篇論文在其基礎上加入了循環(huán)感知一致?lián)p失育拨，對圖片的特征進行監(jiān)督谨履。其實可以總結(jié)為一句話，改造CycleGAN用于去霧至朗。

沒興趣去看這篇論文了屉符，就不細講了，感興趣可以去讀一讀锹引。

15. 總結(jié)

今天是周六矗钟，花了很長的時間來盤點我所認識的圖片去霧，可以看到這并不是一件簡單的事嫌变。通過對圖像去霧的前世今身的了解吨艇，相信你和我一樣對圖像去霧有了更好一點點的認識了吧。

16. 參考

https://blog.csdn.net/u013684730/article/details/76640321

https://zhuanlan.zhihu.com/p/28942127

https://blog.csdn.net/Julialove102123/article/details/80199276

https://zhuanlan.zhihu.com/p/47386292

https://kevinj-huang.github.io/2019/03/03/%E5%8D%9A%E5%AE%A287/

http://www.cnblogs.com/jingyingH/p/10061286.html

https://blog.csdn.net/suixinsuiyuan33/article/details/7945106

?著作權歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者

人面猴
序言：七十年代末腾啥，一起剝皮案震驚了整個濱河市东涡，隨后出現(xiàn)的幾起案子，更是在濱河造成了極大的恐慌倘待，老刑警劉巖疮跑，帶你破解...
沈念sama閱讀 216,591評論 6贊 501
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件，死亡現(xiàn)場離奇詭異凸舵，居然都是意外死亡祖娘，警方通過查閱死者的電腦和手機，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 92,448評論 3贊 392
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進店門啊奄，熙熙樓的掌柜王于貴愁眉苦臉地迎上來渐苏，“玉大人，你說我怎么就攤上這事菇夸∏砀唬” “怎么了？”我有些...
開封第一講書人閱讀 162,823評論 0贊 353
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵庄新，是天一觀的道長鞠眉。經(jīng)常有香客問我，道長择诈，這世上最難降的妖魔是什么凡蚜？我笑而不...
開封第一講書人閱讀 58,204評論 1贊 292
?港島之戀（遺憾婚禮）
正文為了忘掉前任，我火速辦了婚禮吭从，結(jié)果婚禮上，老公的妹妹穿的比我還像新娘恶迈。我一直安慰自己涩金，他們只是感情好谱醇，可當我...
茶點故事閱讀 67,228評論 6贊 388
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布。她就那樣靜靜地躺著步做，像睡著了一般副渴。火紅的嫁衣襯著肌膚如雪。梳的紋絲不亂的頭發(fā)上全度，一...
開封第一講書人閱讀 51,190評論 1贊 299
城市分裂傳說
那天煮剧，我揣著相機與錄音，去河邊找鬼将鸵。笑死勉盅，一個胖子當著我的面吹牛，可吹牛的內(nèi)容都是我干的顶掉。我是一名探鬼主播草娜，決...
沈念sama閱讀 40,078評論 3贊 418
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼，長吁一口氣：“原來是場噩夢啊……” “哼痒筒！你這毒婦竟也來了宰闰？” 一聲冷哼從身側(cè)響起，我...
開封第一講書人閱讀 38,923評論 0贊 274
萬榮殺人案實錄
序言：老撾萬榮一對情侶失蹤簿透，失蹤者是張志新（化名）和其女友劉穎移袍，沒想到半個月后，有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體老充，經(jīng)...
沈念sama閱讀 45,334評論 1贊 310
?護林員之死
正文獨居荒郊野嶺守林人離奇死亡葡盗，尸身上長有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點故事閱讀 37,550評論 2贊 333
?白月光啟示錄
正文我和宋清朗相戀三年，在試婚紗的時候發(fā)現(xiàn)自己被綠了蚂维。大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片戳粒。...
茶點故事閱讀 39,727評論 1贊 348
活死人
序言：一個原本活蹦亂跳的男人離奇死亡，死狀恐怖虫啥，靈堂內(nèi)的尸體忽然破棺而出蔚约，到底是詐尸還是另有隱情，我是刑警寧澤涂籽，帶...
沈念sama閱讀 35,428評論 5贊 343
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布苹祟，位于F島的核電站，受9級特大地震影響评雌，放射性物質(zhì)發(fā)生泄漏树枫。R本人自食惡果不足惜，卻給世界環(huán)境...
茶點故事閱讀 41,022評論 3贊 326
男人毒藥：我在死后第九天來索命
文/蒙蒙一景东、第九天我趴在偏房一處隱蔽的房頂上張望砂轻。院中可真熱鬧，春花似錦斤吐、人聲如沸搔涝。這莊子的主人今日做“春日...
開封第一講書人閱讀 31,672評論 0贊 22
一樁弒父案，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽庄呈。三九已至蜕煌，卻和暖如春，著一層夾襖步出監(jiān)牢的瞬間诬留，已是汗流浹背斜纪。一陣腳步聲響...
開封第一講書人閱讀 32,826評論 1贊 269
情欲美人皮
我被黑心中介騙來泰國打工，沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留文兑，地道東北人盒刚。一個月前我還...
沈念sama閱讀 47,734評論 2贊 368
代替公主和親
正文我出身青樓，卻偏偏與公主長得像彩届，于是被迫代替她去往敵國和親伪冰。傳聞我的和親對象是個殘疾皇子，可洞房花燭夜當晚...
茶點故事閱讀 44,619評論 2贊 354