低亮度圖片增強(qiáng)方法：基于多圖像融合的低亮度圖片增強(qiáng)算法

這篇博客介紹兩篇基于多圖像融合的低亮度圖片增強(qiáng)算法：

A fusion-based enhancing method for weakly illuminated images （multi_fusion）
A New Image Contrast Enhancement Algorithm Using Exposure Fusion Framework （EFF）

基于多圖像融合的低亮度質(zhì)量評價算法主要考慮融合多幅圖片來進(jìn)行低亮度圖片的增強(qiáng)。

A fusion-based enhancing method for weakly illuminated images

multi_fusion的框架

提出基于morphologically closing operation的圖像亮度分量估計(jì)的算法
提出從全局亮度提升、局部對比度增強(qiáng)和保持自然程度上增強(qiáng)亮度分量啼肩。
提出基于融合的增強(qiáng)算法來增強(qiáng)亮度分量扫皱。

估計(jì)亮度分量

由Retinex理論：

$S^{c}(x, y)=R^{c}(x, y) I(x, y)$

其中 $I(x, y)$ 是亮度分量谦炬， $R^{c}(x, y)$ 是RGB通道上的反射分量挺益， $S$ 是待增強(qiáng)的分量枕扫。

首先活翩，使用RGB通道上每個pixel的最大值最為亮度分量的一個估計(jì)值丧荐。

$L(x, y)=\max _{c \in\{R, G, B\}} S^{c}(x, y)$

因?yàn)閳D像的亮度分量一般是局部光滑的缆瓣，所以文章中使用了形態(tài)學(xué)中的閉環(huán)操作來進(jìn)一步估計(jì)亮度分量：

$I=\frac{L \bullet P}{255}$

公式中除以255是為了將亮度分量限制到了[0,1]，文章中選取了disk作為結(jié)構(gòu)元素虹统。

亮度分量通過guided filter來保持the shape of large contours：

$I_{i} \leftarrow \sum_{j} W_{i j}(g) I_{j}$

$W_{i j}(g)=\frac{1}{|\omega|^{2}} \sum_{k :(i, j) \in \omega_{k}}\left(1+\frac{\left(g_{i}-\mu_{k}\right)\left(g_{j}-\mu_{k}\right)}{\sigma_{k}^{2}+\varepsilon}\right)$

$\omega_k$ 是中心在 $k$ 上的窗口弓坞。

亮度分量的增強(qiáng)

multi_fusion融合了多幅增強(qiáng)的亮度分量：

原始估計(jì)的亮度分量 $I$
全局亮度增強(qiáng)的亮度分量：
文章中使用 $I$ 的arc tangent變換作為全局的亮度增強(qiáng)的亮度分量：
$I_{2}(x, y)=\frac{2}{\pi} \arctan (\lambda I(x, y))$
其中 $\lambda$ 是控制亮度程度的變量，對于亮度較低的像素车荔， $\lambda$ 的值越大渡冻。
$\lambda=10+\frac{1-I_{\text {mean}}}{I_{\text {mean}}}$
局部對比度增強(qiáng)的亮度分量：
由于全局亮度的增強(qiáng)會抑制局部的對比度，因此待融合的第三幅圖是局部對比度增強(qiáng)的亮度分量忧便。文中用的方法是CLAHE（contrast local adaptive histogram equalization）族吻。

權(quán)重的估計(jì)

亮度權(quán)重 $W_{B}$ ：
亮度權(quán)重應(yīng)當(dāng)對于正常曝光的像素賦予較高的權(quán)重，對于過曝或是低亮度的圖片應(yīng)該賦予較低的權(quán)重珠增。
為此超歌，作者統(tǒng)計(jì)了超過2000張正常曝光圖片的像素分布，并用高斯分布來進(jìn)行擬合蒂教，可以得到：
$W_{B, k}(x, y)=\exp \left\{-\frac{\left(I_{k}(x, y)-0.5\right)^{2}}{2(0.25)^{2}}\right\}$
色彩對比度權(quán)重 $W_{C}$
色彩對比度對于視覺質(zhì)量評價很重要巍举，為此，文章中計(jì)算色彩濾波公式作為 $W_{C}$ ：
$W_{C, k}(x, y)=I_{k}(x, y)(1+\cos (\alpha H(x, y)+\phi) S(x, y))$
其中 $H$ 和 $S$ 為HSV空間中的H和S分量悴品， $\alpha$ 用來保持color opponency禀综， $\phi$ 是offset angle of the color wheel，文章將 $\alpha$ 設(shè)置為2苔严， $\phi$ 設(shè)置為250 degree定枷。

最后，權(quán)重由以下公式表示：
$W_{k}(x, y)=W_{B, k}(x, y) W_{C, k}(x, y)$

$W_{k} \overline(x, y)=\frac{W_{k}(x, y)}{\sum_{k} W_{k}(x, y)}$

多尺度融合

文章中首先將各個亮度分量 $I_{k}$ 通過Laplacian金字塔分解為多個尺度上特征圖届氢，將權(quán)重 $W_{k} \overline(x, y)$ 使用高斯金字塔光滑過度的部分欠窒。

將第 $l$ 金字塔層的圖像進(jìn)行融合：
$F_{l}(x, y)=\sum_{k} G_{l}\left\{W_{k}(x, y)\right\} L_{l}\left\{I_{k}(x, y)\right\}$

融合多個金字塔層的圖像：
$I_{\text {final}}(x, y)=\sum_{l} U_3zkoz1l\left(F_{l}(x, y)\right)$
其中 $U_d$ 是上采樣操作。

最后增強(qiáng)的圖片由下式得到：
$S_{\text {enhanced}}^{c}(x, y)=R^{c}(x, y) I_{\text {final}}(x, y)$

A New Image Contrast Enhancement Algorithm Using Exposure Fusion Framework

EFF考慮融合同一場景下不同曝光程度的圖片來增強(qiáng)低亮度圖片退子。

Exposure Fusion Framework

為了得到完美曝光的圖片岖妄，Exposure Fusion框架融合了不同曝光的圖片：
$\mathbf{R}^{c}=\sum_{i=1}^{N} \mathbf{W}_{i} \circ \mathbf{P}_{i}^{c}$
其中 $\mathbf{P}_{i}^{c}$ 是各個顏色通道上的不同曝光率下的圖片， $\mathbf{W}_{i}$ 為對應(yīng)的權(quán)重寂祥。

由之前基于相機(jī)響應(yīng)模型的低亮度圖片增強(qiáng)算法荐虐，我們可以得到同一場景下，不同曝光率的圖片間的轉(zhuǎn)換公式：

$\mathbf{P}_{i}=g\left(\mathbf{P}, k_{i}\right)$

在這篇文章中丸凭，作者只考慮了兩種曝光率的圖片福扬，第一種是低亮度下的圖片腕铸，另一種是低亮度下的圖片使用曝光增強(qiáng)后的圖片。

$\mathbf{R}^{c}=\mathbf{W} \circ \mathbf{P}^{c}+(\mathbf{1}-\mathbf{W}) \circ g\left(\mathbf{P}^{c}, k\right)$

權(quán)重的設(shè)計(jì)

由于需要將曝光完好的像素賦予更大的權(quán)重铛碑，所以文章中使用圖片的亮度分量作為權(quán)重：
$\mathbf{W}=\mathbf{T}^{\mu}$
其中 $\mu$ 用來調(diào)節(jié)增強(qiáng)的程度

對于亮度分量的求解可參考原文或是之前介紹基于相機(jī)響應(yīng)模型的低亮度圖片增強(qiáng)算法的博客狠裹。

相機(jī)的相應(yīng)模型

與之前介紹基于相機(jī)響應(yīng)模型的低亮度圖片增強(qiáng)算法的博客中一致：
$g(\mathbf{P}, k)=\beta \mathbf{P}^{\gamma}=e^{b\left(1-k^{a}\right)} \mathbf{P}^{\left(k^{a}\right)}$

除了原圖外另一幅帶融合圖的曝光比的求解

文章中首先排除了原圖中曝光較好的像素點(diǎn)：
$\mathrm{Q}=\{\mathbf{P}(x) | \mathbf{T}(x)<0.5\}$
其中 $\mathrm{Q}$ 只包含了曝光不足的像素點(diǎn)。

$\mathrm{Q}$ 的亮度部分定義為：
$\mathbf{B} :=\sqrt[3]{\mathbf{Q}_{r} \circ \mathbf{Q}_{g} \circ \mathbf{Q}_汽烦}$

則對于曝光率增強(qiáng)后的亮度分量有：
$\begin{aligned} \mathbf{B}^{\prime} & :=\sqrt[3]{\mathbf{Q}_{r}^{\prime} \circ \mathbf{Q}_{g}^{\prime} \circ \mathbf{Q}_涛菠^{\prime}} \\ &=\sqrt[3]{\left(\beta \mathbf{Q}_{r}^{\gamma}\right) \circ\left(\beta \mathbf{Q}_{g}^{\gamma}\right) \circ\left(\beta \mathbf{Q}_^{\gamma}\right)}=\beta\left(\sqrt[3]{\mathbf{Q}_{r} \circ \mathbf{Q}_{g} \circ \mathbf{Q}_撇吞}\right)^{\gamma} \\ &=\beta \mathbf{B}^{\gamma} \end{aligned}$

將曝光不足的像素點(diǎn)轉(zhuǎn)化為曝光正常的像素點(diǎn)后俗冻，可以提供的信息應(yīng)該變大，所以梢夯，這里使用了圖片墑最大化來求解曝光比：

$\mathcal{H}(\mathbf{B})=-\sum_{i=1}^{N} p_{i} \cdot \log _{2} p_{I}$

$\hat{k}=\underset{k}{\operatorname{argmax}} \mathcal{H}(g(\mathbf{B}, k))$

則由
$\mathbf{R}^{c}=\mathbf{W} \circ \mathbf{P}^{c}+(\mathbf{1}-\mathbf{W}) \circ g\left(\mathbf{P}^{c}, k\right)$
可得到增強(qiáng)后的圖片言疗。

代碼實(shí)現(xiàn)

https://xueyangfu.github.io/projects/sp2016.html
https://baidut.github.io/OpenCE/caip2017.html

效果比較

低亮度圖

增強(qiáng)圖_multi_fusion

增強(qiáng)圖_EFF

參考文獻(xiàn)

https://www.sciencedirect.com/science/article/pii/S0165168416300949
https://link.springer.com/chapter/10.1007/978-3-319-64698-5_4

最后編輯于：2019.06.09 00:27:36

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者

人面猴
序言：七十年代末，一起剝皮案震驚了整個濱河市颂砸，隨后出現(xiàn)的幾起案子，更是在濱河造成了極大的恐慌死姚，老刑警劉巖人乓，帶你破解...
沈念sama閱讀 217,277評論 6贊 503
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件，死亡現(xiàn)場離奇詭異都毒，居然都是意外死亡色罚，警方通過查閱死者的電腦和手機(jī)，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 92,689評論 3贊 393
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進(jìn)店門账劲，熙熙樓的掌柜王于貴愁眉苦臉地迎上來戳护，“玉大人，你說我怎么就攤上這事瀑焦‰缜遥” “怎么了？”我有些...
開封第一講書人閱讀 163,624評論 0贊 353
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵榛瓮，是天一觀的道長铺董。經(jīng)常有香客問我，道長禀晓，這世上最難降的妖魔是什么精续？我笑而不...
開封第一講書人閱讀 58,356評論 1贊 293
?港島之戀（遺憾婚禮）
正文為了忘掉前任，我火速辦了婚禮粹懒，結(jié)果婚禮上重付，老公的妹妹穿的比我還像新娘。我一直安慰自己凫乖，他們只是感情好确垫，可當(dāng)我...
茶點(diǎn)故事閱讀 67,402評論 6贊 392
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布愕把。她就那樣靜靜地躺著，像睡著了一般森爽。火紅的嫁衣襯著肌膚如雪恨豁。梳的紋絲不亂的頭發(fā)上，一...
開封第一講書人閱讀 51,292評論 1贊 301
城市分裂傳說
那天爬迟，我揣著相機(jī)與錄音橘蜜，去河邊找鬼。笑死付呕，一個胖子當(dāng)著我的面吹牛计福，可吹牛的內(nèi)容都是我干的。我是一名探鬼主播徽职，決...
沈念sama閱讀 40,135評論 3贊 418
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼象颖，長吁一口氣：“原來是場噩夢啊……” “哼！你這毒婦竟也來了姆钉？” 一聲冷哼從身側(cè)響起说订，我...
開封第一講書人閱讀 38,992評論 0贊 275
萬榮殺人案實(shí)錄
序言：老撾萬榮一對情侶失蹤，失蹤者是張志新（化名）和其女友劉穎潮瓶，沒想到半個月后陶冷，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體像街，經(jīng)...
沈念sama閱讀 45,429評論 1贊 314
?護(hù)林員之死
正文獨(dú)居荒郊野嶺守林人離奇死亡监右，尸身上長有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點(diǎn)故事閱讀 37,636評論 3贊 334
?白月光啟示錄
正文我和宋清朗相戀三年，在試婚紗的時候發(fā)現(xiàn)自己被綠了泛领。大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片思恐。...
茶點(diǎn)故事閱讀 39,785評論 1贊 348
活死人
序言：一個原本活蹦亂跳的男人離奇死亡沾谜，死狀恐怖，靈堂內(nèi)的尸體忽然破棺而出胀莹，到底是詐尸還是另有隱情基跑，我是刑警寧澤，帶...
沈念sama閱讀 35,492評論 5贊 345
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布嗜逻，位于F島的核電站涩僻，受9級特大地震影響，放射性物質(zhì)發(fā)生泄漏栈顷。R本人自食惡果不足惜逆日，卻給世界環(huán)境...
茶點(diǎn)故事閱讀 41,092評論 3贊 328
男人毒藥：我在死后第九天來索命
文/蒙蒙一、第九天我趴在偏房一處隱蔽的房頂上張望萄凤。院中可真熱鬧室抽，春花似錦、人聲如沸靡努。這莊子的主人今日做“春日...
開封第一講書人閱讀 31,723評論 0贊 22
一樁弒父案晓折，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽。三九已至兽泄，卻和暖如春漓概，著一層夾襖步出監(jiān)牢的瞬間，已是汗流浹背病梢。一陣腳步聲響...
開封第一講書人閱讀 32,858評論 1贊 269
情欲美人皮
我被黑心中介騙來泰國打工胃珍，沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留，地道東北人蜓陌。一個月前我還...
沈念sama閱讀 47,891評論 2贊 370
代替公主和親
正文我出身青樓觅彰，卻偏偏與公主長得像，于是被迫代替她去往敵國和親钮热。傳聞我的和親對象是個殘疾皇子填抬，可洞房花燭夜當(dāng)晚...
茶點(diǎn)故事閱讀 44,713評論 2贊 354