論文鏈接： https://arxiv.org/pdf/2005.04580.pdf
一缕陕、摘要
目前工業(yè)界對(duì)于24小時(shí)戶(hù)外成像這一課題的實(shí)踐是使用近紅外光(NIR)輔助的硅相機(jī)(silicon camera)。這種方式的缺點(diǎn)在于俘陷，白天光線(xiàn)充足時(shí)所成彩色圖像的對(duì)比度很差朗兵，夜間則缺乏色度。對(duì)于這一困境，當(dāng)前所有解決方案都是將RGB和IR圖像分開(kāi)獲取姐刁。這種方案增加了硬件開(kāi)銷(xiāo)，并有可能受到場(chǎng)景限制烦味。本文提出了一種新的集成（integrated聂使，或者譯成完整的？）圖像增強(qiáng)的方法谬俄，無(wú)論白天或黑夜都能產(chǎn)生清晰彩色圖像柏靶。本文的關(guān)鍵在于從混合信號(hào)中將VIS(可見(jiàn)光譜)和NIR信息分離開(kāi)，并在NIR信號(hào)的輔助下自適應(yīng)地增強(qiáng)VIS信號(hào)溃论。
二屎蜓、介紹與相關(guān)工作
1.1 本文貢獻(xiàn)Highlight：
- 提出一種完備的圖像增強(qiáng)方案，用于產(chǎn)生24小時(shí)高質(zhì)量的彩色圖像
- 設(shè)計(jì)一個(gè)成像系統(tǒng)的原型钥勋，構(gòu)建新的數(shù)據(jù)集炬转，包含aligned RAW/VIS/NIR images
- 提出一個(gè)用于enhancement的端到端網(wǎng)絡(luò)
注：關(guān)于本文提到的integrated的解釋：
Imaging under unstable illumination is the major challenge for many imaging systems. Most existing researches focus on specific cases, rather than providing an integrated 24hour colorful imaging solution.
1.2 相關(guān)背景：
以安防系統(tǒng)為代表的場(chǎng)景往往要求圖像系統(tǒng)提供穩(wěn)定而持續(xù)的24小時(shí)高質(zhì)量成像。然而周?chē)h(huán)境光照的變化對(duì)圖像質(zhì)量的影響為這一要求引入很大挑戰(zhàn)算灸，普通的相機(jī)在光線(xiàn)充足的白天成像問(wèn)題不大扼劈，但是夜晚由于光照原因，無(wú)法正常成像菲驴。為了克服夜晚光照不足對(duì)成像的影響荐吵，有以下幾種可行方案：
簡(jiǎn)單地打開(kāi)閃光燈或者增大曝光時(shí)間（提高成像時(shí)相機(jī)進(jìn)光量，注意會(huì)導(dǎo)致相機(jī)拍攝幀率降低）。這種方式并不適用：①改變成像色調(diào)及曝光范圍②導(dǎo)致成像模糊
使用近紅外補(bǔ)光來(lái)“照亮”物體捍靠，進(jìn)而獲取圖像沐旨。然而NIR的引入是一把雙刃劍：一方面NIR利用了硅傳感器在700-950nm波長(zhǎng)范圍的靈敏度，使得視覺(jué)信息可以在很暗的光線(xiàn)被獲日テ拧磁携； 另一方面NIR會(huì)影響視覺(jué)光譜（VIS）信息從而造成彩色圖像的降質(zhì)。
上述第二種方案被業(yè)界廣泛使用良风。為了解決其中的困境谊迄，一些致力于在圖像捕獲階段將VIS和NIR信息分開(kāi)的方法被提出：
IR cut filter（紅外截止濾光片）：當(dāng)攝像頭環(huán)境光線(xiàn)充足，切換到紅外截止濾光片烟央，此時(shí)圖像顏色非常好统诺，當(dāng)環(huán)境光線(xiàn)很暗，紅外燈開(kāi)啟疑俭，切換到全透濾光片粮呢，此時(shí)圖像為黑白清晰圖像。
使用特別定制的color filter array（濾色器陣列）钞艇，可以直接獲取VIS信號(hào)和NIR信號(hào)啄寡。但是可能需要花費(fèi)額外的精力設(shè)計(jì)類(lèi)似去馬賽克之類(lèi)的算法？可能存在圖像分辨率和質(zhì)量受限的問(wèn)題
使用兩個(gè)相機(jī)（圖像傳感器）哩照，一個(gè)獲取NIR信號(hào)挺物，另一個(gè)獲取VIS信號(hào)
方案1和3引入了額外的硬件成本。且多個(gè)傳感器之間的精確校準(zhǔn)也是一個(gè)挑戰(zhàn)飘弧。
本文方案：直接從單個(gè)普通硅相機(jī)獲取的混合信號(hào)中分離VIS和NIR信號(hào)识藤，并利用相對(duì)穩(wěn)定很多的NIR信號(hào)作為引導(dǎo)輸入，協(xié)助網(wǎng)絡(luò)對(duì)VIS信號(hào)的enhancement次伶。
能將VIS信號(hào)和NIR信號(hào)分離的理論依據(jù)：硅相機(jī)在較大波長(zhǎng)范圍（300-950nm）中獲得的VIS和NIR信號(hào)痴昧，在光譜上有相對(duì)比較明顯的區(qū)分，如下圖所示：
三冠王、本文方法介紹
3.1 本文中推導(dǎo)的成像模型：
首先剪个，一個(gè)傳感單元的信號(hào)強(qiáng)度取決于接受（釋放）的電子數(shù)目，或者光強(qiáng)度I版确。接收到的光強(qiáng)度I則可以表示為原始入射光線(xiàn)I0（各個(gè)波長(zhǎng)范圍內(nèi)電子光譜、透射率等綜合作用的結(jié)果）加上兩種噪聲綜合的結(jié)果乎折，即：
對(duì)波長(zhǎng)范圍的積分可以近似表示為R/G/B三個(gè)離散波長(zhǎng)數(shù)值處的累加結(jié)果绒疗，則混合成像模型可以簡(jiǎn)化為：
然后作者說(shuō)兩種噪聲可以分別用泊松分布和高斯分布來(lái)建模（雖然不知道說(shuō)這個(gè)有啥用），另外在假設(shè)Sv和Sn相互獨(dú)立的基礎(chǔ)上骂澄，可以把模型進(jìn)一步簡(jiǎn)化：
注意和
共用這一建模形式吓蘑。作者得出結(jié)論，VIS信號(hào)和NIR信號(hào)的強(qiáng)度分別取決于VIS照度水平
和NIR照度水平
。（感覺(jué)作者上面推那么多好像其實(shí)就是想得出這么個(gè)結(jié)論而已...感覺(jué)公式有點(diǎn)強(qiáng)行）
3.2 本文貢獻(xiàn)的VIS-NIR-MIX（VNM）數(shù)據(jù)集
作者根據(jù)上面的分析磨镶，提到由于VIS信號(hào)照度水平在一天之內(nèi)變化會(huì)比較大溃蔫，導(dǎo)致也會(huì)產(chǎn)生劇烈變化。當(dāng)
不充分時(shí)
的信噪比會(huì)很低琳猫。而
就不存在該問(wèn)題伟叛，由于額外的NIR補(bǔ)光存在，NIR在一天之內(nèi)可以保持非常穩(wěn)定且充足的照度水平脐嫂，故NIR的信號(hào)強(qiáng)度也非常穩(wěn)定统刮，信噪比較高≌饲В基于這些事實(shí)侥蒙，作者設(shè)計(jì)了采集數(shù)據(jù)的方案：
采集目標(biāo)：①采集白天和夜晚的NIR-VIS帶噪聲混合數(shù)據(jù)，作為模型輸入匀奏；②采集白天和夜晚的NIR/VIS兩種數(shù)據(jù)鞭衩，用來(lái)訓(xùn)練SeperationNet，將mixed image分開(kāi)娃善；③采集高質(zhì)量的VIS數(shù)據(jù)论衍，用于訓(xùn)練RestorationNet與ColorizationNet（如果夜晚采集可以通過(guò)long exposure實(shí)現(xiàn)）
每個(gè)場(chǎng)景采集7張圖像：
3.3 模型架構(gòu)與Loss設(shè)置：
整體來(lái)說(shuō)模型結(jié)構(gòu)比較粗暴，各個(gè)模塊都由一個(gè)Unet的子網(wǎng)絡(luò)構(gòu)成会放。具體來(lái)說(shuō)分為四個(gè)sub-Unet：
SeperationNet：輸入為mix圖像饲齐，label為NIR圖像。用于從原始信號(hào)分離NIR信號(hào)咧最；
PropotionNet：輸入為mix圖像捂人，沒(méi)有直接label，預(yù)測(cè)出一個(gè)deviation prob map矢沿，然后讓mix image - prob_map * NIR圖像滥搭，得到VIS圖像，對(duì)預(yù)測(cè)的VIS圖像做監(jiān)督捣鲸。
這里作者的解釋是瑟匆，在采集NIR數(shù)據(jù)（比如，用一個(gè)700-850nm波長(zhǎng)段的濾波器）時(shí)栽惶，由于該波長(zhǎng)段除了NIR信號(hào)其實(shí)也包含部分VIS信號(hào)（見(jiàn)下圖）愁溜，實(shí)際上采集到的“NIR信號(hào)”也是一種混合信號(hào)，只不過(guò)可能NIR信號(hào)在其中所占據(jù)比例比較大外厂。故可以先讓模型預(yù)測(cè)出“混合NIR信號(hào)”中純凈NIR信號(hào)的占比冕象，然后通過(guò)乘以這個(gè)prob map得到純凈NIR信號(hào)，再用輸入的mix信號(hào)減去純凈NIR信號(hào)汁蝶，即得到了分離出的純凈VIS信號(hào)（或者是帶噪聲的VIS信號(hào)渐扮，但是不包含NIR信號(hào)论悴？按作者的意思，純凈VIS信號(hào)+純凈NIR信號(hào)應(yīng)該是等于無(wú)噪聲的mix信號(hào)）墓律。RestorationNet：輸入為NIR信號(hào)+分離的VIS信號(hào)的Y通道（lumination component）膀估，預(yù)測(cè)出enhanced VIS-Y，label應(yīng)該是高質(zhì)量的VIS圖像的Y通道耻讽；
ColorizationNet：輸入為分離的VIS信號(hào)的UV通道察纯，預(yù)測(cè)出enhanced VIS-UV通道（chrominance component），該sub net沒(méi)有直接監(jiān)督齐饮，而是將enhanced VIS-Y和enhanced VIS-UV堆疊起來(lái)轉(zhuǎn)換為RGB之后捐寥，使用高質(zhì)量的VIS RGB label做監(jiān)督。值得注意的是作者在預(yù)測(cè)VIS-UV時(shí)并沒(méi)有將預(yù)測(cè)結(jié)果上采樣到原圖大小祖驱，而是上采樣到原分辨率的1/4握恳，YUV合并前再resize回去。這里作者解釋說(shuō)是瓭色彩信息相比亮度intensity信息捺僻，在空間頻率上低一些乡洼，故一定程度的壓縮可能不影響視覺(jué)感受，但是對(duì)于denoising和enhancement會(huì)有好處（為什么匕坯？）束昵。
Loss函數(shù)：
對(duì)于Seperation部分，
代表VIS的損失葛峻，
代表NIR的損失锹雏，
代表MAE，
代表SSIM术奖，這里用
來(lái)對(duì)輸入輸出之間的結(jié)構(gòu)一致性做一個(gè)監(jiān)督礁遵。
代表一個(gè)結(jié)構(gòu)上的平滑約束項(xiàng)，這里沒(méi)太看懂
對(duì)于Restoration部分采记，v2和y分別代表高質(zhì)量VIS的RGB形式和Y分量（感覺(jué)符號(hào)表示的比較奇怪）佣耐，最后一項(xiàng)
代表會(huì)對(duì)預(yù)測(cè)的RGB和GT RGB做一個(gè)percepual loss，以進(jìn)一步提升重建圖像的高層信息一致性唧龄。
四兼砖、信息記錄
4.1 名詞解釋?zhuān)?/h5>
- CFA：color filter array與Bayer Filter
背景：
物體反射的光線(xiàn)被相機(jī)的光電傳感器接收到，但是光電傳感器只能感覺(jué)到intensity信息既棺，對(duì)光的波長(zhǎng)信息沒(méi)有分辨力讽挟。所以無(wú)法分辨顏色信息。為了要分辨顏色信息丸冕，需要分別用R/G/B對(duì)應(yīng)波長(zhǎng)段的濾鏡來(lái)過(guò)濾入射光并接收耽梅，以獲取R/G/B三個(gè)通道。但是這種方式使得相機(jī)中的傳感元件體積很大晨仑，成本很高。拜耳過(guò)濾器的出現(xiàn)解決了這一問(wèn)題。
成像過(guò)程：
-
首先拜耳過(guò)濾器被放置于像素傳感器上方洪己，一個(gè)顏色對(duì)應(yīng)一個(gè)像素妥凳，即每個(gè)重復(fù)的模式占據(jù)四個(gè)像素傳感器單元。
拜耳過(guò)濾器與像素傳感器的關(guān)系 經(jīng)過(guò)上述濾色器陣列-像素傳感器組成的成像元件之后答捕，生成原始數(shù)據(jù)：每個(gè)像素只有R/G/B中的一個(gè)顏色逝钥，丟失的兩種顏色需要通過(guò)去馬賽克算法來(lái)估計(jì)出來(lái)
與3-sensor相機(jī)的比較：
- 白平衡：
4.2 不理解的地方記錄
- 本文貢獻(xiàn)的數(shù)據(jù)集和代碼都未公開(kāi)？
- 模型訓(xùn)練時(shí)拱镐，輸入是白天/夜晚的mix圖像艘款，SeperationNet的label是通過(guò)NIR pass filter和VIS pass filter得到的NIR和VIS信號(hào)。那么 RestorationNet的label是什么沃琅？
用的應(yīng)該是long exposure的VIS信號(hào)的Y分量哗咆，
用的是VIS信號(hào)的RGB形式？那如果訓(xùn)白天數(shù)據(jù)的話(huà)益眉，SeperationNet的VISlabel和RestorationNet的VIS-Y label及VIS-RGB label是不是同一張圖像對(duì)應(yīng)的晌柬？論文講的不太清楚。
- 夜晚采集的NIR數(shù)據(jù)有用嗎郭脂？文章中說(shuō)白天采集的VIS和NIR數(shù)據(jù)由于SNR比較大可以忽略噪年碘；同時(shí)NIR信號(hào)強(qiáng)度在白天和晚上變化不大，那是不是對(duì)同一個(gè)場(chǎng)景展鸡，SeperationNet都應(yīng)該用白天的NIR數(shù)據(jù)屿衅？
- 公式9中這個(gè)形式為什么可以描述輸入圖像和輸出圖像的structure-awareness？并不是一個(gè)歸一化的指標(biāo)莹弊？
- 數(shù)據(jù)采集階段的LED simulation是做什么的涤久？
- 在ColorizationNet預(yù)測(cè)UV分量時(shí)作者提到由于相對(duì)空間頻率低一些可以容忍一定程度壓縮，故預(yù)測(cè)的分辨率比原土低箱硕，作者還說(shuō)這樣便于去噪和enhancement拴竹，為什么？
4.3 相關(guān)詞匯記錄：
- to this end: 為此
- surveillance systems：監(jiān)控系統(tǒng)
- ambient: 周?chē)木缯郑h(huán)境的
- superposition：疊加
- meticulous calibration：精細(xì)校準(zhǔn)
