想在黑暗中看清周圍，不可避免地要用到夜視儀硫戈。那么如果是想在黑暗中拍照荞膘，又沒有閃光燈罚随，如何才能排到清晰的照片？在CVPR 2018上羽资，英特爾實(shí)驗(yàn)室的Vladlen Koltun和陳啟峰帶領(lǐng)的團(tuán)隊(duì)提出了一種在黑暗中快速成像的系統(tǒng)毫炉，效果非常贊。
在暗光下的圖像易受到低信噪比和低亮度的影響削罩。短曝光的照片會(huì)出現(xiàn)很多早點(diǎn)瞄勾，而長(zhǎng)曝光會(huì)讓照片變得模糊费奸、不真實(shí)。目前已經(jīng)有很多去噪进陡、去模糊愿阐、圖像增強(qiáng)的技術(shù)，但是在極端條件下趾疚，他們的作用就很有限了缨历。為了發(fā)展基于學(xué)習(xí)的低光度圖像處理，我們引入了一個(gè)數(shù)據(jù)集糙麦，內(nèi)含有原始短曝光低亮度圖片辛孵，同時(shí)還有對(duì)應(yīng)的長(zhǎng)時(shí)間曝光的圖像。利用該數(shù)據(jù)集赡磅。我們創(chuàng)建了一個(gè)機(jī)遇端到端訓(xùn)練的全卷積網(wǎng)絡(luò)魄缚，用于處理低亮度圖像。網(wǎng)絡(luò)直接使用原始傳感器數(shù)據(jù)焚廊，并替代了大量傳統(tǒng)圖像處理的流程冶匹。最終我們發(fā)現(xiàn)新數(shù)據(jù)集的結(jié)果很有前景。
概述
噪點(diǎn)在任何成像系統(tǒng)中都存在咆瘟，但在亮度較低的環(huán)境中成像就更加困難嚼隘。提高ISO可以增加亮度，但也會(huì)造成更多噪點(diǎn)袒餐。后期處理也是改善噪點(diǎn)過多的方法飞蛹，但這并不能解決信噪比（SNR）低的問題。其他手段雖然能提高SNR灸眼，但都有各自的缺陷桩皿。
的確，在低亮度中快速成像的問題一直沒有好的解決方法幢炸。研究人員提出了各種去噪泄隔、去模糊、提高亮度的技術(shù)宛徊。但這些技術(shù)都是假設(shè)照片是在略暗淡佛嬉、稍有噪點(diǎn)的環(huán)境中捕捉到的。相反闸天，我們想研究的是在非常黑暗的情況下的成像效果暖呕，例如月光下。在這種條件下苞氮，傳統(tǒng)相機(jī)成像的過程就無(wú)能為力了湾揽，圖片必須用原始傳感器數(shù)據(jù)重新構(gòu)建。
我們提出的系統(tǒng)效果（最右）如圖1所示：
圖1
左圖中，環(huán)境中的亮度極低库物，相機(jī)的亮度小于0.1lux霸旗，快門速度為1/30，光圈為f/5.6戚揭，ISO為8000（通常這已經(jīng)很高了）诱告。但是照相機(jī)照出來(lái)仍然是漆黑一片（這可是用索尼全畫幅傳感器）。
中間圖中民晒，把ISO調(diào)到409600精居，這已經(jīng)超過了大多數(shù)相機(jī)的極限了，可以看到照出來(lái)的圖像了潜必，但是圖像顯得很暗靴姿，噪點(diǎn)較多，色彩失真磁滚。
而最右邊我們的方法則清晰了許多佛吓。具體來(lái)說，我們訓(xùn)練了深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)處理低亮度原始圖像數(shù)據(jù)的過程恨旱，包括色彩轉(zhuǎn)化辈毯、去馬賽克坝疼、減少噪點(diǎn)搜贤、圖像質(zhì)量提高等等。
數(shù)據(jù)集
目前大多數(shù)處理低亮度的圖片都是在合成數(shù)據(jù)或沒有對(duì)應(yīng)標(biāo)準(zhǔn)的低亮度圖像上進(jìn)行的钝凶，據(jù)我們所知仪芒，沒有一個(gè)公開數(shù)據(jù)集可以用來(lái)訓(xùn)練或是測(cè)試低亮度圖像處理。于是耕陷，我們就新建了一個(gè)數(shù)據(jù)集掂名，稱為See-in-the-Dark（SID）。數(shù)據(jù)集中共有5094張圖像哟沫，它們都是在低亮度條件下捕捉到的饺蔑、快速曝光的原始圖像。每個(gè)低亮度圖片都有對(duì)應(yīng)的長(zhǎng)時(shí)間曝光高質(zhì)量圖片（注意嗜诀，一張高質(zhì)量圖片可能對(duì)應(yīng)多張低亮度圖片）猾警。
數(shù)據(jù)集包括室內(nèi)和室外的圖像，室外圖像大多于夜晚拍攝隆敢，光源來(lái)自月光或者路燈发皿。室外場(chǎng)景的相機(jī)亮度在0.2lux和5lux之間。室內(nèi)圖像就更暗一些了拂蝎，通常在0.03lux到0.3lux之間穴墅。
輸入圖像的曝光時(shí)間通常在1/30秒到1/10秒之間，相對(duì)應(yīng)的正常圖片的曝光時(shí)間為10到30秒。數(shù)據(jù)集的具體參數(shù)可看下表：
經(jīng)過長(zhǎng)時(shí)間曝光的正常圖片仍含有少許噪點(diǎn)玄货，但是從視覺上已經(jīng)達(dá)到標(biāo)準(zhǔn)圖片的水平了皇钞。我們希望我們創(chuàng)建的應(yīng)用可以在低光度環(huán)境下生成表現(xiàn)良好的圖像，而不是徹底消除所有噪點(diǎn)或讓圖像對(duì)比度最大化誉结。
模型成像方法
從成像傳感器中得到原始數(shù)據(jù)后鹅士，傳統(tǒng)圖像處理過程會(huì)應(yīng)用一系列模塊，例如白平衡惩坑、去馬賽克掉盅、去噪、增加銳度等等以舒。而這些模塊只是在某些相機(jī)中才有趾痘。Jiang等人提出，用本地蔓钟、線性永票、可學(xué)習(xí)的（L3）過濾器來(lái)模型現(xiàn)代成像系統(tǒng)中復(fù)雜的非線性流程。但是滥沫，這些方法都無(wú)法成功解決在低亮度中快速成像的問題侣集，還是由于極低的SNR問題。之后兰绣，Hasinoff等人對(duì)智能手機(jī)上的相機(jī)提出了bursting imaging成像方法世分，通過結(jié)合多張圖像可以生成效果較好的圖像，但是復(fù)雜程度較高缀辩。
對(duì)此臭埋，我們提出了的端到端的學(xué)習(xí)方法，即訓(xùn)練一個(gè)全卷積網(wǎng)絡(luò)（FCN）進(jìn)行圖像處理臀玄。圖2展示了我們所提出的圖像處理架構(gòu)：
對(duì)于拜耳陣列瓢阴，我們將輸入的圖像打包到四個(gè)通道中，并相應(yīng)地將空間分辨率在每個(gè)維度上降低健无。對(duì)于X-Trans陣列（圖中未顯示）荣恐，原始數(shù)據(jù)是按6×6排列的，我們將其打包放到9個(gè)通道中累贤。打包后的數(shù)據(jù)輸入到全卷積網(wǎng)絡(luò)中叠穆，輸出一個(gè)有12通道的圖像，空間向量?jī)H為一半畦浓。而這個(gè)半尺寸的輸出被次像素圖層處理后痹束，可以恢復(fù)到原始分辨率。
基本介紹之后讶请，我們要重點(diǎn)了解一下網(wǎng)絡(luò)中兩個(gè)重要的結(jié)構(gòu)：一個(gè)多尺寸文本聚合網(wǎng)絡(luò)（CAN）和U-net祷嘶。其他工作研究了殘差連接屎媳，但是我們認(rèn)為這對(duì)我們的模型用處不大，可能是因?yàn)槲覀兊妮斎牒洼敵鲈诓煌念伾臻g中表示论巍。另一個(gè)影響模型結(jié)構(gòu)選擇的是內(nèi)存消耗烛谊，我們的架構(gòu)可以在GPU上處理全分辨率的圖像。由此避免了全連接的圖層嘉汰，他們還需要處理小的圖像補(bǔ)丁丹禀，然后重新進(jìn)行組合。我們默認(rèn)的架構(gòu)是u-net鞋怀。
放大比例決定了輸出圖像的亮度双泪。在我們的圖像生成流程中，放大比例是外部決定的密似，并且是作為圖像流程的輸入焙矛，類似于相機(jī)的ISO。圖3顯示了不同的放大倍數(shù)的結(jié)果残腌，用戶可以自己調(diào)整以改變亮度村斟。
最終網(wǎng)絡(luò)利用L1損失和Adam優(yōu)化器從零開始訓(xùn)練。
實(shí)驗(yàn)過程
首先抛猫，將我們提出的方法與傳統(tǒng)方法的對(duì)比蟆盹，得到以下結(jié)果：
可以看出，我們的方法生成的圖片比傳統(tǒng)方法優(yōu)秀得多闺金。
同時(shí)逾滥，我們認(rèn)為專門用特定的相機(jī)傳感器進(jìn)行訓(xùn)練的網(wǎng)絡(luò)總能達(dá)到最佳效果。但是掖看，最初的實(shí)驗(yàn)表明這不是一定的匣距。我們將一個(gè)在索尼套件上訓(xùn)練的模型應(yīng)用于由iPhone 6S拍攝出的相片上面哥，其中通要包含一個(gè)拜耳過濾陣列和14位的原始數(shù)據(jù)哎壳。我們用一款app手動(dòng)設(shè)置ISO和其他參數(shù)，輸出原始數(shù)據(jù)用于處理尚卫。最終的結(jié)果如圖5所示归榕。傳統(tǒng)方法處理的數(shù)據(jù)有很多噪點(diǎn)，色差較大吱涉。而我們的網(wǎng)絡(luò)生成的圖片對(duì)比度較強(qiáng)刹泄、噪點(diǎn)少并且顏色正常。
結(jié)語(yǔ)
由于極少的光子數(shù)量和極低的信噪比怎爵，在黑暗環(huán)境中成像一直是個(gè)大難題特石。想以視頻速率在黑暗中成像，對(duì)于傳統(tǒng)的信號(hào)處理方法來(lái)說幾乎是不可能的鳖链。而我們提出的See-in-the-Dark數(shù)據(jù)集姆蘸、全卷機(jī)的網(wǎng)絡(luò)證明了這種在極端條件下成像的可能。最后的實(shí)驗(yàn)也證明這種方法行之有效，我們希望這項(xiàng)工作能在未來(lái)提供更多幫助逞敷。
本文轉(zhuǎn)載自：http://www.dalbll.com/Group/Topic/ArchitecturedDesign/5084
