abstract
許多看似無關(guān)的計算機視覺任務可以被視為圖像分解成單獨層的特殊情況消略。例如笤受，圖像分割（分離成前景層和背景層）;透明層分離（進入反射和透射層）;圖像去霧（分離成清晰圖像和霧霾圖）等等昼接。在本文中，我們提出了一個統(tǒng)一的框架沉帮，用于基于耦合的“深度圖像先驗”（DIP）網(wǎng)絡(luò)對單個圖像進行無監(jiān)督層分解姻氨。據(jù)顯示[38]，單個DIP發(fā)生器網(wǎng)絡(luò)的結(jié)構(gòu)足以捕獲單個圖像的低級統(tǒng)計數(shù)據(jù)缕溉。我們展示了耦合多個這樣的DIP提供了一個強大的工具考传，可以將圖像分解為其基本組件，適用于各種應用证鸥。這種能力源于這樣一個事實僚楞，即混合層的內(nèi)部統(tǒng)計數(shù)據(jù)比其各個組成部分的統(tǒng)計數(shù)據(jù)更復雜勤晚。我們展示了這種方法在圖像去霧，F(xiàn)g / Bg分割镜硕，水印去除运翼，圖像和視頻中的透明度分離等方面的強大功能。這些功能是以完全無監(jiān)督的方式實現(xiàn)的兴枯，除了輸入圖像/視頻本身之外沒有任何訓練示例。
- Introduction
各種計算機視覺任務旨在將圖像分解成其各個組件矩欠。在圖像/視頻分割中财剖，任務是將圖像分解為有意義的子區(qū)域，例如前景和背景[1,5,17,24,31]癌淮。在透明度分離中躺坟，任務是將圖像分離成疊加的反射和透射[37,32,26,14]。這種透明度可能是偶然物理反射的結(jié)果乳蓄，或者是由于有意的透明覆蓋（例如咪橙，水印）虚倒。在圖像去霧[6,23,18,30,8]中美侦，目標是將朦朧/模糊圖像分離成其下面的無霧圖像和模糊的霧霾/霧層（空氣和透射圖）。圖1顯示了所有這些非常不同的任務可以被組合成單個統(tǒng)一的分層框架魂奥。所有這些分解的共同點是菠剩，每個單獨層內(nèi)的小塊的分布比原始混合圖像“更簡單”（更均勻），導致強烈的內(nèi)部自相似性耻煤。
在本文中具壮，我們將內(nèi)部補丁重現(xiàn)的強大功能（解決無監(jiān)督任務的強度）與深度學習的強大功能相結(jié)合。 我們提出了一種無監(jiān)督的Deep框架哈蝇，用于將單個圖像分解為其層棺妓，使得每個層內(nèi)的“圖像元素”的分布是“簡單的”。 我們建立在Ulyanov等人的“Deep Image Prior”（DIP）工作的基礎(chǔ)之上炮赦。[38]怜跑。 他們表明，單個DIP生成器網(wǎng)絡(luò)的結(jié)構(gòu)足以捕獲單個自然圖像的低級統(tǒng)計數(shù)據(jù)眼五。 DIP網(wǎng)絡(luò)的輸入是隨機噪聲妆艘，它訓練重建單個圖像（作為其唯一的輸出訓練示例）。 這種網(wǎng)絡(luò)對于以無人監(jiān)督的方式解決諸如去噪看幼，超分辨率和修復等反問題非常強大批旺。
我們觀察到當采用多個DIP的組合來重建圖像時，那些DIP傾向于“分割”圖像诵姜，使得每個DIP輸出的補丁分布是“簡單的”汽煮。 因此，我們用于無監(jiān)督多任務層分解的方法基于多個（兩個或更多個）DIP的組合，我們將其稱為“雙DIP”暇赤。 我們證明了這種方法適用于各種計算機視覺任務心例，包括圖像去霧，圖像和視頻的Fg / Bg分割鞋囊，水印去除以及圖像和視頻中的透明度分離止后。
Double-DIP是通用的，適用于許多不同的應用溜腐。 針對一項特定任務而設(shè)計的專用方法可能會超越Double-DIP自身的挑戰(zhàn)译株。 但是，據(jù)我們所知挺益，這是第一個能夠處理如此多種圖像分解任務的框架歉糜。 此外，在一些任務（例如望众，圖像去霧）中匪补，Double-DIP實現(xiàn)了與領(lǐng)先方法相當甚至更好的結(jié)果。 -
Overview of the Approach
請注意圖3a中的說明性示例烂翰。 將兩種不同的紋理X和Y混合以形成更復雜的圖像Z夯缺，其顯示層透明性。 每個純紋理內(nèi)的小塊和顏色的分布比組合圖像中的塊和顏色的分布更簡單刽酱。 此外喳逛，兩個紋理上的塊的相似性非常弱。 眾所周知[12]如果X和Y是兩個獨立的隨機變量棵里，它們的和Z = X + Y的熵大于它們各自的熵：max {H（X）润文，H（Y）}≤H（Z）。 我們利用這一事實將圖像分離為其自然的“更簡單”組件殿怜。
圖片.png
2.1. Single DIP vs. Coupled DIPs
讓我們看看當DIP網(wǎng)絡(luò)用于學習純圖像與混合圖像時會發(fā)生什么典蝌。 圖3.c中的圖表顯示了單個DIP網(wǎng)絡(luò)的MSE重建損失，作為時間的函數(shù)（訓練迭代）头谜，對于圖3.a中的3個圖像中的每一個：（i）橙色圖是 訓練重建紋理圖像X的DIP的丟失骏掀，（ii）藍色圖 - 訓練重建紋理Y的DIP，和（iii）綠色圖 - 訓練重建其疊加混合物的DIP（圖像透明度）柱告。 注意混合圖像的較大損耗和較長的收斂時間截驮，與其各個組件的損失相比。 實際上际度，混合圖像的損失大于兩個單獨損失的總和葵袭。 我們將這種行為歸因于混合圖像中的斑塊分布比其任何單個組件中的更復雜和更多（更大的熵;更小的內(nèi)部自相似性）這一事實。
雖然這些是純紋理乖菱，但同樣的行為也適用于自然圖像的混合坡锡。 單個自然圖像中的斑塊的內(nèi)部自相似性往往比不同圖像中的斑塊相似性強得多[41]蓬网。 我們對大量自然圖像重復了上述實驗：我們從BSD100數(shù)據(jù)集[27]中隨機抽取100對圖像，并將每對圖像混合鹉勒。 對于每個圖像對帆锋，我們訓練了DIP以學習混合圖像和每個單獨的圖像。 在自然圖像的情況下禽额，圖3.c的圖表中也表現(xiàn)出相同的行為 - 有趣的是锯厢，混合圖像的丟失與其各個組件之間的差距更大
我們對非重疊圖像片段進行了類似的實驗。 據(jù)觀察[5]绵疲，構(gòu)成圖像片段的小區(qū)域的經(jīng)驗熵小于同一圖像中不同片段的經(jīng)驗交叉熵哲鸳。 我們從BSD100數(shù)據(jù)集中隨機抽取了100對圖像。 對于每對我們生成了一個新圖像盔憨，其左側(cè)是一個圖像的左側(cè)，右側(cè)是第二個圖像的右側(cè)讯沈。 我們訓練了DIP來學習混合圖像和每個單獨的組件郁岩。 在這種情況下，圖3C的圖形行為也重復了
我們進一步觀察到缺狠，當多個DIP訓練以共同重建單個輸入圖像時问慎，它們傾向于在它們之間“分割”圖像塊。即挤茄，圖像內(nèi)部的類似小補丁傾向于全部由單個DIP網(wǎng)絡(luò)生成如叼。換句話說，每個DIP捕獲圖像的內(nèi)部統(tǒng)計的不同分量穷劈。我們通過單個DIP網(wǎng)絡(luò)完全卷積的事實來解釋這種行為笼恰，因此其濾波器權(quán)重在圖像的整個空間范圍內(nèi)共享。這促進了每個DIP輸出中補丁的自相似性歇终。
[38]中報道的去噪實驗進一步支持了單個DIP輸出中斑塊分布的簡單性社证。當訓練DIP以重建有噪聲的圖像（高補丁分集/熵）時，顯示在過度擬合噪聲之前沿途生成圖像的中間清潔版本评凝。干凈的圖像具有較高的內(nèi)部斑塊相似性（較小的斑塊多樣性/熵）追葡，因此DIP重建更簡單。
基于這些觀察奕短，我們建議通過組合多個（兩個或更多個）DIP將圖像分解為其層宜肉，我們稱之為“雙DIP”。圖 3.a翎碑，b表明谬返，當訓練2個DIP網(wǎng)絡(luò)共同恢復混合紋理透明圖像（作為其輸出之和）時，每個DIP自己輸出一個連貫層
2.2.Unified Multi-Task Decomposition Architecture 統(tǒng)一的多任務分解架構(gòu)
What is a good image decomposition? 圖像可以無限分解為多個層杈女。 但是朱浴，我們建議有意義的分解
滿足以下標準：（i）當重新組合時吊圾，恢復的層應產(chǎn)生輸入圖像。 （ii）每個層應盡可能“簡單”翰蠢，即它應具有“圖像元素”的強內(nèi)部自相似性项乒。 （iii）恢復的層應盡可能彼此獨立（不相關(guān)）。
These criteria form the basis of our general-purpose Double-DIP architecture, illustrated in Fig. 2. The first criterion is enforced via a “Reconstruction Loss”, which measures the error between the constructed image and the input image (see Fig. 2). The second criterion is obtained by employing multiple DIPs (one per layer). The third criterion is enforced by an “Exclusion Loss” between the outputs of the different DIPs (minimizing their correlation).
每個DIP網(wǎng)絡(luò)（DIPi）重建輸入圖像I的不同層yi梁沧。每個DIPi的輸入是隨機采樣的均勻噪聲zi檀何。 使用權(quán)重掩模m混合DIP輸出yi = DIPi（zi），以形成重建圖像I = m·y1 +（1-m）·y2廷支，其應盡可能接近輸入圖像I
在一些任務中频鉴，權(quán)重掩模m是簡單且已知的，在其他情況下需要學習（使用附加的DIP）恋拍。學習的掩模m可以是均勻的或空間變化的垛孔，連續(xù)的或二進制的。 對m的這些約束是任務相關(guān)的施敢，并且使用特定于任務的“正則化損失”來強制執(zhí)行周荐。 因此優(yōu)化損失是：
圖片.png
圖片.png
優(yōu)化：各個DIP的架構(gòu)類似于[38]中使用的架構(gòu)。 與基本DIP一樣僵娃，我們發(fā)現(xiàn)在輸入噪聲中增加額外的非恒定噪聲擾動可以增加重建的穩(wěn)定性概作。 我們通過迭代逐漸增加噪聲擾動。 我們通過使用8個變換（4個旋轉(zhuǎn)90°和2個鏡像反射 - 垂直和水平）轉(zhuǎn)換輸入圖像I和所有DIP的相應隨機噪聲輸入來進一步豐富訓練集默怨。 這種增強也被發(fā)現(xiàn)在[35]的無監(jiān)督內(nèi)部學習中是有用的讯榕。 優(yōu)化過程使用ADAM優(yōu)化器[25]完成，在Tesla V100 GPU上每張圖像需要幾分鐘匙睹。
Inherent Layer Ambiguities:分離2個純不相關(guān)紋理的疊加相對簡單（見圖3.a）愚屁。 除了恒定的全局顏色模糊度c之外沒有真正的模糊性：I =（y 1 + c）+（y 2 -c）。類似地垃僚，純粹的非重疊紋理相對容易分割集绰。 然而，當單個層包含多個獨立區(qū)域時谆棺，如圖3.b所示栽燕，分離變得模糊（注意圖3.b的恢復輸出層中的切換紋理）。 不幸的是改淑，這種模糊性幾乎存在于任何自然的室內(nèi)/室外圖像中
為了克服這個問題碍岔，通常需要初始的“提示”來指導Double-DIP。 這些提示以非常粗糙的圖像顯著性的形式自動提供[20]朵夏。 即蔼啦，在前幾次迭代中，鼓勵DIP1在顯著圖像區(qū)域上訓練更多仰猖，而引導DIP 2在非顯著圖像區(qū)域上訓練更多捏肢。 經(jīng)過幾次迭代后奈籽，本指南將放寬。 當有多個圖像可用時鸵赫，這種模糊性通常會自行解決衣屏，而不需要任何初始提示。 例如辩棒，在視頻透明度中狼忱，2個視頻層的疊加在幀與幀之間變化，從而產(chǎn)生不同的混合一睁。 然而钻弄，每個層的統(tǒng)計數(shù)據(jù)在整個視頻中保持不變（盡管它的動態(tài)）[34,33]。 這意味著單個DIP足以表示單個視頻層的所有幀者吁。 因此窘俺，Double-DIP可用于將視頻序列分成2個動態(tài)層，并且通掣吹剩可以在沒有初始提示的情況下這樣做批销。
-
Segmentation
圖片.png
Fg / Bg分割可以被視為將圖像I分解為前景層y 1和背景層y 2，在每個像素x處由二進制掩模m（x）組合：
圖片.png
這個公式自然適合我們的框架染坯，y1和y2符合自然圖像先驗，每個都比'生成'更簡單'丘逸。這個要求通過[5]驗證单鹿，將“良好的圖像片段”定義為一個可以很容易的 使用自己的作品組成，但很難使用圖像其他部分的作品深纲。
圖1頂行中的Zebra圖像演示了方程式1中指定的分解仲锄。 顯然，由DIP 1和DIP 2生成的層y 1和y 2均符合[5]的定義湃鹊，因此也允許獲得良好的分割掩模m儒喊。 請注意，DIP1和DIP2會自動填充每個輸出圖層中的“缺失”圖像部分
為了鼓勵學習的分割掩碼m（x）為二進制币呵，我們使用以下正則化損失：
圖片.png
雖然Double-DIP不捕獲任何語義怀愧，但它能夠僅基于無監(jiān)督的層分離獲得高質(zhì)量的分割，如圖4所示余赢。請在項目網(wǎng)站上查看更多結(jié)果芯义。 其他分割方法，例如語義分割（例如妻柒，[21]）可能勝過Double-DIP扛拨，但這些方法在許多標記的例子上受到監(jiān)督和訓練。
Video segmentation:通過利用順序視頻幀共享內(nèi)部補丁統(tǒng)計[34,33]的事實举塔，可以將相同的方法用于Fg / Bg視頻分割绑警。視頻分割被轉(zhuǎn)換為2層分離求泰，如下所示：
圖片.png - Image Dehazing
室外場景的圖像經(jīng)常被散射介質(zhì)降級（例如，霧度计盒，霧渴频，水下散射）。 這種圖像的劣化隨著場景深度而增加章郁。 通常枉氮，模糊的圖像I（x）被建模[23]：
Handling non-uniform airlight:大多數(shù)單圖像盲去霧方法（例如[23,28,18,6,8]）假定整個圖像的均勻的直通顏色A（即，A（x）≡A）暖庄。對于基于深度網(wǎng)絡(luò)的去霧方法[10,30]也是如此聊替，其在朦朧/非朦朧圖像對的合成數(shù)據(jù)集上進行訓練。然而培廓，均勻的空氣假設(shè)只是一種近似惹悄。它往往會破裂，例如在黎明或黃昏時拍攝的室外圖像肩钠，當太陽位于地平線附近時泣港。通過霧霾顆粒對太陽光線的非各向同性散射影響空氣顏色，這導致空氣顏色在整個圖像中變化价匠。當均勻氣密假設(shè)成立時当纱，從朦朧I估計單個均勻的氣流顏色A相對容易（例如，使用[23]之前的暗通道踩窖，或[6]的基于補片的先驗）坡氯，以及具有挑戰(zhàn)性的部分仍然是t圖估計。然而洋腮，當均勻的氣密假設(shè)中斷時箫柳，這會產(chǎn)生具有扭曲顏色的去霧效果。另一方面啥供，估計變化的空氣是一個非常具有挑戰(zhàn)性和不利的問題悯恍。我們的Double-DIP框架允許通過將A-map視為另一層，并將t-map作為掩模伙狐，同時估計變化的空氣圖和變化的t-map涮毫。這導致更高質(zhì)量的圖像去霧。估計均勻與變化的空氣的效果在圖10中舉例說明鳞骤。
在去霧中窒百，Loss Reg強制掩模t（x）是平滑的（通過最小化其拉普拉斯算子的范數(shù)）。 朦朧圖像I（x）中的貼片的內(nèi)部自相似性弱于其基礎(chǔ)無霧圖像J（x）[6]豫尽。 這使得第一個DIP收斂到無霧圖像篙梢。 然而，A圖不是典型的自然圖像美旧。 雖然它滿足強烈的內(nèi)部自相似性要求渤滞，但它往往比自然圖像更平滑贬墩，并且不應偏離全球的空氣顏色。 因此妄呕，我們在氣墊層上應用額外的正則化損失：kA（x） - Ak 2陶舞，其中A是使用標準方法之一從模糊圖像I估計的單個初始氣流顏色（我們使用[6]的方法）。 盡管與初始空氣A的偏差很微小绪励，但它們對于恢復的無霧圖像的質(zhì)量非常重要（見圖10）肿孵。
我們在O-HAZE數(shù)據(jù)集[4]上評估了我們的框架，并將其與無監(jiān)督和自監(jiān)督的去霧算法進行了比較疏魏。 結(jié)果如表1所示。在數(shù)據(jù)上大莫，我們在所有除霧方法中排名第二。 但是烙丛，從視覺上看，在這個數(shù)據(jù)集之外的圖像上羔味，我們的結(jié)果似乎超過了所有的去霧方法（參見項目網(wǎng)站）河咽。 我們進一步想要與NTIRE'2018 Dehazing Challenge [2]的獲勝方法進行比較赋元，但只有其中一種方法可用代碼[39]。 我們的實驗表明们陆，雖然這些方法在挑戰(zhàn)的微小測試集上獲得了最先進的結(jié)果（僅5個測試圖像！）情屹，但它們似乎嚴重過度挑戰(zhàn)訓練集坪仇。 實際上，它們在該數(shù)據(jù)集之外的任何模糊圖像上表現(xiàn)非常差（參見圖11和圖11）
項目網(wǎng)站）椅文。 在項目網(wǎng)站上可以找到與更多方法和更多圖像的視覺比較惜颇。 - CONCLUSION
“Double-DIP”是無監(jiān)督層分解的統(tǒng)一框架，適用于各種任務凌摄。 除了輸入圖像/視頻之外，它不需要任何訓練示例痴怨。 盡管是通用的忙干，但在某些任務（例如浪藻，去霧）中，它實現(xiàn)的結(jié)果與本領(lǐng)域的領(lǐng)先方法相當或甚至更好施戴。 我們認為萌丈，用語義/感知線索增強Double-DIP可能會導致語義分割和其他高級任務的進步。 這是我們未來工作的一部分浓瞪。
