圖像補(bǔ)全，一圖以蔽之
我們（指作者們）提出了一中圖像補(bǔ)全方法，可以使得圖像的缺失部分自動(dòng)補(bǔ)全，局部和整圖保持一致缔逛。作者通過全卷積網(wǎng)絡(luò)画侣，可以補(bǔ)全圖片中任何形狀的缺失葛虐，為了保持補(bǔ)全后的圖像與原圖的一致性，作者使用全局（整張圖片）和局部（缺失補(bǔ)全部分）兩種鑒別器來訓(xùn)練棉钧。全局鑒別器查看整個(gè)圖像以評(píng)估它是否作為整體是連貫的，而局部鑒別器僅查看以完成區(qū)域?yàn)橹行牡男^(qū)域來確保所生成的補(bǔ)丁的局部一致性涕蚤。 然后對(duì)圖像補(bǔ)全網(wǎng)絡(luò)訓(xùn)練以欺騙兩個(gè)內(nèi)容鑒別器網(wǎng)絡(luò)宪卿，這要求它生成總體以及細(xì)節(jié)上與真實(shí)無法區(qū)分的圖像。我們證明了我們的方法可以用來完成各種各樣的場(chǎng)景万栅。 此外佑钾，與PatchMatch等基于補(bǔ)丁的方法相比，我們的方法可以生成圖像中未出現(xiàn)的碎片烦粒，這使我們能夠自然地完成具有熟悉且高度特定的結(jié)構(gòu)（如面部）的對(duì)象的圖像休溶。
-
基于Patch-based的圖像補(bǔ)全，該類方法主要是從源圖像中尋找相似的patch扰她，然后將該patch貼到缺失的區(qū)域兽掰。當(dāng)源圖像中沒有類似的區(qū)域時(shí)，該方法就無法填充看上去合理的洞徒役。
-
基于Context Encoder的圖像補(bǔ)全孽尽，該方法基于深度學(xué)習(xí)生成相似的紋理區(qū)域，在一定程度上可以補(bǔ)全缺失的區(qū)域忧勿，而且效果還不錯(cuò)杉女。但是不能夠保持局部一致性。
CE方法的動(dòng)機(jī)是特征學(xué)習(xí)鸳吸，并沒有完全描述如何處理任意掩模（遮罩熏挎，mask）區(qū)域，也沒有完全描述如何將方法應(yīng)用于高分辨率圖像晌砾。
我們的架構(gòu)由三個(gè)網(wǎng)絡(luò)組成：補(bǔ)全網(wǎng)絡(luò)坎拐，全局內(nèi)容鑒別器和局部?jī)?nèi)容鑒別器。補(bǔ)全網(wǎng)絡(luò)是全卷積的并用于補(bǔ)全圖像贡羔，而全局和局部?jī)?nèi)容鑒別器都是專門用于訓(xùn)練的輔助網(wǎng)絡(luò)廉白。這些鑒別器用于確定補(bǔ)全后的圖像是否保持一致性。全局鑒別器將完整圖像作為輸入來識(shí)別場(chǎng)景的全局一致性乖寒，而局部鑒別器僅查看補(bǔ)全區(qū)域周圍的小區(qū)域以便判斷更詳細(xì)的補(bǔ)全區(qū)域的質(zhì)量猴蹂。在每次訓(xùn)練迭代期間，首先更新鑒別器楣嘁，以便它們正確地區(qū)分真實(shí)和補(bǔ)全的訓(xùn)練圖像磅轻。然后珍逸，更新補(bǔ)全網(wǎng)絡(luò)，以便它足夠好地補(bǔ)全缺失區(qū)域以欺騙內(nèi)容鑒別器網(wǎng)絡(luò)聋溜。網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示：
全局鑒別器網(wǎng)絡(luò)將整個(gè)圖像作為輸入谆膳，而局部鑒別器網(wǎng)絡(luò)僅用補(bǔ)全區(qū)域周圍的小區(qū)域作為輸入。
- 補(bǔ)全網(wǎng)絡(luò)
從圖中可以看到撮躁，我們?cè)谌矸e網(wǎng)絡(luò)中用的是空洞卷積（Delated Conv.）漱病，補(bǔ)全網(wǎng)絡(luò)的輸入是具有二進(jìn)制通道的RGB圖像，這表明補(bǔ)全的掩模和輸出都是是RGB圖像把曼。整體架構(gòu)遵循編碼器 - 解碼器結(jié)構(gòu)杨帽，其允許通過在進(jìn)一步處理圖像之前初始降低分辨率來減少存儲(chǔ)器使用和計(jì)算時(shí)間。 然后嗤军，使用反卷積層將輸出恢復(fù)為原始分辨率注盈，反卷積層由具有分?jǐn)?shù)步幅的卷積層組成。 與使用許多池化層來降低分辨率的其他架構(gòu)不同叙赚，我們的網(wǎng)絡(luò)模型僅將分辨率降低兩倍老客，卷積到原始大小的1/4，這對(duì)于在缺失區(qū)域中生成非模糊紋理很重要震叮‰逝椋空洞卷積層也用于中間層，空洞卷積允許使用更大的輸入?yún)^(qū)域計(jì)算每個(gè)輸出冤荆，同時(shí)仍然使用相同數(shù)量的參數(shù)和計(jì)算能力朴则。 這對(duì)于圖像補(bǔ)全任務(wù)很重要，因?yàn)樯舷挛膶?duì)于真實(shí)像素預(yù)測(cè)至關(guān)重要钓简。通過在較低分辨率下使用空洞卷積乌妒，模型在計(jì)算每個(gè)輸出像素時(shí)可以有效地“看到”輸入圖像的較大區(qū)域。 得到的網(wǎng)絡(luò)模型在輸入圖像的307×307像素區(qū)域的影響下計(jì)算每個(gè)輸出像素外邓。 如果不使用空洞卷積撤蚊，它將僅使用99×99像素區(qū)域，不能補(bǔ)全大于99×99像素的孔损话，如下圖所示侦啸。
空間支持的重要性。 為了能夠補(bǔ)全大區(qū)域丧枪，用于計(jì)算輸出像素的空間支持必須包括孔外的像素光涂。 在左側(cè)，從空間支撐Ω1中的影響區(qū)域計(jì)算像素p1拧烦，而由于支撐區(qū)域Ω2不包含孔外的任何信息忘闻，因此不能計(jì)算像素p2。 但是恋博，在右側(cè)齐佳，空間支撐大于孔私恬，允許補(bǔ)全中心像素。
網(wǎng)絡(luò)結(jié)構(gòu)
- 內(nèi)容鑒別器（Context Discriminators）
這些網(wǎng)絡(luò)基于卷積神經(jīng)網(wǎng)絡(luò)炼吴，將圖像壓縮成小特征向量本鸣。 網(wǎng)絡(luò)的輸出通過連接層融合在一起，連接層預(yù)測(cè)出圖像是真實(shí)的概率的一個(gè)連續(xù)值硅蹦。網(wǎng)絡(luò)結(jié)構(gòu)如下：
輸出層使用sigmoid函數(shù)得到輸入的圖像是真實(shí)的圖像而不是補(bǔ)全后的圖像的概率荣德。
- 損失函數(shù)：
生成網(wǎng)絡(luò)使用weighted Mean Squared Error (MSE)作為損失函數(shù)，計(jì)算原圖與生成圖像像素之間的差異童芹，表達(dá)式如下所示：
鑒別器網(wǎng)絡(luò)使用GAN損失函數(shù)命爬，其目標(biāo)是最大化生成圖像和原始圖像的相似概率，表達(dá)式如下所示：
兩者結(jié)合后辐脖，總的損失函數(shù)為：
- 訓(xùn)練
訓(xùn)練算法：
通過調(diào)整圖像大小來完成訓(xùn)練，使最小邊是[256,384]像素范圍內(nèi)的隨機(jī)值皆愉。 然后嗜价，隨機(jī)提取256×256像素的塊并用作輸入圖像。 對(duì)于掩模（mask）幕庐，我們?cè)赱96,128]像素范圍內(nèi)生成一個(gè)隨機(jī)孔久锥，并用訓(xùn)練數(shù)據(jù)集的平均像素值填充它。 請(qǐng)注意异剥，此孔的縱橫比可隨寬度和高度而變化瑟由。 全局內(nèi)容鑒別器的輸入是完整的256×256像素圖像，并且對(duì)于局部?jī)?nèi)容鑒別器冤寿，輸入是以補(bǔ)全區(qū)域（或?qū)嶋H樣本的隨機(jī)區(qū)域）為中心的128×128像素塊歹苦。
-
實(shí)驗(yàn)結(jié)果
- 不足之處
- 如果缺失面積較大，則難以補(bǔ)全督怜。
- 如果缺失區(qū)域在圖像的邊界殴瘦，則處理不好。
- 不能生成復(fù)雜性的結(jié)構(gòu)性紋理号杠。
- 模型性能依賴于訓(xùn)練集素材蚪腋，如果訓(xùn)練集中有一張和測(cè)試集相似圖片，則效果會(huì)好一些姨蟋。
參考：
Iizuka S , Simo-Serra E , Ishikawa H . Globally and locally consistent image completion[J]. ACM Transactions on Graphics, 2017, 36(4):1-14.
