寫在開始
在這里，對(duì)Xiong W等人的論文《Foreground-aware Image Inpainting》(2019年)做個(gè)簡要的筆記凿掂。不足之處還請?jiān)谠u(píng)論區(qū)指出垢夹。
目錄
1 簡述
2 問題
3 方法
????3.1 網(wǎng)絡(luò)模型
????3.2 輪廓修復(fù)模塊
????3.3 圖像修復(fù)模塊
4 實(shí)驗(yàn)結(jié)果
5 其他
????5.1 創(chuàng)新點(diǎn)
????5.2 優(yōu)點(diǎn)
參考文獻(xiàn)
1 簡述
????????Xiong W等人提出了一種前景感知圖像修復(fù)系統(tǒng)[1]厢呵，它明確地解釋了結(jié)構(gòu)推理和內(nèi)容修復(fù)纳鼎。具體來說建车，該模型首先預(yù)測前景輪廓扩借，然后使用預(yù)測得到的輪廓作為引導(dǎo)來修復(fù)缺失區(qū)域。通過這種方式缤至，輪廓修復(fù)模型預(yù)測了物體的合理輪廓潮罪，并進(jìn)一步顯著提高了圖像修復(fù)的性能。實(shí)驗(yàn)表明领斥，該方法明顯優(yōu)于當(dāng)時(shí)的現(xiàn)有方法嫉到，并且在具有復(fù)雜成分的具有挑戰(zhàn)性的案例中實(shí)現(xiàn)了優(yōu)異的修復(fù)效果。
2 問題
? ? ? ? 現(xiàn)有的圖像修復(fù)方法通常通過借用來自周圍圖像區(qū)域的信息來填充孔月洛。當(dāng)孔與前景物體重疊或接觸時(shí)何恶，由于缺乏關(guān)于孔內(nèi)前景和背景區(qū)域的實(shí)際范圍的信息，它們經(jīng)常產(chǎn)生不令人滿意的結(jié)果嚼黔。但是细层，這些場景在實(shí)踐中非常重要，特別是對(duì)于諸如分散對(duì)象移除等應(yīng)用程序唬涧。為了解決這個(gè)問題今艺，Xiong W等人提出了基于前景感知的圖像修復(fù)系統(tǒng)。
3 方法
? ? ? ?依據(jù)上述問題爵卒，Xiong W等人提出了基于前景感知的圖像修復(fù)系統(tǒng)虚缎。鑒于圖像不完整歉眷，模型的目標(biāo)是輸出具有視覺上令人愉悅的外觀的完整圖像翻翩。
3.1 網(wǎng)絡(luò)模型
? ? ? ? 所提出的基于前景感知的修復(fù)系統(tǒng)的總體框架如圖1所示却紧。它由三個(gè)模塊級(jí)聯(lián)荞雏，即不完整輪廓檢測模塊，輪廓修復(fù)模塊和圖像修復(fù)模塊创坞。系統(tǒng)先使用輪廓檢測模塊自動(dòng)檢測不完整圖像的輪廓碗短；然后采用輪廓修復(fù)模塊來預(yù)測輪廓的缺失部分；最后题涨，將不完整圖像和完成的輪廓輸入到圖像完成模塊以預(yù)測最終的修復(fù)圖像偎谁。為了訓(xùn)練前景感知模型，需要準(zhǔn)備特定的訓(xùn)練樣本和孔洞纲堵。鑒于篇幅巡雨，以及注重網(wǎng)絡(luò)模型，本文在這里對(duì)如何生成適合任務(wù)的特定孔掩模不進(jìn)行介紹席函，僅僅簡要地介紹輪廓修復(fù)模塊和圖像修復(fù)模塊铐望。
3.2 輪廓修復(fù)模塊
? ? ? ? 輪廓修復(fù)模塊的目標(biāo)是修復(fù)有孔洞破壞的輸入圖像的缺失輪廓。給定不完整的圖像茂附，并且孔洞蒙版H表明缺失像素的位置正蛙。輪廓修復(fù)模塊的目標(biāo)是預(yù)測損壞的前景對(duì)象的完整輪廓
。
是具有與輸入圖像相同形狀的二進(jìn)制映射营曼，其中1表示前景對(duì)象的邊界乒验，0表示圖像中的其他像素。輪廓修復(fù)模塊采用與現(xiàn)有技術(shù)的修復(fù)方法[2]類似的架構(gòu)蒂阱，其由基于GAN的生成器和PatchGAN判別器組成锻全。該生成器是粗粒度網(wǎng)絡(luò)和精細(xì)網(wǎng)絡(luò)的級(jí)聯(lián)。
????????修復(fù)輪廓是一項(xiàng)具有挑戰(zhàn)性的任務(wù)蒜危。雖然采用了焦點(diǎn)損失來平衡數(shù)據(jù)虱痕，并采用光譜歸一化GAN來獲得更清晰的結(jié)果睹耐，但仍然難以訓(xùn)練整個(gè)輪廓修復(fù)模塊辐赞。如果同時(shí)應(yīng)用內(nèi)容損失和對(duì)抗性損失，即使仔細(xì)調(diào)整兩種類型的損失之間的權(quán)重硝训，訓(xùn)練也會(huì)失敗响委。為了避免這個(gè)問題，輪廓修復(fù)模塊使用curriculum learning逐步訓(xùn)練模型窖梁。在第一階段赘风，輪廓修復(fù)模塊僅需要輸出粗略輪廓，因此僅僅訓(xùn)練具有內(nèi)容損失的模型纵刘；在第二階段邀窃，使用對(duì)抗性損失來微調(diào)預(yù)訓(xùn)練的網(wǎng)絡(luò)，但是與內(nèi)容損失相比具有非常小的權(quán)重假哎，即0.01:1瞬捕，以避免由于GAN損失的不穩(wěn)定所導(dǎo)致的訓(xùn)練失敯袄；在第三階段肪虎，使用對(duì)抗性損失的權(quán)重和內(nèi)容損失的權(quán)重為1:1來微調(diào)整個(gè)輪廓修復(fù)模塊劣砍。
3.2?圖像修復(fù)模塊
? ??????通過前景和背景之間的完整輪廓，模型可以獲得前景和背景像素所在位置的基本知識(shí)扇救。這些知識(shí)為修復(fù)圖像提供了強(qiáng)有力的線索刑枝。圖像修復(fù)模塊將不完整圖像，修復(fù)后的輪廓和孔洞蒙版H作為輸入迅腔，并輸出修復(fù)圖像
装畅。除了生成器和判別器的輸入外，它具有與輪廓修復(fù)模塊相同的架構(gòu)钾挟。
????????在輸入等值線圖之前洁灵，先將其二值化以獲得閾值為0.5的最終輪廓。圖像修復(fù)模塊的生成器還包含粗粒度網(wǎng)絡(luò)和細(xì)化網(wǎng)絡(luò)掺出。粗粒度網(wǎng)絡(luò)輸出粗略圖像徽千，圖像可能模糊，缺少細(xì)節(jié)汤锨。然后細(xì)化網(wǎng)絡(luò)將粗略圖像作為輸入双抽，并生成更準(zhǔn)確的結(jié)果。然而闲礼，在這樣的設(shè)置中牍汹，發(fā)現(xiàn)最終預(yù)測傾向于忽略修復(fù)輪廓的引導(dǎo)。生成的圖像的形狀與孔洞區(qū)域中的輸入輪廓不一致柬泽。此問題可能是由圖像修復(fù)網(wǎng)絡(luò)的深度引起的慎菲。在映射層之后，由于錯(cuò)誤累積锨并，由修復(fù)的輪廓提供的知識(shí)可能被忘記或削弱露该。為了解決這個(gè)問題，將輪廓輸入精細(xì)網(wǎng)絡(luò)以增強(qiáng)條件的效果第煮。然后由細(xì)化網(wǎng)絡(luò)生成的圖像與孔洞蒙版連接解幼，并反饋到圖像判別器以進(jìn)行對(duì)抗學(xué)習(xí)。
????????圖像修復(fù)模塊首先在大型Places2數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練包警，沒有輪廓圖的額外通道撵摆，然后在輪廓修復(fù)模塊輸出的引導(dǎo)下對(duì)顯著性數(shù)據(jù)集進(jìn)行微調(diào)。與在Places2數(shù)據(jù)集上預(yù)先訓(xùn)練的網(wǎng)絡(luò)相比害晦，由于對(duì)顯著性數(shù)據(jù)集進(jìn)行微調(diào)的網(wǎng)絡(luò)采用不同的輸入（將額外的輪廓作為輸入）特铝，當(dāng)對(duì)網(wǎng)絡(luò)進(jìn)行微調(diào)時(shí)，將保留預(yù)訓(xùn)練網(wǎng)絡(luò)中除了第一層之外的所有層的參數(shù)，并隨機(jī)初始化圖像修復(fù)模塊的第一層鲫剿。
????????圖像修復(fù)模塊的訓(xùn)練過程有兩種設(shè)置痒芝。第一種是調(diào)整輪廓修復(fù)模塊的參數(shù)，并僅微調(diào)圖像修復(fù)模塊牵素。第二種方法是聯(lián)合微調(diào)兩個(gè)模塊严衬。在實(shí)驗(yàn)中，作者觀察到這兩者之間存在細(xì)微差別笆呆，因此作者將方法修復(fù)設(shè)為第二個(gè)設(shè)置请琳。
4 實(shí)驗(yàn)結(jié)果
????????論文[1]中對(duì)該方法進(jìn)行了多個(gè)實(shí)驗(yàn)，在這里僅僅只列舉代表性的實(shí)驗(yàn)結(jié)果赠幕，如圖2所示俄精。
5 其他
5.1 創(chuàng)新點(diǎn)
????????論文[1]的創(chuàng)新點(diǎn)有：
????????1)明確地解決結(jié)構(gòu)推斷和圖像修復(fù)的問題，解決圖像修復(fù)中與孔洞重疊或接觸前景對(duì)象的圖像中的挑戰(zhàn)性場景榕堰；
????????2)為推斷圖像的結(jié)構(gòu)竖慧，提出了一種明確訓(xùn)練的輪廓修復(fù)模塊來引導(dǎo)圖像的修復(fù)；
????????3)實(shí)驗(yàn)表明逆屡，與現(xiàn)有方法相比圾旨，該系統(tǒng)可以產(chǎn)生更高質(zhì)量的修復(fù)效果。
5.2 優(yōu)點(diǎn)
????????論文[1]所提出的方法優(yōu)點(diǎn)有：
????????1)能夠生成合理的物體輪廓魏蔗；
????????2)解決圖像修復(fù)中與孔洞重疊或接觸前景對(duì)象的圖像中的挑戰(zhàn)性場景砍的；
????????3)產(chǎn)生更高質(zhì)量的修復(fù)效果。
參考文獻(xiàn)
[1] Xiong W, Lin Z, Yang J, et al. Foreground-aware Image Inpainting[J]. arXiv preprint arXiv:1901.05945, 2019.
[2] Yu J, Lin Z, Yang J, et al. Free-form image inpainting with gated convolution[J]. arXiv preprint arXiv:1806.03589, 2018.
