CycleGAN
【論文】Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks https://arxiv.org/pdf/1703.10593.pdf
【主頁】https://junyanz.github.io/CycleGAN/
【pytorch code】https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix
【torch code】 https://github.com/junyanz/CycleGAN
創(chuàng)新點：不需要配對數(shù)據(jù)就能實現(xiàn)圖像風(fēng)格的轉(zhuǎn)換诱桂。
【摘要】
圖片到圖片的轉(zhuǎn)換是一類以使用配對圖片學(xué)習(xí)從輸入圖片到輸出圖片的映射為目標(biāo)的視覺和圖形問題纺阔。然而相恃，對于許多任務(wù)難以獲取到配對的訓(xùn)練數(shù)據(jù)褐望。我們提出了一種方法可以不依賴配對數(shù)據(jù)去學(xué)習(xí)圖像從X域到Y(jié)域的轉(zhuǎn)換蝎毡。我們的目標(biāo)是去學(xué)習(xí)映射G:X—>Y 莱预，使得G(X)生成的圖像的分布和Y的分布不能使用對抗loss區(qū)別出來。因為這個映射是高度受限的涨颜，我們加上一個反向映射F:Y—>X并且引入一個循環(huán)一致性損失（cycle consistency loss）去實現(xiàn) （反之亦然）费韭。我們在幾個無配對數(shù)據(jù)的任務(wù)上展示了效果，包括collection風(fēng)格遷移庭瑰，目標(biāo)變形星持，季節(jié)轉(zhuǎn)換，照片增強(qiáng)等弹灭。和幾個好的方法的對比證明了我們方法的優(yōu)越性钉汗。
【引論】
1873年的一個晴朗的春日羹令，在阿讓特伊附近的塞納河畔，克勞德·莫奈在他的畫架放旁看到了什么（圖1损痰，左上角）？可能是一副彩色的畫面酒来，碧綠的河面映出湛藍(lán)的天空卢未。莫奈用細(xì)細(xì)的線條和明亮的顏色勾勒出這副場景。
如果莫奈此時在卡西斯的小港灣里一個涼爽的夏夜呢（圖1堰汉，左下角）辽社？漫步在莫奈的畫廊可以想象得到他會畫出這樣的場景：或許是柔和的陰影，配上重墨翘鸭，再加上一些過度區(qū)域滴铅。
這些我們都可以想象的到卻從來沒看到過莫奈畫過旁邊的照片中展現(xiàn)的場景。我們已經(jīng)知道了莫奈的畫作風(fēng)格就乓。我們可以分辨出這兩種畫的風(fēng)格差異汉匙，因此可以想象的到把一種畫的風(fēng)格“遷移”到另一個種畫上面會是什么樣的。
在這片論文中生蚁，我們展示了一種可以做到這件事的方法：抓取其中一張圖像的特殊特性噩翠，并且計算出這些特性放到其他的圖像上的效果，所有這些都不需要配對數(shù)據(jù)邦投。
這個問題可以更一般地概括為圖像到圖像的轉(zhuǎn)換,將一張給定場景的圖像x伤锚，轉(zhuǎn)換到另一張y。比如灰度圖轉(zhuǎn)彩圖志衣，圖像語義分割屯援，線條轉(zhuǎn)相片（edge-map to photograph）。數(shù)年來在計算機(jī)視覺念脯、圖像處理狞洋、計算機(jī)圖形學(xué)和制圖學(xué)的研究產(chǎn)生了強(qiáng)大的依賴配對數(shù)據(jù)（圖2左）的有監(jiān)督轉(zhuǎn)換系統(tǒng)。然而配對數(shù)據(jù)難以獲取并且昂貴和二。
未完待續(xù)徘铝。。惯吕。
