CycleGAN-兩個(gè)領(lǐng)域非匹配圖像的相互轉(zhuǎn)換

1. CycleGAN的簡(jiǎn)介

? ? ? ? pix2pix可以很好地處理匹配數(shù)據(jù)集圖像轉(zhuǎn)換爽室,但是在很多情況下匹配數(shù)據(jù)集是沒(méi)有的或者是很難收集到的汁讼,但是我們可以很容易的得到兩個(gè)領(lǐng)域大量的非匹配數(shù)據(jù)。2017年有兩篇非常相似的論文CycleGAN和DiscoGAN阔墩,提出了一種解決非匹配數(shù)據(jù)集的圖像轉(zhuǎn)換方案嘿架。而且CycleGAN在轉(zhuǎn)換的過(guò)程中,只是將A領(lǐng)域圖像的某些特性轉(zhuǎn)換成B領(lǐng)域的一些特性啸箫,圖像的其余大部分內(nèi)容都沒(méi)有改變耸彪。CycleGAN 能實(shí)現(xiàn)兩個(gè)相近數(shù)據(jù)集之間的轉(zhuǎn)換。


2. CycleGAN的網(wǎng)絡(luò)結(jié)構(gòu)

CycleGAN網(wǎng)絡(luò)結(jié)構(gòu)的拆分

? ? ? ? 該結(jié)構(gòu)中忘苛,生成器相當(dāng)于一個(gè)自編碼網(wǎng)絡(luò)蝉娜,前半部分進(jìn)行編碼唱较,后半部分進(jìn)行解碼,而且生成器G和生成器F的結(jié)構(gòu)完全相同召川,其中生成器G負(fù)責(zé)實(shí)現(xiàn)由X到Y(jié)的轉(zhuǎn)換绊汹,生成器F負(fù)責(zé)實(shí)現(xiàn)由Y到X的轉(zhuǎn)換,它們的輸入扮宠、輸出的大小均為(batch_size, n_channel, cols, rows)西乖,判別器的輸入為(batch_size, n_channel, cols, rows), 判別器的輸出為(batch_size, 1, s1, s2)。


3. CycleGAN的損失函數(shù)

(1)對(duì)抗損失

L_{GAN}(G, D_{Y} , X, Y) = E_{y\in p_{data} } (y)[log D_{Y}(y) ] +  E_{x\in p_{data} } (x)[log (1-D_{Y}(G(x)) )]

L_{GAN}(F, D_{Y} , Y, X) = E_{x\in p_{data} } (x)[log D_{X}(x) ] +  E_{y\in p_{data} } (y)[log (1-D_{X}(G(y)) )]

對(duì)抗損失的作用是坛增,使生成的目標(biāo)領(lǐng)域的圖像和目標(biāo)領(lǐng)域的真實(shí)圖像盡可能地接近获雕。

(2)循環(huán)損失

L_{cyc}(G, F) = E_{x\in p_{data} } (x)[||F(G(x))-x|| _{1} ]  + E_{y\in p_{data} } (y)[||G(F(y))-y|| _{1} ]

循環(huán)損失的作用是,使生成的圖像盡可能多的保留原始圖像的內(nèi)容收捣。

在網(wǎng)絡(luò)訓(xùn)練的過(guò)程中是將G和F聯(lián)合起來(lái)一起訓(xùn)練的届案,D_{X} D_{Y} 是單獨(dú)進(jìn)行訓(xùn)練的。

G-F聯(lián)合網(wǎng)絡(luò)的損失函數(shù)為:L_{G-F}=L_{GAN} (G, D_{Y} , X, Y) + L_{GAN} (F, D_{X} , Y, X) + \lambda L_{cycle}(G, F)

fake_B = G_AB(real_A)

loss_GAN_AB = torch.nn.MSELoss(D_B(fake_B), valid)

fake_A = G_BA(real_B)

loss_GAN_BA = torch.nn.MSELoss(D_A(fake_A), valid)

loss_G_GAN = (loss_GAN_AB + loss_GAN_BA) / 2? ? ? #? 生成器的對(duì)抗損失

recov_A = G_BA(fake_B)

loss_cycle_A = torch.nn.L1Loss(recov_A, real_A)

recov_cycle_B = G_AB(fake_A)

loss_cycle_B = torch.nn.L1Loss(recov_B, real_B)

loss_cycle = (loss_cycle_A + loss_cycle_B) / 2? ? ? ? ? #? 生成器的循環(huán)損失

Loss_G = loss_G_GAN + lambda_cycle * loss_cycle

D_{X} 的損失函數(shù)為:?L_{D_{X} } = L_{GAN}(F, D_{X} , Y, X)

loss_real = torch.nn.MSELoss(D_A(real_A), valid)

fake_A = fake_A_buffer.push_and_pop(fake_A)

loss_fake = torch.nn.MSELoss(D_A(fake_A.detach()), fake)

loss_D_A = (loss_real + loss_fake) / 2

D_{Y} 的損失函數(shù)為:?L_{D_{Y} } = L_{GAN}(G, D_{Y} , X, Y)

loss_real = torch.nn.MSELoss(D_B(real_B), valid)

fake_B = fake_B_buffer.push_and_pop(fake_B)

loss_fake = torch.nn.MSELoss(D_B(fake_B.detach(), fake)

loss_D_B = (loss_real + loss_fake) / 2

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末罢艾,一起剝皮案震驚了整個(gè)濱河市楣颠,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌咐蚯,老刑警劉巖童漩,帶你破解...
    沈念sama閱讀 211,265評(píng)論 6 490
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異春锋,居然都是意外死亡矫膨,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,078評(píng)論 2 385
  • 文/潘曉璐 我一進(jìn)店門(mén)期奔,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)侧馅,“玉大人,你說(shuō)我怎么就攤上這事呐萌∧俪眨” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 156,852評(píng)論 0 347
  • 文/不壞的土叔 我叫張陵肺孤,是天一觀(guān)的道長(zhǎng)罗晕。 經(jīng)常有香客問(wèn)我,道長(zhǎng)渠旁,這世上最難降的妖魔是什么攀例? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 56,408評(píng)論 1 283
  • 正文 為了忘掉前任船逮,我火速辦了婚禮顾腊,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘挖胃。我一直安慰自己杂靶,他們只是感情好梆惯,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,445評(píng)論 5 384
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著吗垮,像睡著了一般浩聋。 火紅的嫁衣襯著肌膚如雪储矩。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書(shū)人閱讀 49,772評(píng)論 1 290
  • 那天,我揣著相機(jī)與錄音梧兼,去河邊找鬼。 笑死孩灯,一個(gè)胖子當(dāng)著我的面吹牛潦俺,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播狼牺,決...
    沈念sama閱讀 38,921評(píng)論 3 406
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼羡儿,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了是钥?” 一聲冷哼從身側(cè)響起掠归,我...
    開(kāi)封第一講書(shū)人閱讀 37,688評(píng)論 0 266
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎悄泥,沒(méi)想到半個(gè)月后虏冻,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,130評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡弹囚,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,467評(píng)論 2 325
  • 正文 我和宋清朗相戀三年兄旬,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片余寥。...
    茶點(diǎn)故事閱讀 38,617評(píng)論 1 340
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡领铐,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出宋舷,到底是詐尸還是另有隱情绪撵,我是刑警寧澤,帶...
    沈念sama閱讀 34,276評(píng)論 4 329
  • 正文 年R本政府宣布祝蝠,位于F島的核電站音诈,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏绎狭。R本人自食惡果不足惜细溅,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,882評(píng)論 3 312
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望儡嘶。 院中可真熱鬧喇聊,春花似錦、人聲如沸蹦狂。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 30,740評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至窜骄,卻和暖如春锦募,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背邻遏。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 31,967評(píng)論 1 265
  • 我被黑心中介騙來(lái)泰國(guó)打工糠亩, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人准验。 一個(gè)月前我還...
    沈念sama閱讀 46,315評(píng)論 2 360
  • 正文 我出身青樓削解,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親沟娱。 傳聞我的和親對(duì)象是個(gè)殘疾皇子氛驮,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,486評(píng)論 2 348