PGGAN中已經(jīng)可以生成很棒很真實的圖片了兄一，但是由于計算量稍復(fù)雜。有人提出使用VAE和GAN的結(jié)合體IntroVAE來實現(xiàn)高分辨圖像的合成识腿。
一出革、摘要
IntroVAE能夠自我評估其生成的樣品的質(zhì)量并相應(yīng)地改進(jìn)自身。它的推理和生成器模型以內(nèi)省的方式共同訓(xùn)練渡讼。一方面骂束，需要發(fā)生器將來自推理模型的噪聲輸出的輸入圖像重建為正常VAE。另一方面成箫，鼓勵推理模型在生成的樣本和實際樣本之間進(jìn)行分類展箱，而生成器試圖將其作為GAN欺騙。
二蹬昌、VAE與GAN兩者方面各有的優(yōu)缺點
VAE理論上優(yōu)雅混驰，易于訓(xùn)練。它們具有很好的流形表示皂贩，但會產(chǎn)生非常模糊的圖像栖榨，缺乏細(xì)節(jié)
GAN通常會產(chǎn)生更清晰的圖像，但在訓(xùn)練穩(wěn)定性和采樣多樣性方面面臨挑戰(zhàn)明刷，尤其是在合成高分辨率圖像時婴栽。
三、本文所貢獻(xiàn)的三種方法
我們?yōu)閂AE提出了一種新的訓(xùn)練技術(shù)遮精，以內(nèi)省的方式訓(xùn)練VAE居夹，使得模型本身估計生成的圖像和真實圖像之間的差異败潦，而無需額外的鑒別器。
我們提出了用于高分辨率攝影圖像合成的單流單級對抗模型准脂，這是GAN以這種簡單而有效的方式生成高分辨率圖像的第一種可行方法劫扒。
方法結(jié)合了GAN和VAE的優(yōu)勢，產(chǎn)生的高分辨率照片圖像與最先進(jìn)的GAN產(chǎn)生的圖像相當(dāng)狸膏，同時保留了VAE的優(yōu)點沟饥，如穩(wěn)定訓(xùn)練和漂亮的潛在變化。
四湾戳、方法
- 對抗性分布匹配
為了使生成的樣本的分布與給定訓(xùn)練數(shù)據(jù)的真實分布相匹配贤旷，我們使用正化術(shù)語作為對抗訓(xùn)練成本函數(shù)。訓(xùn)練推理模型以最小化砾脑，使得樣本的后驗分布大致匹配先前分布幼驶。
- 內(nèi)省的變分推斷
推理模型E和生成器G的訓(xùn)練對象可以重新表述如下：
增加重建誤差，在推理模型E和發(fā)生器G之間建立了一個橋梁韧衣，并產(chǎn)生了VAE和GAN的特定混合模型盅藻。對于來自訓(xùn)練集的數(shù)據(jù)樣本x，所提出的方法的對象折疊到VAE的標(biāo)準(zhǔn)ELBO對象畅铭，從而保留了VAE的屬性;對于生成的樣本氏淑，此對象在E和G之間生成GAN的最小 - 最大游戲，并使圖片更加逼真硕噩。
五假残、算法表示如下
其中ng(.)表示此時停止了梯度的反向傳播，Enc(.)表示E的映射函數(shù)炉擅，α和β是用于平衡每個項目的重要性的加權(quán)參數(shù)辉懒。
六、生成1024 * 1024 圖片的結(jié)果
將我們的采樣結(jié)果與PGGAN進(jìn)行了比較坑资，后者是合成高分辨率圖像的最先進(jìn)技術(shù)耗帕。如圖所示，我們的方法能夠合成與PGGAN相當(dāng)?shù)母叻直媛矢哔|(zhì)量樣本袱贮，這些樣本都可以與真實圖像區(qū)分開來仿便。雖然PGGAN采用漸進(jìn)式多階段方式訓(xùn)練對稱發(fā)生器和鑒別器，但我們的模型以更簡單的方式進(jìn)行訓(xùn)練攒巍，在單個階段中迭代地訓(xùn)練單個推理模型和單個發(fā)生器嗽仪，就像原始GAN一樣。我們的方法的結(jié)果表明柒莉，通過直接使用高分辨率圖像進(jìn)行訓(xùn)練闻坚，可以合成非常高分辨率的圖像，而無需將單個任務(wù)分解為多個從低到高的分辨率任務(wù)兢孝。此外窿凤，我們在圖中的LSUN BEDROOM中提供了視覺質(zhì)量結(jié)果仅偎，這進(jìn)一步證明了我們的方法能夠合成與PGGAN相當(dāng)?shù)母哔|(zhì)量圖像
七、結(jié)論
推理模型不僅學(xué)習(xí)了一個漂亮的潛在流形結(jié)構(gòu)仓洼，而且還充當(dāng)了一個鑒別器介陶，以最大化生成數(shù)據(jù)的近似后驗與先驗的發(fā)散。因此色建，所提出的IntroVAE具有內(nèi)省能力哺呜，以自我估計所生成圖像的質(zhì)量并相應(yīng)地改進(jìn)其自身。
文章引用于 http://tongtianta.site/paper/22917
編輯 Lornatang
校準(zhǔn) Lornatang
