環(huán)境GAN：從有損測度中生成模型

摘要：
生成模型提供了一種對于復(fù)雜分布中結(jié)構(gòu)進(jìn)行建模的方式，并且已經(jīng)被證明可用于很多實際感興趣的任務(wù)中徒探。但是，現(xiàn)在訓(xùn)練生成模型的技術(shù)需要訪問完全可觀測（fully-observed）的樣本湾揽。在很多場景中饵婆，獲取完全可觀測的樣本是昂貴的甚至不可能的，但是獲取部分的有噪聲的觀測樣本是比較實惠的咐鹤。我們考慮在只給予感興趣的分布的樣本的有損失觀測情況下拗秘，學(xué)習(xí)一個隱式的生成模型的任務(wù)。我們證明了即使在測度模型的某個類的每個樣本信息丟失的情況下祈惶，真正隱藏的分布也可以被恢復(fù)雕旨。基于此捧请，我們提出了一種我們稱之為環(huán)境GAN（AmbientGAN）的新的訓(xùn)練生成對抗網(wǎng)絡(luò)的方法凡涩。在三個基準(zhǔn)數(shù)據(jù)集和對于很多測度模型而言，我們證實了方法實質(zhì)性的定性和定量的改進(jìn)疹蛉。用我們方法訓(xùn)練的生成模型可以獲得比基準(zhǔn)高2-4倍的初始分?jǐn)?shù)（inception score）活箕。
全文：https://openreview.net/forum?id=Hy7fDog0b

本文提出的模型很簡單，就是生成器需要去擬合的數(shù)據(jù)分布并不可直接得到可款，但是知道經(jīng)過一些處理后得到的原數(shù)據(jù)的有損數(shù)據(jù)育韩，并且知道這個處理的過程，于是采用有損數(shù)據(jù)闺鲸，并將處理過程整合到GAN的架構(gòu)中筋讨，獲得的就是這篇文章提出的AmbientGAN的架構(gòu)，其具體架構(gòu)如圖所示：

其中Y是原始數(shù)據(jù)有損處理以后的結(jié)果數(shù)據(jù)翠拣，而黃色的fθ函數(shù)就是有損處理的映射函數(shù)版仔，因而這個AmbientGAN與GAN之間的區(qū)別就在于分辨器D需要分辨輸入的有損數(shù)據(jù)來自于真實的有損數(shù)據(jù)Yr，還是生成的數(shù)據(jù)Xg經(jīng)過f函數(shù)映射后得到的Yg误墓。因此，對應(yīng)的AmbientGAN的loss修改為如下形式：

其中益缎，q(x)表示的是質(zhì)量函數(shù)（按照理解谜慌，就是loss函數(shù)，在原始的GAN中莺奔，這個函數(shù)就是q(x)=log(x)）欣范。而fθ函數(shù)变泄，就是模擬的測度函數(shù)，就是圖中黃色部分恼琼。在論文中妨蛹，這個函數(shù)要求對所有的輸入，該函數(shù)可導(dǎo)晴竞。
就測度模型 (measurement models)而言蛙卤，文中提出了幾種不一樣的模型，來測試AmbientGAN模型：
Block-Pixels：圖片的每個像素都有獨立的具有p的概率被設(shè)置為0.
Convolve+Nois：每個圖片噩死，先用卷積核k進(jìn)行卷積操作颤难，再加上噪聲z（文中用的pθ，怕與上面的測度模型混淆已维，這里改寫成z）行嗤。
Block-Patch：在圖片中隨機選擇一個kk的塊，將其像素值設(shè)置為0.
Extract-patch：在圖片中隨機選擇一個kk的塊垛耳，截取出來作為圖片（類似于截圖）
Pad-Rotate-Project：用0填充圖片的四周栅屏，然后以圖片中心為軸，旋轉(zhuǎn)θ角度堂鲜，然后每個通道沿著水平方向既琴，疊加豎直方向的像素值，最后得到一個向量（維度為N13泡嘴，其中N是每個通道橫向的像素個數(shù)的最大值）甫恩。
Pad-Rotate-Project-θ：操作與Pad-Rotate-Project一致，但是θ是已知的酌予。
Gaussian-Projection：高斯投影磺箕，θ~N(0,In)，fθ(x)=(θ,<θ,x>)（這個處理不是很懂抛虫，大致的操作就是使用高斯向量做投影松靡？）
文章的理論基礎(chǔ)認(rèn)為AmbientGAN的分辨器D最優(yōu)化的形式如下：

其中r上標(biāo)表示真實數(shù)據(jù)，g上標(biāo)表示生成數(shù)據(jù)建椰，y下標(biāo)表示經(jīng)過測度后的數(shù)據(jù)雕欺。如果測度函數(shù)對于輸入px唯一確定一個py，那么D最優(yōu)的情況雖然是pry=pgy棉姐，但是此時唯一對應(yīng)著有屠列，pgx=prx。因而本文接下來的一部分理論證明的過程伞矩，都是證明上述提及的測度的模型唯一確定了一個測度后的樣本笛洛。
由于AmbientGAN架構(gòu)本質(zhì)上就是在生成樣本送D之前，加入了一個測度模型乃坤，因而其很容易整合到具體的GAN模型中去苛让，文中在實驗過程中沟蔑，嘗試將AmbientGAN整合到了DCGAN，WGANGP狱杰，ACWGANGP等架構(gòu)中來測試其性能瘦材。
對于本文提出的架構(gòu)，測試的Baseline的設(shè)計分為幾種方式仿畸，第一種是完全忽略在圖片上進(jìn)行的測度處理食棕，直接用測度以后的圖片，訓(xùn)練GAN模型颁湖，被文中稱為忽略型baseline宣蠕。另一種更好一些的baseline就是如果f測度函數(shù)是可逆的，那么從測度樣本y求出其完全觀察樣本x即可甥捺，但這樣并不符合文中假設(shè)（假設(shè)是只能接觸到測度后的樣本）抢蚀，基于此，文中提出可以獲得近似的逆樣本镰禾，被稱作逆測度的樣本（unmeasure）皿曲，然后利用這樣的近似樣本來學(xué)習(xí)生成模型。這樣的近似吴侦，對于上述不同的測度模型不同：
Block-Pixels：模糊圖片屋休，對于0像素，使用其周圍的像素來填充备韧，文中采用的是total variation inpainting的方法劫樟。
Convolve+Noise：Wiener deconvolution的方法處理圖片作為近似。
Block-Patch：Navier Stokes based inpainting的方法來填充0像素织堂。
其他的測度模型叠艳，沒有其他的方法進(jìn)行近似估計逆值，因而在試驗中易阳，作者只提供了AmbientGAN的結(jié)果附较。
Block-Pixels實驗結(jié)果：

Convolve+Noise實驗結(jié)果：

Block-patch和Keep-patch實驗結(jié)果：

Pad-Rotate-Project和Pad-Rotate-Project-θ實驗結(jié)果

可以從上述的結(jié)果中看到，除了一個降維測度模型中潦俺，AmbientGAN沒有產(chǎn)生較好的實驗結(jié)果拒课，其他的實驗結(jié)果都是比baseline在觀感上要好的。
接下來文章采用Inception Score來量化分析了AmbientGAN產(chǎn)生的圖片質(zhì)量事示，這部分重點關(guān)注的是在Block-Pixels和Convolve+Noise測度模型下的表現(xiàn)早像。

本文的附錄部分提供了更多的實驗結(jié)果的圖片，這里就不一一復(fù)制粘貼了很魂，附錄中值得關(guān)注的一個實驗是作者額外的實驗扎酷。文中提出的AmbientGAN的前提條件是，獲得了一些有損的或者叫不完整的樣本遏匆，然后用來生成完整的樣本法挨，但是由完整樣本得到不完整樣本的處理是已知，這樣的情況幅聘，對于f的要求太過具體凡纳，同時在實際中也很難遇到，但是可能存在知道大致的處理過程帝蒿，但是有些具體參數(shù)不知道荐糜。作者用Block-Pixels做了個測試，在概率p不知道的情況葛超，在f中窮舉p的值暴氏，來獲得不同的生成模型，最終Inception Score與估計的概率p’的圖像如下绣张，雖然這樣的圖像猜測中了實際的p值答渔，但在實際問題中，這樣的窮舉能得到多大的效果侥涵，確實未知沼撕。

這篇文章的網(wǎng)絡(luò)架構(gòu)很簡單，有損的樣本芜飘，得到有損樣本的處理過程务豺，在這種情況下，將得到有損樣本的處理過程整合到GAN中嗦明，以此得到AmbientGAN笼沥，來在只能得到有損樣本和有損樣本的處理過程的情況下，學(xué)習(xí)從不完整數(shù)據(jù)中娶牌，生成完整數(shù)據(jù)的一個生成模型奔浅。雖然整體的約束條件比較苛刻，但是有論文的審核者提出裙戏，這或許是為去噪模型提供了一種思路乘凸，這樣的模型可能可以用來去噪或者還原圖片。