在生成對抗網絡GAN提出之后，又出現了一種條件對抗網絡CGAN挨约。CGAN能夠通過簡單地提供數據來構造味混，希望對生成器和判別器都進行條件化。通過實驗驗證了給模型可以生成以類標簽為條件的MNIST數字烫罩。文章還進一步說明了如何使用該模型來學習多模態(tài)模型惜傲，并提供圖像標記應用程序的初步示例，其演示了此方法如何生成不屬于訓練標簽的描述性標記贝攒。
引言
生成對抗網絡作為訓練生成模型的替代框架盗誊，避免了近似許多難以處理的概率計算遇到的困難。
生成對抗網絡不需要滿足馬爾可夫鏈條件隘弊，可以直接采用反向傳播網絡來獲得梯度哈踱，在學習期間不需要推理，并且可以容易地將各種因素和相互作用結合到模型中梨熙。
并且已經證明了生產對抗網絡能夠產生最好的對數似然估計和真實樣本开镣。
在一個沒有加條件的生成模型，無法控制生成數據的模型咽扇。然而邪财，通過給模型添加一些附加的信息則有可能指導數據生成的進程。這樣的條件可以基于類標簽质欲，在某些為了圖像修補的數據中树埠，甚至來自不同形式的數據。
這篇文章構建了條件對抗網絡嘶伟。對于實驗結果怎憋，我們展示了2組實驗。一個是在MNIST手寫數字建立類標簽條件，另一個在MIR數據集為了多模態(tài)學習绊袋。
相關工作
圖像標簽的多模態(tài)學習
盡管監(jiān)督神經網絡（特別是卷積網絡）取得了許多成功毕匀，但仍然難以擴展此類模型以適應具有巨大數量的預測輸出類別的問題。另一個問題是過去關注的都是學習一對一的映射從輸入到輸出癌别。但是皂岔，許多問題更自然地被認為是一種基于概率的一對多的映射。例如规个，在圖像標注中凤薛，可能有很多不同的標簽適應于給出的圖像，并且不同的標注者可能會使用不同的術語（但語義相似）去描述同一幅圖象缤苫。
解決第一個問題的一種方式是從其它方法中獲取額外信息：例如，采用自然語言的全集去學習幾何關系在語義上有意義的標簽的向量表示墅拭。當在這種空間中做預測時活玲，我們受益于這樣一個事實，即當預測錯誤時谍婉，我們仍然“接近”真相（例如舒憾，預測“桌子”而不是“椅子”），并且從那樣的事實中穗熬，我們可以自然地對訓練期間未出現的標簽做出預測概括镀迂。諸如一些文獻表明，即使從圖像特征空間到字表示空間的簡單線性映射也可以產生改進的分類性能唤蔗。
解決第二個問題的一種方式是采用條件概率生成模型探遵，輸入被視為條件變量，并且一對多映射被實例化為條件預測分布妓柜。
條件對抗網絡
生成對抗網絡
生成對抗模型作為一種新的方法來訓練生成模型箱季。它由兩個對抗模型組成：生成模型G捕獲數據分布，判別模型D估計輸入樣本來自訓練樣本的概率棍掐。G和D都是非線性映射函數藏雏，例如多層感知機。
為了學習生成分布來近似樣本數據
作煌，生成模型建立一種從定義的噪聲分布
到數據空間
的映射函數掘殴。判別模型
輸出當個標量判斷數據
來自訓練數據還是
。
G和D同時訓練：我們?yōu)镚調整參數使得最小化粟誓，調整參數D使得
最小化奏寨，如果把他們視為二人最小-最大游戲，其值函數表示為：
條件對抗網絡
如果生成模型和判別模型同時以額外信息為條件時努酸，生成對抗網絡可以擴展為條件模型。
可以是任何類型的輔助信息杜恰，例如：標簽或從其它方式獲取的數據获诈。我們可以通過將
作為附加輸入層饋入判別模型和生成模型來進行調節(jié)仍源。
在生成模型中，定義的輸入噪聲和
在聯(lián)合隱藏表示中組合舔涎，并且對抗訓練框架在如何組合該隱藏表示方面具有相當大的靈活性笼踩。
在判別模型中，和
作為輸入到判別函數（在這個案例中再次通過MLP呈現）亡嫌。
二人極小極大游戲可以有如下表示：
圖1給出了簡單的條件對抗網絡的結構嚎于。
