??GAN亡电,生成對(duì)抗網(wǎng)絡(luò),由Goodfellow提出硅瞧,是一種模擬生成器份乒,可以用來(lái)模擬某種數(shù)據(jù)的分布。GAN是一種非常棒的思想腕唧,借鑒了博弈論的內(nèi)容或辖,生成兩個(gè)多層感知器G和D。其中枣接,生成器G用來(lái)捕獲已知數(shù)據(jù)的分布颂暇,判別器D用來(lái)判斷一個(gè)數(shù)據(jù)是真實(shí)的數(shù)據(jù)還是G生成的數(shù)據(jù)。
??那么但惶,如何訓(xùn)練呢耳鸯?就是讓這兩個(gè)感知器去玩一個(gè)對(duì)抗游戲,對(duì)于D來(lái)說(shuō)膀曾,就是要盡可能的判斷正確县爬,而對(duì)于G來(lái)說(shuō),就是要增加D犯錯(cuò)誤的可能性(也就是G生成的數(shù)據(jù)要盡可能的像真的添谊,才能騙過(guò)D)财喳。
??這實(shí)際上是一個(gè)最大最小游戲(minmax),而且對(duì)于數(shù)據(jù)空間中的任意的G和D來(lái)說(shuō),存在著全局最優(yōu)解(作者在論文中進(jìn)行了證明)耳高。如果計(jì)算能力足夠扎瓶,最終G能夠完美模擬真實(shí)數(shù)據(jù)(即: pg 會(huì)收斂到 pdata),而D對(duì)于任意一個(gè)數(shù)據(jù)的判斷結(jié)果都為1/2泌枪。
理論證明
??我們上面說(shuō)到栗弟,GAN實(shí)際上是一個(gè)two-player minimax game,用公式表示的話工闺,可以表示成如下形式:
??上述公式存在全局最優(yōu)解:pg = pdata乍赫。作者對(duì)這個(gè)結(jié)論進(jìn)行了證明,證明過(guò)程分為兩個(gè)部分陆蟆,首先看第一部分(最大部分):
??1雷厂、首先,將V(G,D)展開(kāi):
??2叠殷、對(duì)于一個(gè)給定的G改鲫,當(dāng)V(G,D)取得最大值:max V(G,D)時(shí),D(X)的取值為:
??3林束、將上述得到的max V(G,D)定義為C(G)像棘,即:
??接下來(lái)看第二部分(即,最小部分):
算法流程
??作者在證明了GAN的理論可行性之后壶冒,給出了具體的算法流程缕题,如下:
算法流程證明
??為了說(shuō)明上述的算法是可收斂的,作者進(jìn)行了理論上的證明胖腾,具體如下:
??另外烟零,作者還在論文中給出了一個(gè)GAN的訓(xùn)練示意圖,可以清楚的看到整個(gè)訓(xùn)練的過(guò)程:
??論文中有段話說(shuō)的挺好咸作,雖然感覺(jué)有點(diǎn)啰嗦锨阿,但是覺(jué)得可以幫助理解GAN:
??翻譯一下:在實(shí)際使用過(guò)程中,我們通過(guò)生成網(wǎng)絡(luò)G(z;)來(lái)生成我們需要的數(shù)據(jù)分布pg(也即是:模擬的真實(shí)數(shù)據(jù)分布pdata)记罚。那么在生成pg的過(guò)程中墅诡,我們實(shí)際上沒(méi)有直接去優(yōu)化pg,而是優(yōu)化的網(wǎng)絡(luò)G中的參數(shù)(也即是:網(wǎng)絡(luò)中的權(quán)重和偏置)桐智。雖然使用多層感知器G會(huì)在參數(shù)空間中引入一些critical points末早。但是,多層感知器在實(shí)踐中的優(yōu)異性能表明它們是非常有效的model酵使,即使它們?nèi)狈σ恍├碚撋系闹С郑ㄟ@個(gè)也是深度學(xué)習(xí)被很多人反對(duì)和詬病的地方)荐吉。