Generative Adversarial Nets讀書(shū)筆記

??GAN亡电,生成對(duì)抗網(wǎng)絡(luò),由Goodfellow提出硅瞧,是一種模擬生成器份乒,可以用來(lái)模擬某種數(shù)據(jù)的分布。GAN是一種非常棒的思想腕唧,借鑒了博弈論的內(nèi)容或辖,生成兩個(gè)多層感知器G和D。其中枣接,生成器G用來(lái)捕獲已知數(shù)據(jù)的分布颂暇,判別器D用來(lái)判斷一個(gè)數(shù)據(jù)是真實(shí)的數(shù)據(jù)還是G生成的數(shù)據(jù)。
??那么但惶,如何訓(xùn)練呢耳鸯?就是讓這兩個(gè)感知器去玩一個(gè)對(duì)抗游戲,對(duì)于D來(lái)說(shuō)膀曾,就是要盡可能的判斷正確县爬,而對(duì)于G來(lái)說(shuō),就是要增加D犯錯(cuò)誤的可能性(也就是G生成的數(shù)據(jù)要盡可能的像真的添谊,才能騙過(guò)D)财喳。
??這實(shí)際上是一個(gè)最大最小游戲(minmax),而且對(duì)于數(shù)據(jù)空間中的任意的G和D來(lái)說(shuō),存在著全局最優(yōu)解(作者在論文中進(jìn)行了證明)耳高。如果計(jì)算能力足夠扎瓶,最終G能夠完美模擬真實(shí)數(shù)據(jù)(即: pg 會(huì)收斂到 pdata),而D對(duì)于任意一個(gè)數(shù)據(jù)的判斷結(jié)果都為1/2泌枪。

理論證明

??我們上面說(shuō)到栗弟,GAN實(shí)際上是一個(gè)two-player minimax game,用公式表示的話工闺,可以表示成如下形式:


??上述公式存在全局最優(yōu)解:pg = pdata乍赫。作者對(duì)這個(gè)結(jié)論進(jìn)行了證明,證明過(guò)程分為兩個(gè)部分陆蟆,首先看第一部分(最大部分):
??1雷厂、首先,將V(G,D)展開(kāi):

??2叠殷、對(duì)于一個(gè)給定的G改鲫,當(dāng)V(G,D)取得最大值:max V(G,D)時(shí),D(X)的取值為:

??3林束、將上述得到的max V(G,D)定義為C(G)像棘,即:

??接下來(lái)看第二部分(即,最小部分):

算法流程

??作者在證明了GAN的理論可行性之后壶冒,給出了具體的算法流程缕题,如下:


算法流程證明

??為了說(shuō)明上述的算法是可收斂的,作者進(jìn)行了理論上的證明胖腾,具體如下:


??另外烟零,作者還在論文中給出了一個(gè)GAN的訓(xùn)練示意圖,可以清楚的看到整個(gè)訓(xùn)練的過(guò)程:

??論文中有段話說(shuō)的挺好咸作,雖然感覺(jué)有點(diǎn)啰嗦锨阿,但是覺(jué)得可以幫助理解GAN:

??翻譯一下:在實(shí)際使用過(guò)程中,我們通過(guò)生成網(wǎng)絡(luò)G(z;\theta_{g})來(lái)生成我們需要的數(shù)據(jù)分布pg(也即是:模擬的真實(shí)數(shù)據(jù)分布pdata)记罚。那么在生成pg的過(guò)程中墅诡,我們實(shí)際上沒(méi)有直接去優(yōu)化pg,而是優(yōu)化的網(wǎng)絡(luò)G中的參數(shù)(也即是:網(wǎng)絡(luò)中的權(quán)重和偏置)桐智。雖然使用多層感知器G會(huì)在參數(shù)空間中引入一些critical points末早。但是,多層感知器在實(shí)踐中的優(yōu)異性能表明它們是非常有效的model酵使,即使它們?nèi)狈σ恍├碚撋系闹С郑ㄟ@個(gè)也是深度學(xué)習(xí)被很多人反對(duì)和詬病的地方)荐吉。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末焙糟,一起剝皮案震驚了整個(gè)濱河市口渔,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌穿撮,老刑警劉巖缺脉,帶你破解...
    沈念sama閱讀 206,378評(píng)論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件痪欲,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡攻礼,警方通過(guò)查閱死者的電腦和手機(jī)业踢,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,356評(píng)論 2 382
  • 文/潘曉璐 我一進(jìn)店門(mén),熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)礁扮,“玉大人知举,你說(shuō)我怎么就攤上這事√粒” “怎么了雇锡?”我有些...
    開(kāi)封第一講書(shū)人閱讀 152,702評(píng)論 0 342
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)僚焦。 經(jīng)常有香客問(wèn)我锰提,道長(zhǎng),這世上最難降的妖魔是什么芳悲? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 55,259評(píng)論 1 279
  • 正文 為了忘掉前任立肘,我火速辦了婚禮,結(jié)果婚禮上名扛,老公的妹妹穿的比我還像新娘谅年。我一直安慰自己,他們只是感情好肮韧,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,263評(píng)論 5 371
  • 文/花漫 我一把揭開(kāi)白布踢故。 她就那樣靜靜地躺著,像睡著了一般惹苗。 火紅的嫁衣襯著肌膚如雪殿较。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書(shū)人閱讀 49,036評(píng)論 1 285
  • 那天桩蓉,我揣著相機(jī)與錄音淋纲,去河邊找鬼。 笑死院究,一個(gè)胖子當(dāng)著我的面吹牛洽瞬,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播业汰,決...
    沈念sama閱讀 38,349評(píng)論 3 400
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼伙窃,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了样漆?” 一聲冷哼從身側(cè)響起为障,我...
    開(kāi)封第一講書(shū)人閱讀 36,979評(píng)論 0 259
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后鳍怨,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體呻右,經(jīng)...
    沈念sama閱讀 43,469評(píng)論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 35,938評(píng)論 2 323
  • 正文 我和宋清朗相戀三年鞋喇,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了声滥。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 38,059評(píng)論 1 333
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡侦香,死狀恐怖落塑,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情罐韩,我是刑警寧澤芜赌,帶...
    沈念sama閱讀 33,703評(píng)論 4 323
  • 正文 年R本政府宣布,位于F島的核電站伴逸,受9級(jí)特大地震影響缠沈,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜错蝴,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,257評(píng)論 3 307
  • 文/蒙蒙 一洲愤、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧顷锰,春花似錦柬赐、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 30,262評(píng)論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至束世,卻和暖如春酝陈,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背毁涉。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 31,485評(píng)論 1 262
  • 我被黑心中介騙來(lái)泰國(guó)打工沉帮, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人贫堰。 一個(gè)月前我還...
    沈念sama閱讀 45,501評(píng)論 2 354
  • 正文 我出身青樓穆壕,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親其屏。 傳聞我的和親對(duì)象是個(gè)殘疾皇子喇勋,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,792評(píng)論 2 345

推薦閱讀更多精彩內(nèi)容

  • GAN,全稱為Generative Adversarial Nets偎行,直譯為生成式對(duì)抗網(wǎng)絡(luò)川背。它一方面將產(chǎn)生式模型拉...
    MiracleJQ閱讀 3,358評(píng)論 0 14
  • 2017.04.14 之所以會(huì)失望和焦慮贰拿,是因?yàn)閮?nèi)心的欲求沒(méi)有得到滿足。這個(gè)欲求可大可小渗常,于是失望和焦慮的程...
    星伢閱讀 233評(píng)論 0 0
  • 上一章 前言:人的一生說(shuō)長(zhǎng)則長(zhǎng),長(zhǎng)到有著數(shù)十年的歲月汗盘;說(shuō)短則短皱碘,短到很多刻骨銘心的記憶都是由幾個(gè)短暫的畫(huà)面組成。幼...
    米藍(lán)色的天空閱讀 230評(píng)論 2 6
  • 財(cái)務(wù)和會(huì)計(jì)專(zhuān)業(yè)的畢業(yè)生隐孽, 在食堂吃飯癌椿,驕傲地穿著具有專(zhuān)業(yè)特性的T恤。 我在其后喝著難喝的免費(fèi)湯菱阵, 我也其后讀了會(huì)兒...
    布布老師呂布凡閱讀 193評(píng)論 0 1
  • 二十四個(gè)遠(yuǎn)道而來(lái)的客人坐在狹長(zhǎng)的宴會(huì)廳里等待著踢俄,每?jī)蓚€(gè)人面前放著一張矮桌,錦繡的帶軟墊的凳子晴及,五十個(gè)或者更多的女奴...
    道天生閱讀 222評(píng)論 0 1