Generative Adversarial Nets

GAN原文
code


同時(shí)訓(xùn)練兩個(gè)模型:generative model G 學(xué)習(xí)逼近真實(shí)數(shù)據(jù)的分布峡迷,目標(biāo)是使得生成的樣本讓D無法識(shí)別是來自真實(shí)的數(shù)據(jù)還是G生成的數(shù)據(jù),discriminative model D 評(píng)估樣本來自真實(shí)數(shù)據(jù)的可能泉唁。當(dāng)G學(xué)習(xí)到足夠好以致D無法判別時(shí),D(x)=1/2予颤。

為了使generator’s distribution pg 逼近真實(shí)數(shù)據(jù)data x
定義一個(gè)輸入噪聲變量pz(Z)
G,D都為multilayer perceptrons 參數(shù)各為θg,θd.
G伴隨噪音z生成的樣本為:G(z;θg)
D(x踢步;θd)輸出為一個(gè)單獨(dú)的變量scalar
D(x)代表x來自真實(shí)數(shù)據(jù)x的可能而不是pg
將訓(xùn)練D使其區(qū)分樣本是來自data x還是 G,最大化log(D(x))
同時(shí)最小化G:log(1-D(G(z))) 寺鸥,G(z)生成的樣本:x'
在log(D(x'))最大化的同時(shí)log(1-D(x'))就必須最小化:即二者形成一個(gè)極大極小的競爭:其中IEx~pdata(x) 為根真實(shí)數(shù)據(jù)分布從真實(shí)數(shù)據(jù)中取x,IEz~p(z)亦然

競爭函數(shù)

在最初D可以輕易分辨x來自data x或G,使得最小化log(1-D(G(z))) 飽和
因此可以先訓(xùn)練D(G(z))

訓(xùn)練過程

訓(xùn)練過程中:藍(lán)色虛線代表D的分布,綠色實(shí)線代表G的分布pg,黑色圈代表真實(shí)數(shù)據(jù)的分布猪钮。z是代表噪音,x代表數(shù)據(jù)胆建。z志向x的區(qū)域即代表當(dāng)前G(z)生成的樣本落在x中的哪個(gè)區(qū)域.(a)是初始狀態(tài)的時(shí)候烤低,D還是能較好好分辨出data x與G(z).(b)經(jīng)過訓(xùn)練D已經(jīng)能很好區(qū)分樣本來自于data x還是G(z).(c)訓(xùn)練G使得G逼近真實(shí)數(shù)據(jù)的分布。此時(shí)D可再訓(xùn)練調(diào)整D的分布重復(fù)上述過程...(d)為最后結(jié)果即G生成的樣本逼近真實(shí)的數(shù)據(jù)笆载,D(x)=1/2

DG梯度更新
最佳D*


競爭函數(shù)代入最佳D*
pg可逼近pdata
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末扑馁,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子凉驻,更是在濱河造成了極大的恐慌檐蚜,老刑警劉巖,帶你破解...
    沈念sama閱讀 222,946評(píng)論 6 518
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件沿侈,死亡現(xiàn)場離奇詭異闯第,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)缀拭,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,336評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門咳短,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人蛛淋,你說我怎么就攤上這事咙好。” “怎么了褐荷?”我有些...
    開封第一講書人閱讀 169,716評(píng)論 0 364
  • 文/不壞的土叔 我叫張陵勾效,是天一觀的道長。 經(jīng)常有香客問我叛甫,道長层宫,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 60,222評(píng)論 1 300
  • 正文 為了忘掉前任其监,我火速辦了婚禮萌腿,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘抖苦。我一直安慰自己毁菱,他們只是感情好米死,可當(dāng)我...
    茶點(diǎn)故事閱讀 69,223評(píng)論 6 398
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著贮庞,像睡著了一般峦筒。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上窗慎,一...
    開封第一講書人閱讀 52,807評(píng)論 1 314
  • 那天物喷,我揣著相機(jī)與錄音,去河邊找鬼。 笑死,一個(gè)胖子當(dāng)著我的面吹牛提鸟,可吹牛的內(nèi)容都是我干的帕翻。 我是一名探鬼主播,決...
    沈念sama閱讀 41,235評(píng)論 3 424
  • 文/蒼蘭香墨 我猛地睜開眼晕拆,長吁一口氣:“原來是場噩夢(mèng)啊……” “哼藐翎!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起实幕,我...
    開封第一講書人閱讀 40,189評(píng)論 0 277
  • 序言:老撾萬榮一對(duì)情侶失蹤吝镣,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后昆庇,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體末贾,經(jīng)...
    沈念sama閱讀 46,712評(píng)論 1 320
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,775評(píng)論 3 343
  • 正文 我和宋清朗相戀三年整吆,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了拱撵。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 40,926評(píng)論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡表蝙,死狀恐怖拴测,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情府蛇,我是刑警寧澤集索,帶...
    沈念sama閱讀 36,580評(píng)論 5 351
  • 正文 年R本政府宣布,位于F島的核電站汇跨,受9級(jí)特大地震影響务荆,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜穷遂,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,259評(píng)論 3 336
  • 文/蒙蒙 一蛹含、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧塞颁,春花似錦浦箱、人聲如沸吸耿。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,750評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽咽安。三九已至,卻和暖如春蓬推,著一層夾襖步出監(jiān)牢的瞬間妆棒,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,867評(píng)論 1 274
  • 我被黑心中介騙來泰國打工沸伏, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留糕珊,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 49,368評(píng)論 3 379
  • 正文 我出身青樓毅糟,卻偏偏與公主長得像红选,于是被迫代替她去往敵國和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子姆另,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,930評(píng)論 2 361