同時(shí)訓(xùn)練兩個(gè)模型:generative model G 學(xué)習(xí)逼近真實(shí)數(shù)據(jù)的分布峡迷,目標(biāo)是使得生成的樣本讓D無法識(shí)別是來自真實(shí)的數(shù)據(jù)還是G生成的數(shù)據(jù),discriminative model D 評(píng)估樣本來自真實(shí)數(shù)據(jù)的可能泉唁。當(dāng)G學(xué)習(xí)到足夠好以致D無法判別時(shí),D(x)=1/2予颤。
為了使generator’s distribution pg 逼近真實(shí)數(shù)據(jù)data x
定義一個(gè)輸入噪聲變量pz(Z)
G,D都為multilayer perceptrons 參數(shù)各為θg,θd.
G伴隨噪音z生成的樣本為:G(z;θg)
D(x踢步;θd)輸出為一個(gè)單獨(dú)的變量scalar
D(x)代表x來自真實(shí)數(shù)據(jù)x的可能而不是pg
將訓(xùn)練D使其區(qū)分樣本是來自data x還是 G,最大化log(D(x))
同時(shí)最小化G:log(1-D(G(z))) 寺鸥,G(z)生成的樣本:x'
在log(D(x'))最大化的同時(shí)log(1-D(x'))就必須最小化:即二者形成一個(gè)極大極小的競爭:其中IEx~pdata(x) 為根真實(shí)數(shù)據(jù)分布從真實(shí)數(shù)據(jù)中取x,IEz~p(z)亦然
在最初D可以輕易分辨x來自data x或G,使得最小化log(1-D(G(z))) 飽和
因此可以先訓(xùn)練D(G(z))
訓(xùn)練過程中:藍(lán)色虛線代表D的分布,綠色實(shí)線代表G的分布pg,黑色圈代表真實(shí)數(shù)據(jù)的分布猪钮。z是代表噪音,x代表數(shù)據(jù)胆建。z志向x的區(qū)域即代表當(dāng)前G(z)生成的樣本落在x中的哪個(gè)區(qū)域.(a)是初始狀態(tài)的時(shí)候烤低,D還是能較好好分辨出data x與G(z).(b)經(jīng)過訓(xùn)練D已經(jīng)能很好區(qū)分樣本來自于data x還是G(z).(c)訓(xùn)練G使得G逼近真實(shí)數(shù)據(jù)的分布。此時(shí)D可再訓(xùn)練調(diào)整D的分布重復(fù)上述過程...(d)為最后結(jié)果即G生成的樣本逼近真實(shí)的數(shù)據(jù)笆载,D(x)=1/2