之前了解到的都是有監(jiān)督學(xué)習(xí)（Supervised Learning）：我們有數(shù)據(jù)x和標(biāo)簽y，目標(biāo)是學(xué)習(xí)到一個函數(shù)可以將數(shù)據(jù)x映射到標(biāo)簽y搜吧，標(biāo)簽可以有很多形式。典型的有監(jiān)督學(xué)習(xí)有：分類問題中輸入一張圖片蜒程，輸出圖片的分類昭躺；目標(biāo)檢測中輸入一張圖片窍仰，輸出目標(biāo)物體的邊框驹吮；語義分割中碟狞，給每個像素都打上標(biāo)簽族沃。

下面介紹一下無監(jiān)督學(xué)習(xí)（Unsupervised Learning）脆淹。

本課重點：

• 無監(jiān)督學(xué)習(xí)

• 生成模型

  • Pixel RNN/CNN

  • 變分自編碼器（VAE）

  • 生成對抗網(wǎng)絡(luò)（GAN）

1 無監(jiān)督學(xué)習(xí)

無監(jiān)督學(xué)習(xí)在我們只有一些沒有標(biāo)簽的訓(xùn)練數(shù)據(jù)的情況下，學(xué)習(xí)數(shù)據(jù)中隱含的結(jié)構(gòu)烘嘱。無監(jiān)督學(xué)習(xí)由于沒有標(biāo)簽蝇庭，數(shù)據(jù)獲取也很容易哮内。典型的無監(jiān)督學(xué)習(xí)有以下幾種：

聚類（k-Means）

聚類（Clustering）是找到數(shù)據(jù)的分組北发，組內(nèi)數(shù)據(jù)在某種度量方式下是相似的鲫竞。隨機(jī)初始k個中心位置从绘，將每個樣本分配到最近的中心位置，然后根據(jù)分配的樣本更新中心位置批什。重復(fù)直到中心位置不再變化驻债。

PCA（主成分分析）

數(shù)據(jù)降維（Dimensionality reduction）：找出一些軸合呐，在這些軸上訓(xùn)練數(shù)據(jù)投影的方差最大冻辩。這些軸就是數(shù)據(jù)內(nèi)潛在的結(jié)構(gòu)恨闪。我們可以用這些軸來減少數(shù)據(jù)維度咙咽，數(shù)據(jù)在每個保留下來的維度上都有很大的方差犁珠。

特征學(xué)習(xí)（Feature Learning）

比如自編碼（Autoencoders）：

密度估計（ Density Estimation）

估計數(shù)據(jù)的內(nèi)在分布情況，比如下圖上方有一些一維和二維的點，我們用高斯函數(shù)來擬合這一密度分布情況：

2 生成模型（Generative Models）

生成模型是一種無監(jiān)督學(xué)習(xí)方法凤巨。其定義是給出一批由真實分布p-data(x) 產(chǎn)生的訓(xùn)練數(shù)據(jù)敢茁，我們的模型從中學(xué)習(xí)，然后以近似于真實的分布p-model(x) 來產(chǎn)生新樣本逢倍。

為什么生成模型重要：生成樣本较雕，著色問題亮蒋，強(qiáng)化學(xué)習(xí)應(yīng)用激捏，隱式表征推斷等。下圖左邊為生成的圖片痕钢，中間生成的人臉任连，還可以做超分辨率或者著色之類的任務(wù)随抠。

生成模型分為顯式和隱式的生成模型，往下分又可以分成很多子類秉沼。今天主要討論三種模型：PixelRNN/CNN唬复，變分自動編碼器屬于顯示密度模型，生成對抗網(wǎng)絡(luò)（GAN）屬于隱式密度估計模型休建。

2.1 PixelRNN 和 PixelCNN

PixelRNN和PixelCNN使用概率鏈?zhǔn)椒▌t來計算一張圖片出現(xiàn)的概率。其中每一項為給定前 i-1 個像素點后第 i 個像素點的條件概率分布邑彪。這個分布通過神經(jīng)網(wǎng)絡(luò) RNN 或 CNN 來建模寄症，再通過最大化圖片 x 的似然概率來學(xué)習(xí)出RNN或CNN的參數(shù)有巧。

PixelRNN中男图，從左上角開始定義為“之前的像素”逊笆。由于RNN每個時間步的輸出概率都依賴于之前所有輸入，因此能夠用來表示上面的條件概率分布乃戈。

訓(xùn)練這個RNN時症虑，一次前向傳播需要從左上到右下串行走一遍，然后根據(jù)上面的公式求出似然韵卤，并最大化似然以對參數(shù)做一輪更新沈条。因此訓(xùn)練非常耗時。

PixelCNN中月而，使用一個CNN來接收之前的所有像素父款，并預(yù)測下一個像素的出現(xiàn)概率：

相比于PixelRNN世杀，PixelCNN在訓(xùn)練時可以并行的求出公式中的每一項瞻坝，然后進(jìn)行參數(shù)更新所刀，因此其訓(xùn)練速度要比pixelRNN快多了。

然而，無論是PixelRNN還是PixelCNN胸嘴，其在測試時都需要從左上角開始逐個像素點地生成圖片劣像，因此測試階段都比較慢。

生成的圖片樣本

PixelRNN和PixelCNN能顯式地計算似然p(x)屋群，是一種可優(yōu)化的顯式密度模型降狠，該方法給出了一個很好的評估度量，可以通過計算的數(shù)據(jù)的似然來度量出生成樣本有多好临燃。

2.2 變分自編碼器（VAE）

我們數(shù)據(jù)的似然p(x)是等式右邊的積分形式，即對所有可能的z值取期望荐吵，我們無法直接優(yōu)化它，我們只能找出一個似然函數(shù)的下界然后再對該下界進(jìn)行優(yōu)化薯蝎。

（1）自編碼器

自編碼器是為了無監(jiān)督地學(xué)習(xí)出樣本的特征表示占锯，原理如下：

如上圖，自編碼器由編碼器和解碼器組成疑俭，編碼器將樣本x映射到特征z，解碼器再將特征z映射到重構(gòu)樣本哩照。為了能夠使z解碼后能夠恢復(fù)出原來的x识藤，我們最小化x與重構(gòu)樣本之間的L2損失痴昧，進(jìn)而可以訓(xùn)練出編碼器和解碼器的參數(shù)赶撰。

編碼器可以有多種形式，常用的是神經(jīng)網(wǎng)絡(luò)瘤载。最先提出的是非線性層的線性組合鸣奔，然后有了深層的全連接網(wǎng)絡(luò)，現(xiàn)在又出現(xiàn)了CNN，我們?nèi)〉幂斎霐?shù)據(jù)x然后將其映射到某些特征z私痹，z的維度通常比x更小脐嫂。降維是為了表示x中最重要的特征。第二個網(wǎng)絡(luò)也就是解碼器輸出一些跟x有相同維度并和x相似的東西紊遵，也就是重構(gòu)原始數(shù)據(jù)账千。解碼器一般使用和編碼器相同類型的網(wǎng)絡(luò)（與編碼器對稱）暗膜。

訓(xùn)練好網(wǎng)絡(luò)后学搜，去掉解碼器聚磺，使用訓(xùn)練好的編碼器實現(xiàn)特征映射瘫寝。通過編碼器得到輸入數(shù)據(jù)的特征咪啡，編碼器頂部有一個分類器撤摸，如果是分類問題我們可以用它來輸出一個類標(biāo)簽愁溜，在這里使用了外部標(biāo)簽和標(biāo)準(zhǔn)的損失函數(shù)如softmax：

此外，我們可以用很多無標(biāo)簽數(shù)據(jù)來學(xué)習(xí)到很多普適特征欣鳖，可以用學(xué)習(xí)到的特征來初始化一個監(jiān)督學(xué)習(xí)問題，因為在監(jiān)督學(xué)習(xí)的時候可能只有很少的有標(biāo)簽訓(xùn)練數(shù)據(jù)，少量的數(shù)據(jù)很難訓(xùn)練模型洒琢，可能會出現(xiàn)過擬合等其他一些問題针肥，通過使用上面得到的特征可以很好的初始化網(wǎng)絡(luò)慰枕。

自動編碼器具有重構(gòu)數(shù)據(jù)具帮、學(xué)習(xí)數(shù)據(jù)特征、初始化一個監(jiān)督模型的能力葛峻。這些學(xué)習(xí)到的特征具有能捕捉訓(xùn)練數(shù)據(jù)中蘊(yùn)含的變化因素的能力术奖。我們獲得了一個含有訓(xùn)練數(shù)據(jù)中變化因子的隱變量z采记。

（2）VAE的思想

VAE的思想是唧龄，既然我們無法直接獲得樣本x的分布讽挟，那么我們就假設(shè)存在一個x對應(yīng)的隱式表征z耽梅，z的分布是一個先驗分布比如高斯分布（或者其他簡單的分布眼姐，總之是人為指定的）。例如我們想要生成微笑的人臉贡歧，z代表的就是眉毛的位置艘款，嘴角上揚(yáng)的弧度。z經(jīng)過解碼網(wǎng)絡(luò)后益眉，能夠映射得到x的近似真實分布郭脂。這樣的話我們就可以通過在標(biāo)準(zhǔn)正態(tài)分布上采樣得到z展鸡，然后解碼得到樣本近似分布莹弊，再在此分布上采樣來生成樣本忍弛。對于這個采樣過程蔗彤，真實的參數(shù)是Θ*然遏，是有關(guān)于先驗假設(shè)和條件概率分布的參數(shù)待侵，我們的目的在于獲得一個樣本生成式模型诫给，從而利用它來生成新的數(shù)據(jù)中狂，真實參數(shù)是我們想要估計并得出的。這個生成式模型如何表示呢勋又？方法是選一個簡單的關(guān)于z的先驗分布楔壤，例如高斯分布蹲嚣，對于給定z的x的條件概率分布p(x|z)很復(fù)雜，所以我們選擇用神經(jīng)網(wǎng)絡(luò)來對p(x|z)進(jìn)行建模议惰。

（3）如何訓(xùn)練VAE

現(xiàn)在的問題是言询，有一堆樣本讯屈，我們?nèi)绾螐闹袑W(xué)習(xí)出解碼網(wǎng)絡(luò)的參數(shù)涮母，使得在標(biāo)準(zhǔn)高斯分布上采樣得到的z叛本，經(jīng)過解碼后得到的 x 的分布来候，剛好近似于x的真實分布呢？我們的方案是最大化樣本 x 的似然P(x)转质。 在已經(jīng)給定隱變量z的情況下休蟹，我們需要寫出x的分布p并對所有可能的z值取期望赂弓，因為z值是連續(xù)的所以表達(dá)式是一個積分：

但如果利用求導(dǎo)來直接求最大化的似然，過程會很不好解备埃。第一項是z的分布p(z)，這里將它簡單地設(shè)定為高斯分布敦冬，所以很容易求脖旱；p(x|z)是一個指定的神經(jīng)網(wǎng)絡(luò)解碼器溶褪，也容易得到践险。但是計算所有的z對應(yīng)的p(x|z)很困難彭则，所以無法計算該積分俯抖。這樣也導(dǎo)致p(z|x)是難解的。解決方法是搔啊，在使用神經(jīng)網(wǎng)絡(luò)解碼器來定義一個對p(x|z)建模神經(jīng)網(wǎng)絡(luò)的同時瓶盛，額外定義一個編碼器q(z|x)惩猫，將輸入x編碼為z，從而得到似然p(z|x)奶镶。也就是說我們定義該網(wǎng)絡(luò)來估計出p(z|x)厂镇，這個后驗密度分布項仍然是難解的，我們用該附加網(wǎng)絡(luò)來估計該后驗分布迄靠，這將使我們得到一個數(shù)據(jù)似然的下界雨席，該下界易解也能優(yōu)化陡厘。

在變分自編碼器中我們想得到一個生成數(shù)據(jù)的概率模型，將輸入數(shù)據(jù)x送入編碼器得到一些特征z罢低，然后通過解碼器網(wǎng)絡(luò)把z映射到圖像x网持。我們這里有編碼器網(wǎng)絡(luò)和解碼器網(wǎng)絡(luò)，將一切參數(shù)隨機(jī)化辟汰。參數(shù)是Φ的編碼器網(wǎng)絡(luò)q(z|x)輸出一個均值和一個對角協(xié)方差矩陣帖汞；解碼器網(wǎng)絡(luò)輸入z翩蘸，輸出均值和關(guān)于x的對角協(xié)方差矩陣。為了得到給定x下的z和給定z下的x淮逊，我們會從這些分布（p和q）中采樣催首，現(xiàn)在我們的編碼器和解碼器網(wǎng)絡(luò)所給出的分別是z和x的條件概率分布，并從這些分布中采樣從而獲得值泄鹏。

下面是推導(dǎo)過程：

這里引入了一個分布q(z|x)郎任，就是編碼網(wǎng)絡(luò)。這里我們暫時只把它當(dāng)作一個符號备籽，繼續(xù)推導(dǎo)即可：

對第一項，我們有：

這樣我們就得到了VAE的核心等式：

注意到這個式子的第三項中，含有p(z|x)，而

由于這個積分無法求解出來空民，因此我們沒辦法求第三項的梯度。幸運(yùn)的是，由于第三項是一個KL散度，其恒大于等于0慢睡，因此前兩項的和是似然的一個下界髓涯。因此我們退而求其次靶庙，來最大化似然的下界掏击，間接達(dá)到最大化似然的目的钠惩。

現(xiàn)在我們引入編碼器網(wǎng)絡(luò)來對q(z|x)建模愧沟，我們的訓(xùn)練框架如下：

如何得到下界：第一項是對所有采樣的z取期望究孕，z是x經(jīng)過編碼器網(wǎng)絡(luò)采樣得到绘趋，對z采樣然后再求所有z對應(yīng)的p(x|z)。讓p(x|z)變大梗逮，就是最大限度地重構(gòu)數(shù)據(jù)。第二項是讓KL的散度變小哗蜈，讓我們的近似后驗分布和先驗分布變得相似，意味著我們想讓隱變量z遵循我們期望的分布類型。

這個框架就非常類似于自編碼器缭付。其中最大化下界的第一項表示我們要能從解碼器最大概率地重構(gòu)出x，這一步等價于去最小化與樣本x的均方誤差镊讼。最小化下界的第二項則限定了z要遵循我們事先給它指定的分布。公式是我們要優(yōu)化及最大化的下界颜及，前向傳播按如上流程處理犯祠，對輸入數(shù)據(jù)x，讓小批量的數(shù)據(jù)傳遞經(jīng)過編碼器網(wǎng)絡(luò)的到q(z|x)拳亿，通過q(z|x)來計算KL項昧谊，然后根據(jù)給定x的z分布對z進(jìn)行采樣狗唉，由此獲得了隱變量的樣本肾筐，這些樣本可以根據(jù)x推斷獲得；然后把z傳遞給第二個解碼器網(wǎng)絡(luò)萄喳，通過解碼器網(wǎng)絡(luò)x在給定z的條件下的兩個參數(shù)辈灼，均值和協(xié)方差，最終可以在給定z的條件下從這個分布中采樣得到x球拦。

訓(xùn)練時需要獲得該分布冰啃，損失項是給定z條件下對訓(xùn)練像素值取對數(shù)，損失函數(shù)要做的是最大化被重構(gòu)的原始輸入數(shù)據(jù)的似然刘莹；對于每一個小批量的輸入我們都計算這一個前向傳播過程阎毅，取得所有我們需要的項，他們都是可微分的点弯，接下來把他們?nèi)糠聪騻鞑セ厝ゲ@得梯度扇调，不斷更新我們的參數(shù)，包括生成器和解碼器網(wǎng)絡(luò)的參數(shù)Θ和Φ從而最大化訓(xùn)練數(shù)據(jù)的似然抢肛。

訓(xùn)練好變分自編碼器狼钮，當(dāng)生成數(shù)據(jù)時只需要用解碼器網(wǎng)絡(luò)碳柱，我們在訓(xùn)練階段就對z采樣，而不用從后驗分布中采樣熬芜，在生成階段會從真實的生成過程中采樣莲镣。先從設(shè)定好的先驗分布中采樣，接下來對數(shù)據(jù)x采樣涎拉。

需要注意的是瑞侮，這個框架里面，梯度無法通過“采樣“這個算子反向傳播到編碼器網(wǎng)絡(luò)鼓拧，因此我們使用一種叫做重采樣的trick半火。即將z采樣的算子分解為：

這樣梯度不需要經(jīng)過采樣算子就能回流到編碼器網(wǎng)絡(luò)中。

（4）VAE的優(yōu)缺點

VAE是在原來的自編碼器上加了隨機(jī)成分季俩，那么在使用VAE的時候我們不是直接取得確定的輸入x然后獲得特征z最后再重構(gòu)x钮糖，而是采用隨機(jī)分布和采樣的思想，這樣我們就能生成數(shù)據(jù)酌住。 為了訓(xùn)練模型VAEs店归，我們定義了一個難解的密度分布，我們推導(dǎo)出一個下界然后優(yōu)化下界酪我，下界是變化的娱节，“變分”指的是用近似來解決這些難解的表達(dá)式，這是模型被稱為變分自動編碼器的原因祭示。 VAEs優(yōu)點：VAEs就生成式模型來說是一種有據(jù)可循的方法，它使得查詢推斷稱為可能谴古，如此一來便能夠推斷出像q(z|x)這樣的分布质涛，這些東西對其他任務(wù)來說會是很有用的特征表征。

2.3 生成對抗網(wǎng)絡(luò)(Generative Adversarial Nets, GAN)

（1）理解GAN如何工作

我們之前的PixelCNN和PixelRNN定義了一個易于處理的密度函數(shù)掰担，通過密度函數(shù)優(yōu)化訓(xùn)練數(shù)據(jù)的似然汇陆；VAEs有一個額外定義的隱變量z，有了z以后獲得了很多的有利性質(zhì)但是我們也有了一個難解的密度函數(shù)带饱，對于該函數(shù)我們不能直接優(yōu)化毡代，我們推到了一個似然函數(shù)的下界，然后對它進(jìn)行優(yōu)化勺疼。 現(xiàn)在我們放棄顯式地對密度函數(shù)建模教寂，我們想要得到的是從分布中采樣并獲得質(zhì)量良好的樣本。GANs中不再在顯式的密度函數(shù)上花費(fèi)精力执庐，而是采用一個博弈論的方法酪耕，并且模型將會習(xí)得從訓(xùn)練分布中生成數(shù)據(jù)，而這一實現(xiàn)是基于一對博弈玩家轨淌。

相比變分自編碼器迂烁，理解GAN如何工作非常簡單看尼。在GAN中我們定義了兩個網(wǎng)絡(luò)：生成器和判別器。判別器負(fù)責(zé)辨別哪些樣本是生成器生成的假樣本盟步，哪些是從真實訓(xùn)練集中抽出來的真樣本藏斩。生成器負(fù)責(zé)利用隨機(jī)噪聲z生成假樣本，它的職責(zé)是生成盡可能真的樣本以騙過判別器却盘。

這種對抗形式的目標(biāo)可以寫成如下形式：

現(xiàn)在我們有兩個玩家狰域，通過一個mini max博弈公式聯(lián)合訓(xùn)練這兩個網(wǎng)絡(luò)，該mini max目標(biāo)函數(shù)就是如圖所示的公式谷炸，我們的目標(biāo)是讓目標(biāo)函數(shù)在Θg上取得最小值北专，Θg是指生成器網(wǎng)絡(luò)g的參數(shù)；同時要在Θd上取得最大值旬陡，Θd指的是判別器網(wǎng)絡(luò)的參數(shù)拓颓。 公式中各項的含義：第一項是在訓(xùn)練數(shù)據(jù)的分布上log(D(x))的期望，log(D(x))是判別器網(wǎng)絡(luò)在輸入為真實數(shù)據(jù)（訓(xùn)練數(shù)據(jù)）時的輸出描孟，該輸出是真實數(shù)據(jù)從分布p-data中采樣的似然概率驶睦；第二項是對z取期望，z是從p(z)中采樣獲得的匿醒，這意味著從生成器網(wǎng)絡(luò)中采樣场航，同時D(G(z))這一項代表了以生成的偽數(shù)據(jù)為輸入判別器網(wǎng)路的輸出，也就是判別器網(wǎng)絡(luò)對于生成網(wǎng)絡(luò)生成的數(shù)據(jù)給出的判定結(jié)果廉羔。 對該過程的解釋：我們的判別器的目的是最大化目標(biāo)函數(shù)也就是在Θd上取最大值溉痢，這樣一來D(x)就會接近1，也就是使判別結(jié)果接近真憋他，因而該值對于真實數(shù)據(jù)應(yīng)該相當(dāng)高孩饼，這樣一來D(G(z))的值也就是判別器對偽造數(shù)據(jù)輸出就會相應(yīng)減小，我們希望這一值接近于0竹挡。因此如果我們能最大化這一結(jié)果镀娶，就意味著判別器能夠很好的區(qū)別真實數(shù)據(jù)和偽造數(shù)據(jù)。對于生成器來說揪罕，我們希望它最小化該目標(biāo)函數(shù)梯码，也就是讓D(G(z))接近1，如果D(G(z))接近1好啰，那么用1減去它就會很小轩娶，判別器網(wǎng)絡(luò)就會把偽造數(shù)據(jù)視為真實數(shù)據(jù)，也就意味著我們的生成器在生成真實樣本框往。

這是一個無監(jiān)督學(xué)習(xí)罢坝，所以不會人工給每個圖片打上標(biāo)簽，但是生成器生成的圖片我們標(biāo)簽為0或假，我們的訓(xùn)練集都是真實的圖片嘁酿，被標(biāo)記為1或真隙券。有了這些以后，對判別器的損失函數(shù)而言就會使用這些信息闹司，判別器要做的就是對生成器生成的圖片輸出0娱仔，而對真實圖片輸出1，這其中沒有外部標(biāo)簽游桩。

如何訓(xùn)練：首先對判別器進(jìn)行梯度上升牲迫，學(xué)習(xí)到θd來最大化該目標(biāo)函數(shù)；對生成器進(jìn)行梯度下降借卧，θg進(jìn)行梯度下降最小化目標(biāo)函數(shù)盹憎，此時目標(biāo)函數(shù)只取右邊這一項，因為只有這一項與θg有關(guān)铐刘。

image

這里有個trick：我們觀察生成器的損失函數(shù)形狀如下：

image

發(fā)現(xiàn)當(dāng)生成器效果不好（D(G(z)接近0）時陪每，梯度非常平緩；當(dāng)生成器效果好（D(G(z)接近1）時镰吵，梯度很陡峭檩禾。這就與我們期望的相反了，我們希望在生成器效果不好的時候梯度更陡峭疤祭，這樣能學(xué)到更多盼产。因此我們使用下面的目標(biāo)函數(shù)來替代原來的生成器損失：

image

這樣就使得在生成器效果不好時具有較大的梯度。此外勺馆，聯(lián)合訓(xùn)練兩個網(wǎng)絡(luò)很有挑戰(zhàn)戏售，交替訓(xùn)練的方式不可能一次訓(xùn)練兩個網(wǎng)絡(luò)，還有損失函數(shù)的函數(shù)空間會影響訓(xùn)練的動態(tài)過程草穆。

因此灌灾，GAN的訓(xùn)練過程如下：

• 在每一個訓(xùn)練迭代期都先訓(xùn)練判別器網(wǎng)絡(luò)，然后訓(xùn)練生成器網(wǎng)絡(luò)续挟。
• 對于判別器網(wǎng)絡(luò)的k個訓(xùn)練步，先從噪聲先驗分布z中采樣得到一個小批量樣本侥衬，接著從訓(xùn)練數(shù)據(jù)x中采樣獲得小批量的真實樣本诗祸，下面要做的將噪聲樣本傳給生成器網(wǎng)絡(luò)，并在生成器的輸出端獲得生成的圖像轴总。此時我們有了一個小批量偽造圖像和小批量真實圖像直颅，我們有這些小批量數(shù)據(jù)在判別器生進(jìn)行一次梯度計算，接下來利用梯度信息更新判別器參數(shù)怀樟，按照以上步驟迭代幾次來訓(xùn)練判別器功偿。
• 之后訓(xùn)練生成器，在這一步采樣獲得一個小批量噪聲樣本往堡，將它傳入生成器械荷，對生成器進(jìn)行反向傳播共耍，來優(yōu)化目標(biāo)函數(shù)。
• 交替進(jìn)行上述兩個步驟吨瞎。

訓(xùn)練完畢后痹兜，就可以用生成器來生成比較逼真的樣本了。

（2）GAN的探索

• 傳統(tǒng)的GAN生成的樣本還不是很好颤诀，這篇論文在GAN中使用了CNN架構(gòu)字旭，取得了驚艷的生成效果：[Radford et al, “Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks”, ICLR 2016]
• Wasserstein GAN 一定程度解決了GAN訓(xùn)練中兩個網(wǎng)絡(luò)如何平衡的問題。
• 用GAN來做text->image

（3）GAN的優(yōu)缺點以及熱門研究方向

GAN不使用顯式的密度函數(shù)崖叫，而是利用樣本來隱式表達(dá)該函數(shù)遗淳，GAN通過一種博弈的方法來訓(xùn)練，通過兩個玩家的博弈從訓(xùn)練數(shù)據(jù)的分布中學(xué)會生成數(shù)據(jù)心傀。

GAN可以生成目前最好的樣本屈暗，還可以做很多其他的事情。但是不好訓(xùn)練且不穩(wěn)定剧包，我們并不是直接優(yōu)化目標(biāo)函數(shù)恐锦，我們要努力地平衡兩個網(wǎng)絡(luò)。

總結(jié)

講了三種目前最常用生成模型：

• PixelCNN和PixelRNN他們是顯式密度模型疆液，該模型優(yōu)化的是一個顯式的似然函數(shù)并產(chǎn)生良好的樣本一铅，但是效率很低，它是一個順序的生成過程堕油。
• VAE優(yōu)化的是一個似然函數(shù)的下界潘飘，它會產(chǎn)生一個有用的隱式表征，可以用它來進(jìn)行查詢推斷掉缺，生成的樣本也不是特別好卜录。
• GAN是目前能生成最好樣本的模型，但是訓(xùn)練需要技巧且不穩(wěn)定眶明，查詢推斷上也有一些問題艰毒。
• 還有一些將模型的優(yōu)點結(jié)合起來做的研究。