[機器學(xué)習(xí)入門] 李宏毅機器學(xué)習(xí)筆記-19 （Deep Generative Model-part 2：深度生成模型-part 2）
| VIDEO |
|---|
Why VAE?
用VAE，從code space上去sample一個code哼审，能得到一個比較好的image剿骨，而auto encoder可能得不到挺智。
將code加上了noise，而variance決定了noise的大小涡戳，variance是train出來的凰兑。variance要做一些限制，否則就會是0恬试，所以就要用Minimize窝趣。
以上是直觀的解釋，那么回到我們要解決的問題训柴，即Estimate the probability distribution
那么怎么來Estimate the probability distribution呢哑舒？可以用Gaussion Mixtrue Model
怎樣從Gaussian Mixture Model 里sample一個data呢？
首先有一個multinomial distribution幻馁，先決定sample 其中的哪一個gaussian洗鸵，用m表示。有了m仗嗦，就可以找到μ和Σ膘滨，然后可以sample出一個x。
Each x you generate is from a mixture
Distributed representation is better than cluster.
也就是說每一個x并不屬于某一個class或cluster稀拐，而是它有一個vector來描述他所描述的不同對象的特性火邓，所以，VAE其實就是Gaussian Mixture Model的distribute representation的版本。
先sample一個 z 贡翘，假設(shè)μ 和 σ都分別來自函數(shù)μ(z) 和 σ(z)，在z的space里砰逻，每一個點都有可能被sample到鸣驱，只是可能性有大小m，z上的每一個點都可能被sample到并對應(yīng)著無窮多個gaussian蝠咆，那么function該怎么找呢踊东？那么可以說NN就是function，訓(xùn)練出這個NN就ok啦刚操。
對gaussian的假設(shè)是很隨意的闸翅，因為NN都能被訓(xùn)練適應(yīng)。
現(xiàn)在手上已經(jīng)有了一批image x菊霜，maximize已有image的L坚冀。
上面的NN其實就是decoder，下面的是encoder鉴逞。
那么那么logP(x)怎么求呢记某？
思想就是，likelihood = KL+Lb构捡，logP(x)只與log(x|z)有關(guān)液南，無論q怎么調(diào)，圖中的上線是不會變的勾徽。這時假如固定住p滑凉，調(diào)q是會使Lb一直上升，最后likelihood會和Lb非常接近喘帚，而再繼續(xù)下去likelihood也會隨之變大畅姊。
下面要做的
conditional VAE
Problem of VAE
