自從接觸深度學(xué)習(xí)后援制，每每遇到相關(guān)數(shù)學(xué)公式都頭疼。其中變分推斷出現(xiàn)的頻率之多芍瑞，讓我一見它到便跳過直接看與其相關(guān)的結(jié)果晨仑。所以，經(jīng)常處于模模糊糊半懂不懂的狀態(tài)拆檬，讓我十分痛苦洪己。于是，這幾天我便想結(jié)束這種痛苦竟贯，故仔細(xì)的看了相關(guān)資料答捕，并作如下小結(jié)。
變分推斷簡單來說便是需要根據(jù)已有數(shù)據(jù)推斷需要的分布
屑那；當(dāng)不容易表達(dá)拱镐，不能直接求解時(shí)，可以嘗試用變分推斷的方法持际。即沃琅，尋找容易表達(dá)和求解的分布
，當(dāng)和的差距很小的時(shí)候蜘欲，就可以作為的近似分布代替益眉。
數(shù)學(xué)推導(dǎo)
學(xué)過概率論的人一般都會(huì)知道貝葉斯公式：%3D%5Cfrac%7BP(x%2Cz)%7D%7BP(x)%7D%20%5Ctag%7B1.1%7D)
同理，%3DP(x%7Cz)P(z)%20%5Ctag%7B1.2%7D)
其中)
被稱作后驗(yàn)概率，)
被稱為似然度郭脂，)
則是先驗(yàn)概率空繁。經(jīng)過簡單的交換可得：%3D%5Cfrac%7BP(x%2Cz)%7D%7BP(z%7Cx)%7D%20%5Ctag%7B1.3%7D)
對(1.3)式左右兩側(cè)取底為
的對數(shù),并且右式同除(Q(z)%E4%BD%9C%E7%94%A8%E4%B8%8B%E9%9D%A2%E5%B0%86%E8%A7%A3%E9%87%8A))
：
%26%3D%5Cln%20P(x%2Cz)-%5Cln%20P(z%7Cx)%20%5Ctag%7B1.4%7D%5C%5C%20%26%3D%5Cln%7B%5Cfrac%7BP(x%2Cz)%7D%7BQ(z)%7D%7D-%5Cln%7B%5Cfrac%7BP(z%7Cx)%7D%7BQ(z)%7D%7D%5C%5C%20%26%3D%5Cln%7BP(x%2Cz)%7D-%5Cln%7BQ(z)%7D-%5Cln%7B%5Cfrac%7BP(z%7Cx)%7D%7BQ(z)%7D%7D%5C%5C%20%5Cend%7Balign*%7D)
對于式(1.4)兩邊取期望：
%7DQ(z)dz%26%3D%5Cln%7BP(x)%7D%5Ctag%7B1.5%7D%5C%5C%20%26%3D%5Cunderbrace%7B%5Cint_z%7B%5Cln%7BP(x%2Cz)%7DQ(z)dz-%5Cint_z%5Cln%7BQ(z)%7DQ(z)dz%7D%7D_%7BL(Q)-Evidence%20Lower%20Bound(ELOB)%7D%5Cunderbrace%7B-%5Cint_z%7B%5Cln%7B%5Cfrac%7BP(z%7Cx)%7D%7BQ(z)%7DQ(z)dz%7D%7D%7D_%7BKL(Q%7C%7CP)%7D%5C%5C%20%5Cend%7Balign*%7D)
計(jì)算到此，我們要思考一個(gè)問題：何時(shí)ELOB達(dá)到最大值朱庆？這個(gè)問題其實(shí)很簡單盛泡，由于KL散度本身大于等于0,所以%7D)
便是ELOB的上界。
我們不是討論變分推斷嗎娱颊，為什么討論起
了呢傲诵？其實(shí)上面我們提到了用去逼近，所以式(1.4)從而引進(jìn)了)
箱硕。而衡量兩個(gè)分布的相似程度的一種標(biāo)準(zhǔn)便是
散度拴竹，的值越小表示兩種分布越相似。什么時(shí)候最小呢剧罩？只要
便是最小栓拜，這個(gè)條件看似說明了一切，但是我們只知道不知道的分布啊惠昔，沒法確定兩者是否為0幕与，所以便成了一個(gè)雞肋的條件，食之無味镇防，棄之可惜啊啦鸣。這時(shí)候救世主出現(xiàn)了，她的光輝照耀世界～(中二ing来氧，笑)诫给。
式(1.5)分為兩部分，既然我們沒法確定散度啦扬，我們只好利用(可以看做是的函數(shù)——即函數(shù)的函數(shù)(泛函中狂，本學(xué)渣只聽說過沒有正式學(xué)習(xí)過))。既然
要得到最小扑毡，那么就要設(shè)法使到達(dá)最大胃榕。
是時(shí)候展示真正的技術(shù)了——
下面證明的上界：
![\begin{align*} \ln{P(x)}=&\ln{\int_z{P(x,z)dz}}\\ &=\ln{\int_z{\frac{P(x,z)}{Q(z)}Q(z)dz}}\\ &=\ln{\Bbb{E_{Q(Z)}}[\frac{P(x,z)}{Q(z)}]}\\ (由詹森不等式可得)&\geq{\Bbb{E_{Q(Z)}}[\frac{\ln{P(x,z)}}{Q(z)}]}\\ &=\underbrace{\Bbb{E_{Q(Z)}}[\ln{P(x,z)}]-\Bbb{E_{Q(Z)}}[\ln{Q(z)}]}_{ELOB}\\ \end{align*}](https://math.jianshu.com/math?formula=%5Cbegin%7Balign*%7D%20%5Cln%7BP(x)%7D%3D%26%5Cln%7B%5Cint_z%7BP(x%2Cz)dz%7D%7D%5C%5C%20%26%3D%5Cln%7B%5Cint_z%7B%5Cfrac%7BP(x%2Cz)%7D%7BQ(z)%7DQ(z)dz%7D%7D%5C%5C%20%26%3D%5Cln%7B%5CBbb%7BE_%7BQ(Z)%7D%7D%5B%5Cfrac%7BP(x%2Cz)%7D%7BQ(z)%7D%5D%7D%5C%5C%20(%E7%94%B1%E8%A9%B9%E6%A3%AE%E4%B8%8D%E7%AD%89%E5%BC%8F%E5%8F%AF%E5%BE%97)%26%5Cgeq%7B%5CBbb%7BE_%7BQ(Z)%7D%7D%5B%5Cfrac%7B%5Cln%7BP(x%2Cz)%7D%7D%7BQ(z)%7D%5D%7D%5C%5C%20%26%3D%5Cunderbrace%7B%5CBbb%7BE_%7BQ(Z)%7D%7D%5B%5Cln%7BP(x%2Cz)%7D%5D-%5CBbb%7BE_%7BQ(Z)%7D%7D%5B%5Cln%7BQ(z)%7D%5D%7D_%7BELOB%7D%5C%5C%20%5Cend%7Balign*%7D)
以上我們知道了通過使得最大化的這種間接的方式從而使得散度盡可能的小，那么接下來便是介紹如何使得盡可能的趨近其上界僚楞。
假設(shè)
={
},現(xiàn)實(shí)生活中大多數(shù)%5Cneq%7BP(z_1)P(z_2)%5Ccdots%20P(z_n)%7D)
，但是我們選擇時(shí)可以選我們知道到的泉褐，簡單的赐写，獨(dú)立同分布的概率分布(選非獨(dú)立同分布的我也不攔著)%3DQ(z_1)Q(z_2)%20%5Ccdots%20Q(z_n))
。選好了,好戲也要開場了膜赃。
![\begin{align*} \because L(Q) &= \int{Q(z) \ln{P(x,z)}dz}-\int{Q(z)\ln{Q(Z)}dz}\\ &= \underbrace{\int{\prod_{i=1}^{n}{Q_i(z_i)}\ln{P(x,z)dz}}}_{Part1}- \underbrace{\int{\prod_{i=1}^{n}{Q_i(z_i)} \sum_{i=1}^{n}\ln{Q_i(z_i)dz}}}_{Part2} \tag{1.6}\\ Part1&= \int_{z_1} \cdots \int_{z_n} \prod_{i=1}^n Q_i(z_i)\ln{P(x,z)}dz_1 \dots dz_n\\ 當(dāng)i=j時(shí)： Part1 &= \int Q_j(z_j)(\int \cdots \int_{z_{i \neq j}} \prod_{i \neq j}^n Q_i(z_i) \ln P(x,z)\prod_{i\neq j}^ndz_i)dz_j\\ &=\int_{z_j}Q_j(z_j)(\int\cdots \int_{z_{i\neq j}}\ln{P(x,z)}\prod_{i\neq j}^nQ_j(z_j)dz_j)\\ &=\int_{z_j}Q_j(z_j)(\Bbb{E}_{i\neq j}[\ln{P(x,z)}])dz_j\\ 同理挺邀，可推出Part2:\\ Part2&=\sum_{i=1}^n(\int_{z_i}Q_i(z_i)\ln Q_i(z_i)dz_i)\\ \end{align*}](https://math.jianshu.com/math?formula=%5Cbegin%7Balign*%7D%20%5Cbecause%20L(Q)%20%26%3D%20%5Cint%7BQ(z)%20%5Cln%7BP(x%2Cz)%7Ddz%7D-%5Cint%7BQ(z)%5Cln%7BQ(Z)%7Ddz%7D%5C%5C%20%26%3D%20%5Cunderbrace%7B%5Cint%7B%5Cprod_%7Bi%3D1%7D%5E%7Bn%7D%7BQ_i(z_i)%7D%5Cln%7BP(x%2Cz)dz%7D%7D%7D_%7BPart1%7D-%20%5Cunderbrace%7B%5Cint%7B%5Cprod_%7Bi%3D1%7D%5E%7Bn%7D%7BQ_i(z_i)%7D%20%5Csum_%7Bi%3D1%7D%5E%7Bn%7D%5Cln%7BQ_i(z_i)dz%7D%7D%7D_%7BPart2%7D%20%5Ctag%7B1.6%7D%5C%5C%20Part1%26%3D%20%5Cint_%7Bz_1%7D%20%5Ccdots%20%5Cint_%7Bz_n%7D%20%5Cprod_%7Bi%3D1%7D%5En%20Q_i(z_i)%5Cln%7BP(x%2Cz)%7Ddz_1%20%5Cdots%20dz_n%5C%5C%20%E5%BD%93i%3Dj%E6%97%B6%EF%BC%9A%20Part1%20%26%3D%20%5Cint%20Q_j(z_j)(%5Cint%20%5Ccdots%20%5Cint_%7Bz_%7Bi%20%5Cneq%20j%7D%7D%20%5Cprod_%7Bi%20%5Cneq%20j%7D%5En%20Q_i(z_i)%20%5Cln%20P(x%2Cz)%5Cprod_%7Bi%5Cneq%20j%7D%5Endz_i)dz_j%5C%5C%20%26%3D%5Cint_%7Bz_j%7DQ_j(z_j)(%5Cint%5Ccdots%20%5Cint_%7Bz_%7Bi%5Cneq%20j%7D%7D%5Cln%7BP(x%2Cz)%7D%5Cprod_%7Bi%5Cneq%20j%7D%5EnQ_j(z_j)dz_j)%5C%5C%20%26%3D%5Cint_%7Bz_j%7DQ_j(z_j)(%5CBbb%7BE%7D_%7Bi%5Cneq%20j%7D%5B%5Cln%7BP(x%2Cz)%7D%5D)dz_j%5C%5C%20%E5%90%8C%E7%90%86%EF%BC%8C%E5%8F%AF%E6%8E%A8%E5%87%BAPart2%3A%5C%5C%20Part2%26%3D%5Csum_%7Bi%3D1%7D%5En(%5Cint_%7Bz_i%7DQ_i(z_i)%5Cln%20Q_i(z_i)dz_i)%5C%5C%20%5Cend%7Balign*%7D)
下面證明
變量為兩個(gè)時(shí)，可得：
![\int_{x_1}\int_{x_2}[f(x_1)+f(x_2)]P(x_1)P(x_2)dx_1dx_2=\int_{x_1}f(x_1)P(x_1)dx_1+\int_{x_2}f(x_2)P(x_2)dx_2](https://math.jianshu.com/math?formula=%5Cint_%7Bx_1%7D%5Cint_%7Bx_2%7D%5Bf(x_1)%2Bf(x_2)%5DP(x_1)P(x_2)dx_1dx_2%3D%5Cint_%7Bx_1%7Df(x_1)P(x_1)dx_1%2B%5Cint_%7Bx_2%7Df(x_2)P(x_2)dx_2)
推至N個(gè)時(shí)，得證端铛。當(dāng)
泣矛，即只對某個(gè)
感興趣時(shí),可簡寫為：
%5Cln%20Q_j(z_j)dz_j%2Bconst%5C%5C%20%5Cend%7Balign*%7D)
再令：![\ln{\overline{P}_j(x,z_j)}=\Bbb{E}_{i\neq j}[\ln{P(x,z)}]](https://math.jianshu.com/math?formula=%5Cln%7B%5Coverline%7BP%7D_j(x%2Cz_j)%7D%3D%5CBbb%7BE%7D_%7Bi%5Cneq%20j%7D%5B%5Cln%7BP(x%2Cz)%7D%5D)
可得：
![L(Q_j)=Part1-Part2=\int_{z_j}Q_j(z_j)\ln{[\frac{\overline{P}_j(x,z_j)}{Q_j(z_j)}]}dz_j+const \to-KL(\Bbb{E}_{i\neq j}[\ln{P(x,z)}]||Q_j(z_j))](https://math.jianshu.com/math?formula=L(Q_j)%3DPart1-Part2%3D%5Cint_%7Bz_j%7DQ_j(z_j)%5Cln%7B%5B%5Cfrac%7B%5Coverline%7BP%7D_j(x%2Cz_j)%7D%7BQ_j(z_j)%7D%5D%7Ddz_j%2Bconst%20%5Cto-KL(%5CBbb%7BE%7D_%7Bi%5Cneq%20j%7D%5B%5Cln%7BP(x%2Cz)%7D%5D%7C%7CQ_j(z_j)))
推導(dǎo)到這，豁然開朗禾蚕。原來最后也要化為一個(gè)
散度您朽，故最大值為0當(dāng)且僅當(dāng)![\ln{Q_i(z_j)=\Bbb{E}_{i\neq j}[\ln{P(x,z)}]}](https://math.jianshu.com/math?formula=%5Cln%7BQ_i(z_j)%3D%5CBbb%7BE%7D_%7Bi%5Cneq%20j%7D%5B%5Cln%7BP(x%2Cz)%7D%5D%7D)
。最后换淆，簡單說明如何獲得穩(wěn)定
的迭代過程：
%26%3D%5Cint_%7BQ_2%7D%5Ccdots%20%5Cint_%7BQ_n%7D%5Cln%7BP(x%2Cz)%7DQ_2(z_2)%5Ccdots%20Q_n(z_n)dz_2%5Ccdots%20dz_n%5C%5C%20%5Cln%20Q_2%5E*(z_2)%26%3D%5Cint_%7BQ_1%7D%5Ccdots%20%5Cint_%7BQ_n%7D%5Cln%7BP(x%2Cz)%7DQ_1%5E*(z_1)%5Ccdots%20Q_n(z_n)dz_1%5Ccdots%20dz_n%5C%5C%20%5Cvdots%5C%5C%20%5Cln%20Q_n%5E*(z_n)%26%3D%5Cint_%7BQ_1%7D%5Ccdots%20%5Cint_%7BQ_%7Bn-1%7D%7D%5Cln%7BP(x%2Cz)%7DQ_1%5E*(z_1)%5Ccdots%20Q_%7Bn-1%7D%5E*(z_%7Bn-1%7D)dz_1%5Ccdots%20dz_%7Bn-1%7D%5C%5C%20%5Cend%7Balign*%7D)
經(jīng)過多次算法迭代哗总，收斂于固定值，從而得到最大倍试，進(jìn)而確定所需散度與分布讯屈。
綜述
變分推斷是利用已知分布通過調(diào)整使其符合我們需要卻難以用公式表達(dá)的分布。由和散度的關(guān)系县习，通過得到的上界間接獲得%7C%7CP(z%7Cx)))
散度涮母。對于的上界，又可以通過轉(zhuǎn)化為相關(guān)的![KL(\Bbb{E}_{i\neq j}[\ln{P(x,z)}]||Q_j(z_j))](https://math.jianshu.com/math?formula=KL(%5CBbb%7BE%7D_%7Bi%5Cneq%20j%7D%5B%5Cln%7BP(x%2Cz)%7D%5D%7C%7CQ_j(z_j)))
散度求解躁愿。
![\begin{align*} KL(\Bbb{E}_{i\neq j}[\ln{P(x,z)}]||Q_j(z_j))\to ELOB\to KL(Q(z)||P(z|x)) \to 調(diào)整后的Q(z) \end{align*}](https://math.jianshu.com/math?formula=%5Cbegin%7Balign*%7D%20KL(%5CBbb%7BE%7D_%7Bi%5Cneq%20j%7D%5B%5Cln%7BP(x%2Cz)%7D%5D%7C%7CQ_j(z_j))%5Cto%20ELOB%5Cto%20KL(Q(z)%7C%7CP(z%7Cx))%20%5Cto%20%E8%B0%83%E6%95%B4%E5%90%8E%E7%9A%84Q(z)%20%5Cend%7Balign*%7D)
用一張圖來表示分布的變化叛本。
文中配圖來源于《徐亦達(dá)機(jī)器學(xué)習(xí)》
最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
