姓名：車(chē)文揚(yáng) 學(xué)號(hào)：16020199006
轉(zhuǎn)載至：https://www.cnblogs.com/huangxiao2015/p/5705238.html?utm_source=itdadao&utm_medium=referral商源，有刪節(jié)
【嵌牛導(dǎo)讀】：什么是變分法
【嵌牛鼻子】：變分法
【嵌牛提問(wèn)】：變分法的含義是什么郭蕉？
【嵌牛正文】：
變分法的基本思想是通過(guò)變分轉(zhuǎn)換，將概率推理問(wèn)題轉(zhuǎn)化為一個(gè)變分優(yōu)化問(wèn)題來(lái)處理宰啦。具體描述如下： 設(shè)NN為一個(gè)貝葉斯網(wǎng)絡(luò)同波，表示聯(lián)合分布P(x)蝙场。設(shè)觀測(cè)到的證據(jù)為E=e朝墩，所有非證據(jù)變量的集合為Z=Z1,Z2,...,Zn,準(zhǔn)備計(jì)算的是P(E=e)和P(Z∣E=e)偷遗。 變分法首先把這個(gè)概率推理問(wèn)題轉(zhuǎn)換為變分優(yōu)化問(wèn)題墩瞳，定義如下的目標(biāo)函數(shù)：
這里Q(z)是一族用來(lái)近似P(Z∣E=e)的參數(shù)化分布，稱(chēng)為變分分布氏豌，而KL[Q(z),P(Z∣E=e)]KL[Q(z),P(Z∣E=e)]是變分分布Q(z)和待求的后驗(yàn)概率分布P(Z∣E=e)之間的KL距離喉酌。上式可以展開(kāi)為：
其中，上式中HQ(Z)是ZZ相對(duì)于變分分布的Q(Z)的熵泵喘。 考慮目標(biāo)函數(shù)J(Q)的最大值點(diǎn)Q?的性質(zhì)泪电，因?yàn)镵L距離非負(fù)，且只有當(dāng)它涉及到的兩個(gè)分布相同的時(shí)候才能夠取得最小值0纪铺，所以J(Q)取最大值的最優(yōu)變分分布就是后驗(yàn)概率相速，即
因此，只要解決了這個(gè)變分優(yōu)化問(wèn)題鲜锚，就得到了原概率問(wèn)題的精確解突诬。在實(shí)際中，上述變分優(yōu)化問(wèn)題的精確解其實(shí)并不容易得到芜繁，一個(gè)根本的原因就是變分分布Q(Z)的空間難以顯示表達(dá)攒霹。因此，為了簡(jiǎn)化計(jì)算浆洗，樸素平均場(chǎng)法根據(jù)平均場(chǎng)理論的思想催束，將變分分布限制在一類(lèi)簡(jiǎn)單的分布上，即用所有變量都相互獨(dú)立的分布來(lái)近似后驗(yàn)分布伏社，即：
代入前式
該式一般沒(méi)有閉公式解抠刺，根據(jù)上上式，變分分布Q(Z)的邊緣分布可以獨(dú)立地改變摘昌，因此速妖，可以利用如下的迭代法來(lái)優(yōu)化目標(biāo)函數(shù)J(Q)：
