2.3.3 高斯變量的貝葉斯定理

貝葉斯定理： $P(AB) = P(B|A)P(A)$ ， $P(A|B)P(B)=P(B|A)P(A)$

已知
2.3.1 條件高斯分布： $p(y|x) = N(y|Ax+b, L^{-1})$
2.3.2 邊緣高斯分布： $p(x) = N(x|\mu, \wedge^{-1})$

求 $x,y$ 聯(lián)合分布的表達(dá)式筐喳，為此法绵，定義
$z = \begin{bmatrix} {x}\\{y} \end{bmatrix}$

由(2.42),(2.43) 知 $-\frac{1}{2\sigma^{2}}(x-\mu)^2 在多維的推廣為-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu)$

考慮聯(lián)合概率分布的對數(shù)

$\ln{p(z)} = \ln{p(x)} + \ln{p(y)} =-\frac{1}{2}(x-\mu)^{T}\wedge(x-\mu) - \frac{1}{2}(y-Ax-b)^{T}L(y-Ax-b) + C$
將最右邊的式子展開后取得二次項(xiàng)的部分转质，可以寫成
$-\frac{1}{2}x^T(\wedge+A^TLA)x -\frac{1}{2}y^TLy+\frac{1}{2}y^TLAx+\frac{1}{2}x^TA^TLy=-\frac{1}{2} \begin{bmatrix} {x}\\{y} \end{bmatrix}^T \begin{bmatrix} {\wedge+A^TLA}&{-A^TL}\\{-LA}&{L} \end{bmatrix} \begin{bmatrix} {x}\\{y} \end{bmatrix}=-\frac{1}{2}z^TRz$
所以 $z$ 上的高斯分布的精度矩陣(協(xié)方差的逆矩陣)為 $R$
$cov[z]=R^{-1}=\begin{bmatrix} {\wedge^{-1}}&{{\wedge}^{-1}A^T}\\{A\wedge^{-1}}&{L^{-1}+A\wedge^{-1}A^T} \end{bmatrix}$
上述 $cov[z]$ 為 $z$ 的方差

接下來求 $z$ 的均值
由（2.71）知 $-\frac{1}{2}(z-E[z])^T\Sigma^{-1}(z-E[z])=-\frac{1}{2}z^T\Sigma^{-1}z+z^T\Sigma^{-1}E[z]+C$

上面已將二次項(xiàng)部分求出得到方差 $\Sigma$ 佩抹，將上面展開后的式子為取出的一次項(xiàng)用來求取均值，一次項(xiàng)為
$x^T\wedge\mu-x^TA^TLb+y^TLb=\begin{bmatrix} {x}\\{y} \end{bmatrix}^T \begin{bmatrix} {\wedge\mu-A^TLb}\\{Lb} \end{bmatrix}$
等式左邊替換為(2.71)的一次項(xiàng)部分
$\begin{bmatrix} {x}\\{y} \end{bmatrix}^T \Sigma^{-1}E[z]=\begin{bmatrix} {x}\\{y} \end{bmatrix}^T \begin{bmatrix} {\wedge\mu-A^TLb}\\{Lb} \end{bmatrix}$
可得 $E[z]$
$E[z] = \Sigma\begin{bmatrix} {\wedge\mu-A^TLb}\\{Lb} \end{bmatrix}=R^{-1}\begin{bmatrix} {\wedge\mu-A^TLb}\\{Lb} \end{bmatrix}=\begin{bmatrix} {\mu}\\{A\mu+b} \end{bmatrix}$
以上求得聯(lián)合分布 $z$ 的協(xié)方差 $\Sigma$ 和均值 $E[z]$
$E[z] = \begin{bmatrix} {\mu}\\{A\mu+b} \end{bmatrix} \\ cov[z]=\begin{bmatrix} {\wedge^{-1}}&{{\wedge}^{-1}A^T}\\{A\wedge^{-1}}&{ L^{-1}+A\wedge^{-1}A^T} \end{bmatrix}$

然后由聯(lián)合分布 $z$ 的均值和協(xié)方差來求邊緣分布 $p(y)$ 的均值和協(xié)方差(2.3.2)
由公式(2.92)和(2.93)得
$E[y] = A\mu+b\\ cov[y] = L^{-1}+A\wedge^{-1}A^T$

求條件分布 $p(x|y)$ 的均值和方差(2.3.1)
由公式(2.73)和(2.75)得
$E[x|y] = (\wedge +A^TLA)^{-1}\{A^TL(y-b)+\wedge\mu\}\\ cov[x|y] = (\wedge+A^TLA)^{-1}$

結(jié)論
給定 $x$ 的一個邊緣高斯分布取董，已經(jīng)在給定 $x$ 條件下 $y$ 的條件高斯分布
$p(x) = N(x|\mu, \wedge^{-1})\\ p(y|x) = N(y|Ax+b, L^{-1})$
$y$ 的邊緣分布以及給定 $y$ 的條件下的 $x$ 的條件分布

$p(y) = N(y|A\mu+b,L^{-1}+A\wedge^{-1}A^T)\\ p(x|y) = N(x|\Sigma\{A^TL(y-b)+\wedge\mu\},\Sigma)\\ \Sigma = (\wedge+A^TLA)^{-1}$

最后編輯于：2019.01.30 14:56:52

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者