高斯分布
%20%3D%20%5Cfrac%7B1%7D%7B(2%5Cpi%5Csigma%5E2)%5E%5Cfrac%7B1%7D%7B2%7D%7D%20%5Cexp%5C%7B-%5Cfrac%7B1%7D%7B2%5Csigma%5E2%7D(x-%5Cmu)%5E2%5C%7D)
多元高斯分布(D維)
%20%3D%20%5Cfrac%7B1%7D%7B(2%5Cpi)%5E%5Cfrac%7BD%7D%7B2%7D%7D%5Cfrac%7B1%7D%7B%7C%5CSigma%7C%5E%5Cfrac%7B1%7D%7B2%7D%7D%5Cexp%5C%7B-%5Cfrac%7B1%7D%7B2%7D(x-%5Cmu)%5ET%5CSigma%5E%7B-1%7D(x-%5Cmu)%5C%7D%5C%5C%5CSigma%E6%98%AFD*D%E7%9A%84%E5%8D%8F%E6%96%B9%E5%B7%AE%E7%9F%A9%E9%98%B5%EF%BC%8C%5Cmu%E6%98%AFD%E7%BB%B4%E5%9D%87%E5%80%BC%E5%90%91%E9%87%8F)
本文旨在證明：
和
為多元高斯分布的均值和方差
二次型
%5ET%5CSigma%5E%7B-1%7D(x-%5Cmu)%5C%5C%5CDelta%E5%8F%AB%E5%81%9A%5Cmu%E5%92%8Cx%E4%B9%8B%E9%97%B4%E7%9A%84%E9%A9%AC%E6%B0%8F%E8%B7%9D%E7%A6%BB%EF%BC%8C%5CSigma%E4%B8%BA%E5%8D%95%E4%BD%8D%E7%9F%A9%E9%98%B5%E6%97%B6%E5%B0%B1%E5%8F%98%E6%88%90%E6%AC%A7%E5%BC%8F%E8%B7%9D%E7%A6%BB)
矩陣可以取對(duì)稱(chēng)矩陣，因?yàn)?strong>任何非對(duì)稱(chēng)項(xiàng)都會(huì)在指數(shù)中消失
因此二次型可以寫(xiě)為
)
關(guān)于
%5ET%5C%5C%E6%9C%89%5C%5Cy%3DU(x-%5Cmu)%5C%5C%E5%8F%AF%E7%9F%A5%E9%81%93U%E6%97%B6%E6%AD%A3%E4%BA%A4%E7%9F%A9%E9%98%B5%EF%BC%8C%E6%BB%A1%E8%B6%B3%5C%5CUU%5ET%3DU%5ETU%3DI)
二次型和和原坐標(biāo)
的對(duì)應(yīng)關(guān)系
橢圓曲線表示二維空間的高斯分布的常數(shù)概率密度的橢圓面浴栽，表示的概率密度為荒叼，值在處計(jì)算。橢圓的軸由協(xié)方差矩陣的特征向量定義典鸡，特征值（縮放因子）為
從坐標(biāo)系到坐標(biāo)系被廓，有jacobian矩陣
正交，因此
又行列式
可以寫(xiě)成特征值乘積
萝玷，故坐標(biāo)系下嫁乘，高斯分布形式為
%20%3D%20p(x)%7CJ%7C%3D%5Cprod%5ED_%7Bj%3D1%7D%5Cfrac%7B1%7D%7B(2%5Cpi%5Clambda_j)%5E%5Cfrac%7B1%7D%7B2%7D%7Dexp%5C%7B-%5Cfrac%7By_j%5E2%7D%7B2%5Clambda_j%7D%5C%7D)
以上公式是D個(gè)獨(dú)立一元高斯分布的乘積，特征向量定義了一個(gè)新的旋轉(zhuǎn)间护、平移的坐標(biāo)系亦渗，這個(gè)坐標(biāo)系下聯(lián)合概率分布可以分解成獨(dú)立分布的乘積
坐標(biāo)系下的概率分布的積分為
d_y%3D%5Cprod_%7Bj%3D1%7D%5ED%20%7B%5Cint%7D%5E%7B%5Cinfty%7D_%7B-%5Cinfty%7D%5Cfrac%7B1%7D%7B(2%5Cpi%5Clambda_j)%5E%5Cfrac%7B1%7D%7B2%7D%7D%5Cexp%5C%7B-%5Cfrac%7By_j%5E2%7D%7B2%5Clambda_j%7D%5C%7Dd%7By_j%7D%3D1)
以上是證明和為高斯分布的均值和方差的前備條件，接下來(lái)進(jìn)行證明
證![E[x]=\mu](https://math.jianshu.com/math?formula=E%5Bx%5D%3D%5Cmu)
對(duì)連續(xù)概率密度函數(shù)求期望(積分)
![E[x] = \frac{1}{(2\pi)^\frac{D}{2}}\frac{1}{|\Sigma|^\frac{1}{2}}\int\exp\{-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu)\}xdx](https://math.jianshu.com/math?formula=E%5Bx%5D%20%3D%20%5Cfrac%7B1%7D%7B(2%5Cpi)%5E%5Cfrac%7BD%7D%7B2%7D%7D%5Cfrac%7B1%7D%7B%7C%5CSigma%7C%5E%5Cfrac%7B1%7D%7B2%7D%7D%5Cint%5Cexp%5C%7B-%5Cfrac%7B1%7D%7B2%7D(x-%5Cmu)%5ET%5CSigma%5E%7B-1%7D(x-%5Cmu)%5C%7Dxdx)
令
![E[x] = \frac{1}{(2\pi)^\frac{D}{2}}\frac{1}{|\Sigma|^\frac{1}{2}}\int\exp\{-\frac{1}{2}z^T\Sigma^{-1}z\}(z+\mu)dz](https://math.jianshu.com/math?formula=E%5Bx%5D%20%3D%20%5Cfrac%7B1%7D%7B(2%5Cpi)%5E%5Cfrac%7BD%7D%7B2%7D%7D%5Cfrac%7B1%7D%7B%7C%5CSigma%7C%5E%5Cfrac%7B1%7D%7B2%7D%7D%5Cint%5Cexp%5C%7B-%5Cfrac%7B1%7D%7B2%7Dz%5ET%5CSigma%5E%7B-1%7Dz%5C%7D(z%2B%5Cmu)dz)
由于積分區(qū)域是(-\infty,\infty),根據(jù)對(duì)稱(chēng)性可得(z+\mu)中的z項(xiàng)為零汁尺，因此:
也就是證明了文章一開(kāi)始的D維均值向量就是多元高斯分布的均值(應(yīng)該是這樣??)
證![var[x] = \Sigma](https://math.jianshu.com/math?formula=var%5Bx%5D%20%3D%20%5CSigma)
求高斯分布的二階矩(PS：二階(非中心)矩是對(duì)變量的平方求期望法精，一階矩就是對(duì)變量求期望)
一元變量下，二階矩由![E[x^2]](https://math.jianshu.com/math?formula=E%5Bx%5E2%5D)
給出痴突；對(duì)于多元高斯分布搂蜓，有
個(gè)由![E[x_ix_j]](https://math.jianshu.com/math?formula=E%5Bx_ix_j%5D)
給出的二階矩，也就是矩陣![E[xx^T]](https://math.jianshu.com/math?formula=E%5Bxx%5ET%5D)
![E[xx^T]=\frac{1}{(2\pi)^{\frac{D}{2}}}\frac{1}{|\Sigma|^{\frac{1}{2}}}\int\exp\{-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu)\}xx^Tdx](https://math.jianshu.com/math?formula=E%5Bxx%5ET%5D%3D%5Cfrac%7B1%7D%7B(2%5Cpi)%5E%7B%5Cfrac%7BD%7D%7B2%7D%7D%7D%5Cfrac%7B1%7D%7B%7C%5CSigma%7C%5E%7B%5Cfrac%7B1%7D%7B2%7D%7D%7D%5Cint%5Cexp%5C%7B-%5Cfrac%7B1%7D%7B2%7D(x-%5Cmu)%5ET%5CSigma%5E%7B-1%7D(x-%5Cmu)%5C%7Dxx%5ETdx)
令
![E[xx^T] = \frac{1}{(2\pi)^\frac{D}{2}}\frac{1}{|\Sigma|^\frac{1}{2}}\int\exp\{-\frac{1}{2}z^T\Sigma^{-1}z\}(z+\mu)(z+\mu)^Tdz\\=\frac{1}{(2\pi)^\frac{D}{2}}\frac{1}{|\Sigma|^\frac{1}{2}}\int\exp\{-\frac{1}{2}z^T\Sigma^{-1}z\}(zz^T+\mu\mu^T+\mu z^T+z\mu^T)dz](https://math.jianshu.com/math?formula=E%5Bxx%5ET%5D%20%3D%20%5Cfrac%7B1%7D%7B(2%5Cpi)%5E%5Cfrac%7BD%7D%7B2%7D%7D%5Cfrac%7B1%7D%7B%7C%5CSigma%7C%5E%5Cfrac%7B1%7D%7B2%7D%7D%5Cint%5Cexp%5C%7B-%5Cfrac%7B1%7D%7B2%7Dz%5ET%5CSigma%5E%7B-1%7Dz%5C%7D(z%2B%5Cmu)(z%2B%5Cmu)%5ETdz%5C%5C%3D%5Cfrac%7B1%7D%7B(2%5Cpi)%5E%5Cfrac%7BD%7D%7B2%7D%7D%5Cfrac%7B1%7D%7B%7C%5CSigma%7C%5E%5Cfrac%7B1%7D%7B2%7D%7D%5Cint%5Cexp%5C%7B-%5Cfrac%7B1%7D%7B2%7Dz%5ET%5CSigma%5E%7B-1%7Dz%5C%7D(zz%5ET%2B%5Cmu%5Cmu%5ET%2B%5Cmu%20z%5ET%2Bz%5Cmu%5ET)dz)
由于對(duì)稱(chēng)性
和
項(xiàng)互相抵消辽装，
為常數(shù)帮碰，因此我們先計(jì)算
項(xiàng)
![這里的證明沒(méi)有看懂，最后可以寫(xiě)成\\ \frac{1}{(2\pi)^\frac{D}{2}}\frac{1}{|\Sigma|^\frac{1}{2}}\int\exp\{-\frac{1}{2}z^T\Sigma^{-1}z\} zz^Tdz\\ =\frac{1}{(2\pi)^\frac{D}{2}}\frac{1}{|\Sigma|^\frac{1}{2}}\sum^D_{i=1}\sum^D_{j=1}u_iu_j^T\int \exp\{-\sum^D_{k=1}\frac{y_k^2}{2\lambda_k}\}y_iy_jdy\\=\sum^D_{i=1} u_i u_i^T \lambda_i=\Sigma\\ 因此 E[xx^T]=\mu\mu^T+\Sigma](https://math.jianshu.com/math?formula=%E8%BF%99%E9%87%8C%E7%9A%84%E8%AF%81%E6%98%8E%E6%B2%A1%E6%9C%89%E7%9C%8B%E6%87%82%EF%BC%8C%E6%9C%80%E5%90%8E%E5%8F%AF%E4%BB%A5%E5%86%99%E6%88%90%5C%5C%20%5Cfrac%7B1%7D%7B(2%5Cpi)%5E%5Cfrac%7BD%7D%7B2%7D%7D%5Cfrac%7B1%7D%7B%7C%5CSigma%7C%5E%5Cfrac%7B1%7D%7B2%7D%7D%5Cint%5Cexp%5C%7B-%5Cfrac%7B1%7D%7B2%7Dz%5ET%5CSigma%5E%7B-1%7Dz%5C%7D%20zz%5ETdz%5C%5C%20%3D%5Cfrac%7B1%7D%7B(2%5Cpi)%5E%5Cfrac%7BD%7D%7B2%7D%7D%5Cfrac%7B1%7D%7B%7C%5CSigma%7C%5E%5Cfrac%7B1%7D%7B2%7D%7D%5Csum%5ED_%7Bi%3D1%7D%5Csum%5ED_%7Bj%3D1%7Du_iu_j%5ET%5Cint%20%5Cexp%5C%7B-%5Csum%5ED_%7Bk%3D1%7D%5Cfrac%7By_k%5E2%7D%7B2%5Clambda_k%7D%5C%7Dy_iy_jdy%5C%5C%3D%5Csum%5ED_%7Bi%3D1%7D%20u_i%20u_i%5ET%20%5Clambda_i%3D%5CSigma%5C%5C%20%E5%9B%A0%E6%AD%A4%20E%5Bxx%5ET%5D%3D%5Cmu%5Cmu%5ET%2B%5CSigma)
定義協(xié)方差![var[x]](https://math.jianshu.com/math?formula=var%5Bx%5D)
![var[x] = E[(x-E[x])(x-E[x])^T]](https://math.jianshu.com/math?formula=var%5Bx%5D%20%3D%20E%5B(x-E%5Bx%5D)(x-E%5Bx%5D)%5ET%5D)
由于高斯分布拾积，結(jié)合殉挽，得到
![var[x]=\Sigma](https://math.jianshu.com/math?formula=var%5Bx%5D%3D%5CSigma)
也就是文首的
的協(xié)方差矩陣
最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
