多元正態(tài)分布想必是所有機(jī)器學(xué)習(xí)從業(yè)者繞不開(kāi)的一個(gè)經(jīng)典,另外多元正態(tài)分布對(duì)于理解語(yǔ)音識(shí)別技術(shù)也非常重要层扶,所以我覺(jué)得有必要多花點(diǎn)時(shí)間在上面友题,下面是我的推算過(guò)程逝撬。
密度函數(shù)
其中為協(xié)方差矩陣的行列式,在根號(hào)下暗示其為正的钱磅,且要求協(xié)方差矩陣是可逆矩陣梦裂。而
是隨機(jī)變量的均值向量。
歸一化
現(xiàn)在驗(yàn)證其積分的確為1盖淡,考慮式子中的指數(shù)部分的積分年柠,為了避免討論中出現(xiàn)協(xié)方差矩陣的逆陣,以下使用矩陣來(lái)代替協(xié)方差矩陣的逆陣:
這是一個(gè)從D維實(shí)空間到
上的實(shí)值函數(shù)在
上的反常積分禁舷,我們先對(duì)向量作一個(gè)平移變換
彪杉,積分區(qū)域仍然是
,該變換的雅可比矩陣顯然為單位矩陣牵咙,故其行列式為1派近,于是:
我們先來(lái)計(jì)算其在任一個(gè)緊集上的積分,例如:這里使用邊長(zhǎng)為n的D維立方體洁桌。即想計(jì)算:
由于被積函數(shù)顯然是一個(gè)緊集上的連續(xù)函數(shù)渴丸,由Lesbegue準(zhǔn)則知它是可積的。但這時(shí)候指數(shù)上的二次型
仍然是一個(gè)過(guò)于一般化的二次型,我們?nèi)匀粺o(wú)法處理這樣的積分谱轨。下面進(jìn)一步戒幔,我們先從一個(gè)更簡(jiǎn)單的情況著手,即考慮矩陣
是對(duì)角矩陣的情況土童。在這種情況下诗茎,協(xié)方差矩陣也是對(duì)角矩陣,意味著隨機(jī)向量的各個(gè)分量互不相關(guān)献汗,我們?cè)O(shè)
為以下對(duì)角矩陣:
敢订,此時(shí)由Fubini定理,得到以下累次積分:
由微積分課程中的計(jì)算高斯積分的方法罢吃,對(duì)單變量積分有如下結(jié)果:
所以接上面的計(jì)算有:
對(duì)取極限楚午,
有:
即我們得到對(duì)稱斜方差矩陣下的規(guī)范化因子,由積分的線性性質(zhì)可知尿招,將該規(guī)范化因子的倒數(shù)乘到被積函數(shù)前面就得到了有效的密度函數(shù):
矾柜。
????????由上面的計(jì)算可以認(rèn)為,所有的都是正數(shù)就谜,即認(rèn)為
是正定矩陣怪蔑;如若不然,假設(shè)
的第(D,D)元素為0吁伺,即隨機(jī)向量的第D個(gè)分量對(duì)應(yīng)的方差為0饮睬,則該特征不具備統(tǒng)計(jì)效應(yīng),我們自然可以忽略該特征為度篮奄,降維到D-1維空間捆愁,從而在那個(gè)空間下,我們的協(xié)方差矩陣是正定的窟却。
????????下面我們假設(shè)一般化的矩陣也是正定矩陣昼丑,即為實(shí)對(duì)稱正定矩陣。由線性代數(shù)知任一對(duì)稱矩陣必然合同于一個(gè)對(duì)角矩陣夸赫,當(dāng)
是實(shí)對(duì)稱矩陣時(shí)菩帝,其合同于對(duì)角矩陣:
,其中
為矩陣的秩茬腿,
為正慣性指數(shù)呼奢。
????????設(shè)這里我們的協(xié)方差矩陣為正定矩陣,那么根據(jù)正定矩陣的性質(zhì)上面的矩陣中有:(即滿秩)切平,即合同于單位矩陣握础。如果使用正定實(shí)對(duì)陣矩陣的合同變換:
,那么計(jì)算將更為簡(jiǎn)單悴品,但是我們已經(jīng)在上面對(duì)一般化的對(duì)角矩陣證明了積分的收斂性禀综,所以下面接著上面討論非對(duì)角斜方差矩陣的高斯函數(shù)
的收斂和積分简烘。
? ? ? ? 對(duì)矩陣進(jìn)行合同變換
,其中
是可逆矩陣定枷,帶入被積函數(shù)中有:
孤澎,在下面的積分中,作變量變換:
欠窒,即
覆旭,由于雅可比矩陣
是可逆矩陣,所以
的確構(gòu)成了開(kāi)集
到開(kāi)集
的一個(gè)微分同胚岖妄;因此由反常積分下的變量變換定理有以下等式成立:
其中:是雅可比矩陣
的行列式的絕對(duì)值(det=determinant)姐扮,為了不使行列式符號(hào)和絕對(duì)值符號(hào)混淆,這實(shí)用det表示取行列式衣吠,而雙豎線表示絕對(duì)值。將
帶入上式繼續(xù)化簡(jiǎn)得:
以上推導(dǎo)過(guò)程中利用了行列式相關(guān)的性質(zhì)壤靶,包括:缚俏,
,
贮乳。所以的確
是合法的概率密度函數(shù)忧换,用
帶進(jìn)去,就得到了標(biāo)準(zhǔn)的正態(tài)分布概率密度函數(shù)向拆。
期望
其中:隨機(jī)向量服從多元正態(tài)分布亚茬,
是分布的參數(shù)浓恳;我們?cè)谇懊娌患铀妓鞯胤Q這兩組參數(shù)為均值向量和協(xié)方差矩陣刹缝,下面我們將要為其正名。
用變量變換:颈将,則
梢夯,接上纹冤,有:
其中惊暴,令:
再作變量變換:,則
谣沸,有:
所以死姚,人乓,我們發(fā)現(xiàn)參數(shù)
的確是隨機(jī)向量
的均值。
協(xié)方差矩陣
跟之前類似都毒,我們處理協(xié)方差矩陣的時(shí)候色罚,為了看得舒服一些,使用:
則協(xié)方差矩陣:
作變量變換:温鸽,
保屯,有:
由于我們要求是正定矩陣手负,因此,
合同于單位矩陣姑尺,即存在非奇異矩陣
竟终,使得:
;因此切蟋,我們?cè)僮髯兞孔儞Q:
统捶,
:
,且利用積分的線性性質(zhì)柄粹,即:線性組合的積分等于各項(xiàng)積分的線性組合喘鸟,我們可以將
挪出積分號(hào)來(lái),得到:
顯然中間的積分仍然是關(guān)于某個(gè)隨機(jī)向量的協(xié)方差矩陣驻右,但是什黑,此時(shí)指數(shù)部分的二次型已然是個(gè)規(guī)范型了,我們將其拆開(kāi)來(lái)看堪夭,并對(duì)積分關(guān)于中的元素逐個(gè)分析愕把,并利用Fubini定理展開(kāi)成累次積分,我們發(fā)現(xiàn):
這里利用了一元標(biāo)準(zhǔn)正態(tài)分布的期望等于0森爽,方差等于1恨豁,以及積分等于1的基本知識(shí)。即爬迟,代入上面的(1)式:
即:參數(shù)矩陣果真是多元正態(tài)分布的協(xié)方差矩陣橘蜜。