定義見中文維基協(xié)方差矩陣。
從熟悉的標(biāo)量隨機(jī)變量開始询吴,
1. 方差
隨機(jī)變量的方差用于描述它的離散程度掠河,也就是該變量離期望值的距離。
當(dāng)變量為實(shí)數(shù)時(shí)猛计,也叫作二階矩或者二階中心動差唠摹。
簡單的講,將各個(gè)誤差的平方相加再除以總數(shù)就是方差奉瘤,其算術(shù)平方根稱為該隨機(jī)變量的標(biāo)準(zhǔn)差
定義:方差可以看做隨機(jī)變數(shù)與本身的協(xié)方差
2.連續(xù)隨機(jī)變數(shù)
如果隨機(jī)變量x是連續(xù)分布勾拉,并有概率密度函數(shù)f(x),那么其方差為:
如果一個(gè)連續(xù)分布不存在期望值,例如Cauchy distribution藕赞,那么不存在方差
3.離散隨機(jī)變數(shù)
如果隨機(jī)變數(shù)X是具有概率質(zhì)量函數(shù)的離散概率分布x1 ? p1, ..., xn ? pn苛秕,則:
如果,x為有N個(gè)相等概率的平均分布找默,那么艇劫,
當(dāng)X為有N個(gè)相等概率值的平均分布:
還可以用點(diǎn)與點(diǎn)之間的計(jì)算:
4.隨機(jī)向量
有兩種標(biāo)記方法:
var(X) = cov(X) = E[ ( X-E[X] )( X-E[X] )^T ], 此時(shí)也叫作方差
cov(X,Y) = E[ ( X-E[X] )( Y-E[Y] )^T ]
協(xié)方差矩陣可以導(dǎo)出一個(gè)變換矩陣惩激,使數(shù)據(jù)完全去相關(guān)店煞,換句話說,能夠找出一組最佳最compact的base來表達(dá)數(shù)據(jù)风钻,即常用的主成分分析(principal component analysis)顷蟀。