比例混合分布(Scale Mixture Distribution)

混合分布是來自其他隨機(jī)變量的集合構(gòu)成的隨機(jī)變量的概率分布：一個(gè)隨機(jī)變量是根據(jù)給定的概率從集合隨機(jī)選取的逗爹，然后所選隨機(jī)變量的值就得到了( first, a random variable is selected by chance from the collection according to given probabilities of selection, and then the value of the selected random variable is realized)烛占。
當(dāng)潛在的隨機(jī)變量是連續(xù)的情況下，混合得到的隨機(jī)變量也是連續(xù)的作谚，并且其概率密度函數(shù)有時(shí)被稱作是一個(gè)混合密度，其累積分布函數(shù)(cumulative distribution function)可以表示成其他分布函數(shù)的凸組合(convex combination庵芭，i.e. a weighted sum, with non-negative weights that sum to 1)妹懒。

有限可數(shù)混合體

給定一個(gè)有限的概率密度函數(shù)集合p1(x),...,pn(x)，或者相對應(yīng)的累積分布函數(shù)P1(x),...,Pn(x)和權(quán)值w1,...,wn(wi>=0,sum(wi)=1)双吆，該混合分布可以被表示為密度函數(shù)f眨唬，或者分布函數(shù)F：

這種類型的混合體稱作有限混合(finite mixture)。

不可數(shù)混合體

當(dāng)組成的分布式不可數(shù)的伊诵，這個(gè)分布就被稱為混合概率分布(compound probability distribution)单绑。這種分布的構(gòu)造是用積分來代替有限情況下的求和形式。
考慮一個(gè)隨機(jī)變量為x曹宴，參數(shù)為a的概率密度函數(shù)p(x;a)搂橙。對于在集合A中的每一個(gè)值a，p(x;a)是一個(gè)關(guān)于x的概率密度函數(shù)笛坦，給出概率密度函數(shù)w(要求w非負(fù)且積分為1),則函數(shù)：

f(x)就是一個(gè)關(guān)于x的概率密度函數(shù)区转。

Gamma函數(shù)

了解Gamma函數(shù)的性質(zhì)和一些有用的計(jì)算公式，在后面復(fù)雜的分布中會用到這些公式和表示方式版扩。

學(xué)生t-分布及其混合分布

學(xué)生t-分布(Student's t-distribution)

在概率論和統(tǒng)計(jì)學(xué)中废离，學(xué)生t-分布（Student's t-distribution），可簡稱為t分布礁芦。應(yīng)用在估計(jì)呈正態(tài)分布的母群體之平均數(shù)蜻韭。它是對兩個(gè)樣本均值差異進(jìn)行顯著性測試的學(xué)生t檢定的基礎(chǔ)。

其中柿扣，ν被稱作自由度(degrees of freedom)肖方，當(dāng)ν=1時(shí)，該分布退化為柯西分布(Cauchy Distribution)未状；當(dāng)ν→∞時(shí)俯画，該分布為高斯分布。

Scale Mixture of Normals

Student T分布可以看做是正態(tài)分布和Gamma分布的混合體司草，由于是連續(xù)分布艰垂，所以該混合體表示為積分形式。其公式推導(dǎo)如下埋虹，在求解積分時(shí)用到了之前Gamma函數(shù)中列舉的有用的積分公式：

Laplace分布及其混合分布

laplace分布

在概率論與統(tǒng)計(jì)學(xué)中猜憎，拉普拉斯分布是以皮埃爾-西蒙·拉普拉斯的名字命名的一種連續(xù)概率分布。由于它可以看作是兩個(gè)不同位置的指數(shù)分布背靠背拼接在一起搔课，所以它也叫作雙指數(shù)分布拉宗。兩個(gè)相互獨(dú)立同概率分布指數(shù)隨機(jī)變量之間的差別是按照指數(shù)分布的隨機(jī)時(shí)間布朗運(yùn)動，所以它遵循拉普拉斯分布辣辫。
如果隨機(jī)變量的概率密度函數(shù)分布為：

那么它就是拉普拉斯分布旦事。其中，μ是位置參數(shù)急灭，b>0是尺度參數(shù)姐浮。

Gaussian-Exponential Mixture

laplace分布可以看成是高斯分布和指數(shù)分布的混合體。

負(fù)二項(xiàng)分布及其混合分布

負(fù)二項(xiàng)分布(Negative Biomial Distribution)

負(fù)二項(xiàng)分布是統(tǒng)計(jì)學(xué)上一種離散概率分布葬馋÷衾穑“負(fù)二項(xiàng)分布”與“二項(xiàng)分布”的區(qū)別在于：“二項(xiàng)分布”是固定試驗(yàn)總次數(shù)N的獨(dú)立試驗(yàn)中，成功次數(shù)k的分布畴嘶；而“負(fù)二項(xiàng)分布”是所有到成功r次時(shí)即終止的獨(dú)立試驗(yàn)中蛋逾，失敗次數(shù)k的分布。
其概率質(zhì)量函數(shù)為：

Gamma-Poisson Mixture

Negative Biomial分布可以看做是Gamma分布和泊松分布的混合體窗悯。

混合分布的意義

這里我們列舉了三種常見分布及其混合分布区匣，這種混合分布的表示形式的意義在于，復(fù)雜分布的期望和方差等數(shù)字特征不好求解蒋院，但可以將其表示為更加簡單的分布的混合形式亏钩，我們知道高斯分布、泊松分布等分布的數(shù)字特征可以由其參數(shù)得到欺旧，這樣的話姑丑，就可以很容易的通過簡單的分布得到復(fù)雜分布的一些數(shù)字特征。

參考資料

Wiki:Mixture Distribution
LDA-math-神奇的Gamma函數(shù)
神奇的伽瑪函數(shù)(上)
神奇的伽瑪函數(shù)(下)

轉(zhuǎn)載請注明作者Jason Ding及其出處
Github博客主頁(http://jasonding1354.github.io/)
CSDN博客(http://blog.csdn.net/jasonding1354)
簡書主頁(http://www.reibang.com/users/2bd9b48f6ea8/latest_articles)