引言
廣義逆高斯作為一種含義豐富的概率分布趣惠,其參數為特定值時又衍生出幾種經典有用的分布荒叶,現做一整理介紹面睛。
廣義逆高斯分布(Generalized Inverse Gaussian Distribution)
廣義逆高斯分布的概率密度函數為:
![](http://upload.wikimedia.org/math/0/d/9/0d972e3f429dacf2bc13fceb0cdb28ee.png)
其中纪隙,Kp是a>0且b>0的第二類修正貝塞爾函數(Modified Bessel function of the second kind)舔琅。
特別要注意這里爵赵,支撐集是x>0吝秕,即對于非負隨機變量。
其中第二類修正貝塞爾函數滿足以下性質:
![](http://jason-images.qiniudn.com/@/ML/math/distribution/bessel_properties.jpg)
伽瑪分布(Gamma Distribution)
當上面的廣義逆高斯分布的b=0,r>0,a>0時空幻,稱為伽瑪分布烁峭。
![](http://jason-images.qiniudn.com/@/ML/math/distribution/gamma_distribution.jpg)
記為X~Ga(p,a/2),這里的p稱為形狀參數秕铛,a/2稱為尺度參數约郁。
其實際定義與觀念是假設隨機變量X為等到第p件事發(fā)生所需之等候時間。
伽瑪分布滿足加成性但两,當兩隨機變量服從Gamma分配鬓梅,互相獨立,且單位時間內頻率相同時谨湘,Gamma分布具有加成性绽快。
![](http://upload.wikimedia.org/math/9/3/6/9363e172f00cbd429feabdfa16b0f7e7.png)
![](http://jason-images.qiniudn.com/@/ML/math/distribution/Gamma_add.jpg)
當p=1時芥丧,Gamma分布變成了指數分布(Exponential Distribution)。
逆伽瑪分布(Inverse Gamma Distribution)
令廣義逆高斯分布的參數a=0,r<0,b>0坊罢,就稱作逆伽瑪分布娄柳。
![](http://jason-images.qiniudn.com/@/ML/math/distribution/inverse_gamma.jpg)
這里的τ=-p,記為IG(τ,b/2)。
逆高斯分布(Inverse Gaussian Distribution)
令廣義逆高斯分布的參數p=-1/2艘绍,稱為逆高斯分布。
![](http://jason-images.qiniudn.com/@/ML/math/distribution/inverse_gaussian.jpg)
先驗分布和后驗分布共軛的意義
從貝葉斯角度進行參數估計秫筏,是求最大后驗估計的過程诱鞠。要求先驗分布和后驗分布是同一種形式但參數不同的分布(即先驗分布和后驗分布呈共軛關系),這是一個數學技巧这敬,可以使計算變得簡單航夺,而求后驗概率最大的積分過程轉化成了求后驗分布的眾數(mode)的過程。
實例一
假設隨機變量X~Bernoulli(θ),0<θ<1崔涂。
因為θ的取值是在(0,1)之間阳掐,很自然會想到Beta分布是定義在該區(qū)間的,故給θ一個Beta分布作為先驗冷蚂,θ~Beta(α,β)缭保。
后驗分布
![](http://jason-images.qiniudn.com/@/ML/math/distribution/bernoulli_example.jpg)
這也是一個Beta分布。
實例二
假設隨機變量X~N(0,λ)蝙茶,這里我們把方差σ^2設為λ艺骂,其中λ>0。
(1)我們假設λ滿足Gamma分布隆夯,λ~Ga(λ|r,α/2)钳恕。
這樣,其后驗
![](http://jason-images.qiniudn.com/@/ML/math/distribution/conjugate1.jpg)
這是一個廣義逆高斯分布蹄衷,當然我們也可以把Gamma分布看做一個廣義逆高斯分布忧额,但這做起來比較麻煩
(2)我們假設λ滿足逆Gamma分布,λ~Ig(τ,β/2)愧口。
其后驗為
![](http://jason-images.qiniudn.com/@/ML/math/distribution/conjugate2.jpg)
這也是一個逆Gamma分布睦番。
這樣方便計算。
參考資料
Wiki:廣義逆高斯分布
Wiki:貝塞爾函數
Wiki:伽瑪分布
轉載請注明作者Jason Ding及其出處
Github博客主頁(http://jasonding1354.github.io/)
CSDN博客(http://blog.csdn.net/jasonding1354)
簡書主頁(http://www.reibang.com/users/2bd9b48f6ea8/latest_articles)