常見概率分布介紹

常見概率分布

Bernoulli分布

Bernoulli分布是單個二值隨機(jī)變量分布, 單參數(shù) $\phi?$ ∈[0,1]控制, $\phi?$ 給出隨機(jī)變量等于1的概率. 基本形式為:

image.png

其期望為：
$E(x)=\sum x P(x)=0 \times q+1 \times p=p$
其方差為：
$\operatorname{Var}(x)=E\left[(x-E(x))^{2}\right]=\sum(x-p)^{2} P(x)=p q$

Multinoulli分布也叫范疇分布, 是單個k值隨機(jī)分布,經(jīng)常用來表示對象分類的分布. 其中 $k$ 是有限值.Multinoulli分布由向量 $\vec{p}\in[0,1]^{k-1}$ 參數(shù)化,每個分量 $p_i$ 表示第 $i$ 個狀態(tài)的概率, 且 $p_k=1-1^Tp?$ .

適用范圍: 伯努利分布適合對離散型隨機(jī)變量建模.

高斯分布

高斯也叫正態(tài)分布(Normal Distribution), 概率度函數(shù)如下:
$N(x;\mu,\sigma^2) = \sqrt{\frac{1}{2\pi\sigma^2}}exp\left ( -\frac{1}{2\sigma^2}(x-\mu)^2 \right )$
其中, $\mu?$ 和 $\sigma?$ 分別是均值和方差, 中心峰值x坐標(biāo)由 $\mu?$ 給出, 峰的寬度受 $\sigma?$ 控制, 最大點在 $x=\mu?$ 處取得, 拐點為 $x=\mu\pm\sigma?$

正態(tài)分布中设凹，±1 $\sigma$ 闪朱、±2 $\sigma$ 、±3 $\sigma$ 下的概率分別是68.3%锄开、95.5%称诗、99.73%，這3個數(shù)最好記住。

此外, 令 $\mu=0,\sigma=1?$ 高斯分布即簡化為標(biāo)準(zhǔn)正態(tài)分布:
$N(x;\mu,\sigma^2) = \sqrt{\frac{1}{2\pi}}exp\left ( -\frac{1}{2}x^2 \right )$
對概率密度函數(shù)高效求值:
$N(x;\mu,\beta^{-1})=\sqrt{\frac{\beta}{2\pi}}exp\left(-\frac{1}{2}\beta(x-\mu)^2\right)$

其中再榄， $\beta=\frac{1}{\sigma^2}$ 通過參數(shù) $\beta∈（0享潜，\infty）?$ 來控制分布精度。

何時采用正態(tài)分布

問: 何時采用正態(tài)分布?
答: 缺乏實數(shù)上分布的先驗知識, 不知選擇何種形式時, 默認(rèn)選擇正態(tài)分布總是不會錯的, 理由如下:

中心極限定理告訴我們, 很多獨立隨機(jī)變量均近似服從正態(tài)分布, 現(xiàn)實中很多復(fù)雜系統(tǒng)都可以被建模成正態(tài)分布的噪聲, 即使該系統(tǒng)可以被結(jié)構(gòu)化分解.
正態(tài)分布是具有相同方差的所有概率分布中, 不確定性最大的分布, 換句話說, 正態(tài)分布是對模型加入先驗知識最少的分布.

正態(tài)分布的推廣:
正態(tài)分布可以推廣到 $R^n$ 空間, 此時稱為多位正態(tài)分布, 其參數(shù)是一個正定對稱矩陣 $\Sigma?$ :
$N(x;\vec\mu,\Sigma)=\sqrt{\frac{1}{(2\pi)^ndet(\Sigma)}}exp\left(-\frac{1}{2}(\vec{x}-\vec{\mu})^T\Sigma^{-1}(\vec{x}-\vec{\mu})\right)$
對多為正態(tài)分布概率密度高效求值:
$N(x;\vec{\mu},\vec\beta^{-1}) = \sqrt{det(\vec\beta)}{(2\pi)^n}exp\left(-\frac{1}{2}(\vec{x}-\vec\mu)^T\beta(\vec{x}-\vec\mu)\right)$
此處， $\vec\beta$ 是一個精度矩陣猬腰。

指數(shù)分布

深度學(xué)習(xí)中, 指數(shù)分布用來描述在 $x=0?$ 點處取得邊界點的分布, 指數(shù)分布定義如下:
$p(x;\lambda)=\lambda I_{x\geq 0}exp(-\lambda{x})$
指數(shù)分布用指示函數(shù) $I_{x\geq 0}?$ 來使 $x?$ 取負(fù)值時的概率為零猜敢。

Laplace 分布

一個聯(lián)系緊密的概率分布是 Laplace 分布（Laplace distribution），它允許我們在任意一點 $\mu$ 處設(shè)置概率質(zhì)量的峰值
$Laplace(x;\mu;\gamma)=\frac{1}{2\gamma}exp\left(-\frac{|x-\mu|}{\gamma}\right)$

Dirac分布和經(jīng)驗分布

Dirac分布可保證概率分布中所有質(zhì)量都集中在一個點上. Diract分布的狄拉克 $\delta?$ 函數(shù)(也稱為單位脈沖函數(shù))定義如下:
$p(x)=\delta(x-\mu), x\neq \mu$

$\int_{a}^\delta(x-\mu)dx = 1, a < \mu < b$

Dirac 分布經(jīng)常作為經(jīng)驗分布（empirical distribution）的一個組成部分出現(xiàn)
$\hat{p}(\vec{x})=\frac{1}{m}\sum_{i=1}^{m}\delta(\vec{x}-{\vec{x}}^{(i)})$
, 其中, m個點 $x^{1},...,x^{m}$ 是給定的數(shù)據(jù)集, 經(jīng)驗分布將概率密度 $\frac{1}{m}?$ 賦給了這些點.

當(dāng)我們在訓(xùn)練集上訓(xùn)練模型時, 可以認(rèn)為從這個訓(xùn)練集上得到的經(jīng)驗分布指明了采樣來源.

適用范圍: 狄拉克δ函數(shù)適合對連續(xù)型隨機(jī)變量的經(jīng)驗分布.

期望懈费、方差博脑、協(xié)方差票罐、相關(guān)系數(shù)

期望

在概率論和統(tǒng)計學(xué)中寨闹，數(shù)學(xué)期望（或均值，亦簡稱期望）是試驗中每次可能結(jié)果的概率乘以其結(jié)果的總和沈善。它反映隨機(jī)變量平均取值的大小椭蹄。

線性運算： $E(ax+by+c) = aE(x)+bE(y)+c$
推廣形式： $E(\sum_{k=1}^{n}{a_ix_i+c}) = \sum_{k=1}^{n}{a_iE(x_i)+c}$
函數(shù)期望：設(shè)為的函數(shù)绳矩，則的期望為
- 離散函數(shù)： $E(f(x))=\sum_{k=1}^{n}{f(x_k)P(x_k)}$
- 連續(xù)函數(shù)： $E(f(x))=\int_{-\infty}^{+\infty}{f(x)p(x)dx}$