負(fù)二項(xiàng)分布

本文鏈接：個(gè)人站 | 簡(jiǎn)書(shū) | CSDN
版權(quán)聲明：除特別聲明外朱浴，本博客文章均采用 BY-NC-SA 許可協(xié)議呈昔。轉(zhuǎn)載請(qǐng)注明出處蒿讥。

之前在介紹 DeepAR 等時(shí)間序列預(yù)測(cè)模型時(shí)图张，為了簡(jiǎn)單起見(jiàn)，我們使用了大家比較熟悉的正態(tài)分布作為示例诈悍。在實(shí)際應(yīng)用中，需要根據(jù)數(shù)據(jù)本身的特點(diǎn)選擇合適的分布兽埃。泊松分布侥钳、二項(xiàng)分布、以及負(fù)二項(xiàng)分布都可以用來(lái)刻畫(huà)計(jì)數(shù)類數(shù)據(jù)柄错。其中舷夺，泊松分布的 $\mu=\sigma^2$ ，二項(xiàng)分布的 $\mu\geq\sigma^2$ 售貌，負(fù)二項(xiàng)分布的 $\mu\leq\sigma^2$ 给猾。在我日常接觸的業(yè)務(wù)場(chǎng)景中， $\mu\leq\sigma^2$ 較為常見(jiàn)颂跨，為此免不了要跟負(fù)二項(xiàng)分布打交道敢伸。

雖然沒(méi)什么必要，但是本著「有困難要上恒削，沒(méi)困難創(chuàng)造困難也要上」的精神池颈，我們還是來(lái)推導(dǎo)一下負(fù)二項(xiàng)分布的相關(guān)公式。

1. 定義

一個(gè)成功概率為 $p$ 的伯努利試驗(yàn)钓丰，不斷重復(fù)躯砰，直至失敗 $r$ 次。此時(shí)成功的次數(shù)為一個(gè)隨機(jī)變量携丁，用 $X$ 表示琢歇。稱 $X$ 服從負(fù)二項(xiàng)分布，記作 $X\sim NB(r, p)$ 梦鉴。

需要注意的是李茫，負(fù)二項(xiàng)分布的定義并不唯一。例如 tensorflow_probability 使用的定義與本文一致尚揣，而 scipy 則將 $X$ 定義為伯努利試驗(yàn)成功 $r$ 次時(shí)的失敗次數(shù)涌矢。使用前一定要先看清楚，~~別問(wèn)我怎么知道的~~快骗。此外娜庇，Wikipedia 詞條不同段落使用的定義竟然也不完全一致塔次，或許是由不同的人編輯的。

2. 概率質(zhì)量函數(shù)

$X=k$ 時(shí)總共進(jìn)行了 $k+r$ 次試驗(yàn)名秀，最后一次為失敗励负，故前 $k+r-1$ 次試驗(yàn)總共成功了 $k$ 次，失敗了 $r-1$ 次匕得。因此
$f(k; r, p)\equiv Pr(X=k)=\tbinom{k+r-1}{k}p^k(1-p)^r$

3. 期望

根據(jù)定義
$\begin{aligned} \mathbb{E}X &=\sum\limits_{k=0}^{\infty}kf(k;r,p)\\ &=\sum\limits_{k=1}^{\infty}kf(k;r,p)\\ &=\sum\limits_{k=1}^{\infty}k\frac{(k+r-1)!}{k!(r-1)!}p^k(1-p)^r\\ &=\frac{rp}{1-p} \sum\limits_{k=1}^{\infty}\frac{[(k-1)+(r+1)-1]!}{(k-1)![(r+1)-1]!}p^{k-1}(1-p)^{r+1}\\ &=\frac{rp}{1-p} \sum\limits_{k=1}^{\infty}f(k-1;r+1,p) \end{aligned}$
令 $k'=k-1$ 继榆、 $r'=r+1$ ，顯然
$\sum\limits_{k=1}^{\infty}f(k-1;r+1,p)=\sum\limits_{k'=0}^{\infty}f(k';r',p)=1$
故
$\mathbb{E}X = \frac{rp}{1-p}$

4. 方差

首先計(jì)算
$\begin{aligned} \mathbb{E}X^2 &=\sum\limits_{k=0}^{\infty}k^2f(k;r,p)\\ &=\frac{rp}{1-p}\sum\limits_{k=1}^{\infty}kf(k-1;r+1,p) \end{aligned}$
令 $k'=k-1$ 汁掠、 $r'=r+1$ 略吨，考慮服從負(fù)二項(xiàng)分布的隨機(jī)變量 $Y\sim NB(r', p)$ ，其概率質(zhì)量函數(shù)為 $f(k';r',p)$ 考阱，顯然
$\begin{aligned} \sum\limits_{k=1}^{\infty}k f(k-1;r+1,p) &= \sum\limits_{k'=0}^{\infty}(k'+1)f(k';r',p)\\ &= \mathbb{E}(Y+1)\\ &= \mathbb{E}Y + 1\\ &= \frac{r'p}{1-p} + 1\\ &= \frac{(r+1)p}{1-p} + 1\\ &= \frac{rp+1}{1-p} \end{aligned}$
故
$\mathbb{E}X^2 = \frac{rp}{1-p}\cdot \frac{rp+1}{1-p}= \frac{r^2p^2+rp}{(1-p)^2}$

而根據(jù)定義
$\begin{aligned} \mathrm{Var}X &= \mathbb{E}(X-\mathbb{E}X)^2\\ &=\mathbb{E}[X^2-2X\mathbb{E}X + (\mathbb{E}X)^2]\\ &= \mathbb{E}X^2 - (\mathbb{E}X)^2\\ &= \frac{r^2p^2+rp}{(1-p)^2} - \frac{r^2p^2}{(1-p)^2}\\ &= \frac{rp}{(1-p)^2} \end{aligned}$

我們?cè)谖恼麻_(kāi)頭提到翠忠，負(fù)二項(xiàng)分布的 $\sigma^2\geq\mu$ 。由于 $0\leq p\leq1$ 乞榨，這個(gè)結(jié)論是顯而易見(jiàn)的秽之。

5. 累積分布函數(shù)

負(fù)二項(xiàng)分布的累積分布函數(shù)可以表示為正則不完全 Beta 函數(shù)：
$F(k;r,p)=I_{1-p}(r, k+1)$
證明如下：
$\begin{aligned} F(k;r,p) &\equiv P(X\leq k)\\ &=\sum_{x=0}^kf(x;r,p)\\ &=\sum_{x=0}^k \tbinom{x+r-1}{x}p^x(1-p)^r \end{aligned}$
令 $q=1-p$ ，有
$F(k;r,p) = F(k;r,1-q) = \sum_{x=0}^k \tbinom{x+r-1}{x}(1-q)^xq^r$
對(duì) $q$ 求偏導(dǎo)吃既，得
$\begin{aligned} \frac{\partial F}{\partial q} & = \sum_{x=0}^k \tbinom{x+r-1}{x}\left[-x(1-q)^{x-1}q^r+r(1-q)^x q^{r-1}\right]\\ & = \sum_{x=0}^k \tbinom{x+r-1}{x}\left[-x(1-q)^{x-1}q^r+r(1-q)^x q^{r-1}\right]\\ & = \sum_{x=0}^k \tbinom{x+r-1}{x}\left[x[(1-q)-1](1-q)^{x-1}q^{r-1}+r(1-q)^x q^{r-1}\right]\\ & = \sum_{x=0}^k \tbinom{x+r-1}{x}\left[-x(1-q)^{x-1}q^{r-1}+(x+r)(1-q)^x q^{r-1}\right]\\ &= - \sum_{x=0}^kx \tbinom{x+r-1}{x}(1-q)^{x-1}q^{r-1}+\sum_{x=0}^k(x+r) \tbinom{x+r-1}{x}(1-q)^x q^{r-1}\\ &= - \sum_{x=1}^kx \tbinom{x+r-1}{x}(1-q)^{x-1}q^{r-1}+\sum_{x=0}^k(x+r) \tbinom{x+r-1}{x}(1-q)^x q^{r-1}\\ &= - \sum_{x=1}^k \frac{(x+r-1)!}{(x-1)!(r-1)!}(1-q)^{x-1}q^{r-1}+\sum_{x=0}^k \frac{(x+r)!}{x!(r-1)!}(1-q)^x q^{r-1}\\ &= - \frac{r}{q^2}\sum_{x=1}^k \frac{(x+r-1)!}{(x-1)! r!}(1-q)^{x-1}q^{r+1}+\frac{r}{q^2}\sum_{x=0}^k \frac{(x+r)!}{x! r!}(1-q)^x q^{r+1}\\ &= - \frac{r}{q^2}\sum_{x'=0}^{k-1} \frac{(x'+r)!}{x' ! r!}(1-q)^{x' }q^{r+1}+\frac{r}{q^2}\sum_{x=0}^k \frac{(x+r)!}{x! r!}(1-q)^x q^{r+1}\\ &= - \frac{r}{q^2} F(k-1;r+1,1-q) + \frac{r}{q^2} F(k;r+1,1-q)\\ &= \frac{r}{q^2} f(k; r+1, 1-q) \end{aligned}$
而根據(jù)正則不完全 Beta 函數(shù)的定義考榨，有
$\begin{aligned} I_{1-p}(r, k+1) &= I_{q}(r, k+1)\\ &= \frac{B(q; r, k+1)}{B(r, k+1)}\\ &= \frac{ \int_0^qt^{r-1}(1-t)^k\mathrm dt}{B(r, k+1)} \end{aligned}$
同樣對(duì) $q$ 求偏導(dǎo)，得
$\begin{aligned} \frac{\partial I_q}{\partial q} &= \frac{q^{r-1}(1-q)^k}{B(r, k+1)}\\ &= \frac{\Gamma(r+k+1)}{\Gamma(r)\Gamma(k+1)} q^{r-1}(1-q)^k\\ &= \frac{(r+k)!}{(r-1)! k!}q^{r-1}(1-q)^k\\ &= \frac{r}{q^2}\frac{(r+k)!}{r! k!}q^{r+1}(1-q)^k\\ &= \frac{r}{q^2} f(k; r+1,1-q) \end{aligned}$
也就是說(shuō)
$\frac{\partial}{\partial q} F(k;r;1-q)= \frac{\partial}{\partial q}I_q(r, k+1)$
亦即
$F(k;r;1-q) = I_q(r, k+1) + C$
注意到 $q=0$ 時(shí)有
$\begin{cases} F(k; r, 1) = 0\\ I_0(r, k+1) = 0 \end{cases}$
解得常數(shù) $C=0$ 鹦倚。

證畢河质。

6. 在時(shí)間序列預(yù)測(cè)模型中的使用

DeepAR 等模型中，網(wǎng)絡(luò)的輸出目標(biāo)是概率分布的參數(shù)震叙。例如正態(tài)分布的 $\mu$ 和 $\sigma$ 愤诱。但對(duì)于負(fù)二項(xiàng)分布而言，讓網(wǎng)絡(luò)直接輸出 $\mu$ 和 $\sigma$ 是不合適的捐友，因?yàn)樵谟?xùn)練過(guò)程中很難保證輸出的值滿足 $\sigma^2\geq\mu$ 淫半。那么讓網(wǎng)絡(luò)輸出 $r$ 和 $p$ 呢？似乎是可以的匣砖，只要保證 $r>0$ 科吭， $0\leq p\leq 1$ 即可。前者可以使用 softplus 激活函數(shù)猴鲫，后者可以使用 sigmoid 激活函數(shù)对人。有沒(méi)有辦法避免使用 sigmoid 呢？通常的做法是讓網(wǎng)絡(luò)輸出 $\mu$ 和 $\alpha=1/r$ 拂共，只要使用 softplus 激活函數(shù)確保二者均為正數(shù)即可牺弄。

參考文獻(xiàn)

Negative binomial distribution - Wikipedia
Beta function - Wikipedia
Patil G P. On the evaluation of the negative binomial distribution with examples[J]. Technometrics, 1960, 2(4): 501-505.

最后編輯于：2020.04.06 17:29:10

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者

人面猴
序言：七十年代末，一起剝皮案震驚了整個(gè)濱河市宜狐，隨后出現(xiàn)的幾起案子势告，更是在濱河造成了極大的恐慌蛇捌，老刑警劉巖，帶你破解...
沈念sama閱讀 206,378評(píng)論 6贊 481
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件咱台，死亡現(xiàn)場(chǎng)離奇詭異络拌，居然都是意外死亡，警方通過(guò)查閱死者的電腦和手機(jī)回溺，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 88,356評(píng)論 2贊 382
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進(jìn)店門春贸，熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)，“玉大人遗遵，你說(shuō)我怎么就攤上這事萍恕。” “怎么了车要？”我有些...
開(kāi)封第一講書(shū)人閱讀 152,702評(píng)論 0贊 342
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵雄坪，是天一觀的道長(zhǎng)。經(jīng)常有香客問(wèn)我屯蹦，道長(zhǎng)，這世上最難降的妖魔是什么绳姨？我笑而不...
開(kāi)封第一講書(shū)人閱讀 55,259評(píng)論 1贊 279
?港島之戀（遺憾婚禮）
正文為了忘掉前任登澜，我火速辦了婚禮，結(jié)果婚禮上飘庄，老公的妹妹穿的比我還像新娘脑蠕。我一直安慰自己，他們只是感情好跪削，可當(dāng)我...
茶點(diǎn)故事閱讀 64,263評(píng)論 5贊 371
惡毒庶女頂嫁案：這布局不是一般人想出來(lái)的
文/花漫我一把揭開(kāi)白布谴仙。她就那樣靜靜地躺著，像睡著了一般碾盐。火紅的嫁衣襯著肌膚如雪晃跺。梳的紋絲不亂的頭發(fā)上，一...
開(kāi)封第一講書(shū)人閱讀 49,036評(píng)論 1贊 285
城市分裂傳說(shuō)
那天毫玖，我揣著相機(jī)與錄音掀虎，去河邊找鬼。笑死付枫，一個(gè)胖子當(dāng)著我的面吹牛烹玉，可吹牛的內(nèi)容都是我干的。我是一名探鬼主播阐滩，決...
沈念sama閱讀 38,349評(píng)論 3贊 400
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開(kāi)眼二打，長(zhǎng)吁一口氣：“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼！你這毒婦竟也來(lái)了掂榔？” 一聲冷哼從身側(cè)響起继效，我...
開(kāi)封第一講書(shū)人閱讀 36,979評(píng)論 0贊 259
萬(wàn)榮殺人案實(shí)錄
序言：老撾萬(wàn)榮一對(duì)情侶失蹤症杏，失蹤者是張志新（化名）和其女友劉穎，沒(méi)想到半個(gè)月后莲趣，有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體鸳慈，經(jīng)...
沈念sama閱讀 43,469評(píng)論 1贊 300
?護(hù)林員之死
正文獨(dú)居荒郊野嶺守林人離奇死亡，尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點(diǎn)故事閱讀 35,938評(píng)論 2贊 323
?白月光啟示錄
正文我和宋清朗相戀三年喧伞，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了走芋。大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
茶點(diǎn)故事閱讀 38,059評(píng)論 1贊 333
活死人
序言：一個(gè)原本活蹦亂跳的男人離奇死亡潘鲫，死狀恐怖翁逞，靈堂內(nèi)的尸體忽然破棺而出，到底是詐尸還是另有隱情溉仑，我是刑警寧澤挖函，帶...
沈念sama閱讀 33,703評(píng)論 4贊 323
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布，位于F島的核電站浊竟，受9級(jí)特大地震影響怨喘，放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜振定，卻給世界環(huán)境...
茶點(diǎn)故事閱讀 39,257評(píng)論 3贊 307
男人毒藥：我在死后第九天來(lái)索命
文/蒙蒙一必怜、第九天我趴在偏房一處隱蔽的房頂上張望。院中可真熱鬧后频，春花似錦梳庆、人聲如沸。這莊子的主人今日做“春日...
開(kāi)封第一講書(shū)人閱讀 30,262評(píng)論 0贊 19
一樁弒父案膏执，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽(yáng)。三九已至露久，卻和暖如春更米，著一層夾襖步出監(jiān)牢的瞬間，已是汗流浹背毫痕。一陣腳步聲響...
開(kāi)封第一講書(shū)人閱讀 31,485評(píng)論 1贊 262
情欲美人皮
我被黑心中介騙來(lái)泰國(guó)打工壳快，沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留，地道東北人镇草。一個(gè)月前我還...
沈念sama閱讀 45,501評(píng)論 2贊 354
代替公主和親
正文我出身青樓眶痰，卻偏偏與公主長(zhǎng)得像，于是被迫代替她去往敵國(guó)和親梯啤。傳聞我的和親對(duì)象是個(gè)殘疾皇子竖伯，可洞房花燭夜當(dāng)晚...
茶點(diǎn)故事閱讀 42,792評(píng)論 2贊 345