Peeking at A/B test——Optimizely解決方案簡(jiǎn)介

Optimizely通過(guò)mSPRT理論的擴(kuò)展预烙，提供了時(shí)時(shí)有效的P值與置信區(qū)間斥黑，解決了ab實(shí)驗(yàn)中的偷看問(wèn)題衷快。

1. 定義

單樣本：
\theta_{0}已知稽亏，X = (X_{iid,n})_{n=1}^{\infty} \sim F_{\theta }棺牧。
H_{0}: \theta = \theta_{0}
H_{1}: \theta \neq \theta_{0}

雙樣本：
X螃成、Y獨(dú)立同分布呕臂。
H_{0}: \theta = \mu ^{B} - \mu ^{A} = 0
H_{1}: \theta \neq 0

判決條件：
(T, \delta )破托，T為結(jié)束時(shí)間(樣本量)，允許為\infty歧蒋，\delta=1代表拒絕原假設(shè)土砂。

2. 始終有效推斷

為了解決偷看，需要始終有效谜洽。

2.1 始終有效的P

任意時(shí)間T萝映，滿足：
\forall s\ \epsilon\ [0,1],\ \mathbb{P}_{\theta _{0}}(p_T \leq s) \leq s

2.2 始終有效的貫序檢測(cè)

依靠樣本數(shù)據(jù)決策樣本量。

判決條件：
(T(\alpha), \delta(\alpha) )

  • \mathbb{P}_{\theta _{0}}( \delta(\alpha) = 1) \leq \alpha
  • T(\alpha),\delta(\alpha)不會(huì)影響\alpha水平

2.3 置信區(qū)間

對(duì)\theta = \widetilde{\theta}來(lái)說(shuō)阐虚，如果p_{n}^{\widetilde{\theta}}始終有效序臂，I_{n} = \{\theta: p_{n}^{\theta} > \alpha \}就是始終有效的1-\alpha水平置信區(qū)間。

3. 構(gòu)造始終有效的P

Optimizely通過(guò)混合貫序檢驗(yàn)(mSPRT)構(gòu)造始終有效的P值实束。

3.1 混合貫序檢驗(yàn)(mSPRT)

H為\Theta上的混合分布奥秆，概率密度函數(shù)為h。計(jì)算H的似然比除以\theta_{0}的似然比：
\Lambda _{n}^{H,\theta _{0}} = \int _{\Theta }\prod_{m=1}^{n}\frac{f_{\theta}(X_{m})}{f_{\theta_{0}}(X_{m})}h(\theta)d\theta

mSPRT判斷流程：
選擇\alpha咸灿，則拒絕原假設(shè)條件為\Lambda_{T}^{H,\theta_{0}} \ge \alpha^{-1}构订，此時(shí)T = T^{\alpha}。
詳細(xì)原理參照文末避矢。

3.2 mSPRT的P值與置信區(qū)間

p_0 = 1;p_n=min\{p_{n-1},1/\Lambda _{n}^{H,\theta _0 } \}
I_0 = \Theta; I_n = I_{n-1} \cap \{ \tilde { \theta } : \Lambda_n ^ {H, \tilde{\theta}} \ge \alpha^{-1} \}

如果數(shù)據(jù)自正態(tài)分布N(\theta, \sigma^2)悼瘾，且混合分布H = N(\theta_0, \tau^2)，則

\Lambda _{n}^{H,\theta _{0}} = \frac{\sigma}{\sqrt{\sigma^2 + n\tau^2 }} exp\{\frac{n^2\tau^2(\bar{X}_{n} - \theta_0)^2}{2\sigma^2(\sigma^2 + n\tau^2)}\}

3.3 mSPRT擴(kuò)展到A/B

定義Z_n = Y_n - X_n \sim N(\theta, 2\sigma^2)审胸，并對(duì)其做mSPRT檢測(cè)亥宿，則：

\Lambda _{n}^{H,\theta _{0}} = \sqrt {\frac {2\sigma^2} {2\sigma^2 + n \tau^2 } } exp \{ \frac{n^2\tau^2(\bar{Y}_n - \bar{X}_{n} - \theta_0)^2}{4\sigma^2(2\sigma^2 + n\tau^2)} \}

對(duì)于0/1型數(shù)據(jù)，\bar{Y}_n - \bar{X}_n近似于正態(tài)分布N(\theta, V_n/n)歹嘹，V_n = \bar{X}_n(1-\bar{X}_n) + \bar{Y}_n(1- \bar{Y}_n)箩绍，則：

\Lambda _{n}^{H,\theta _{0}} = \sqrt{\frac{V_n}{V_n + n\tau^2 }} exp\{\frac{n^2\tau^2(\bar{Y}_n - \bar{X}_{n} - \theta_0)^2}{2V_{n}(V_n + n\tau^2)}\}

3.4 實(shí)現(xiàn)細(xì)節(jié)

對(duì)于一些連續(xù)性指標(biāo)，比如“付費(fèi)”（嚴(yán)重右斜）使用正態(tài)分布是不合適的尺上，需要其它更適應(yīng)這種偏斜的分布材蛛。
由于為了保證單調(diào)性圆到，可能導(dǎo)致后期\bar{Y}_n - \bar{X}_n跑出置信區(qū)間，此時(shí)Optimizely會(huì)重置顯著性卑吭。這樣的做法只會(huì)讓p值更大芽淡、置信區(qū)間更寬，不會(huì)增加假陽(yáng)性錯(cuò)誤豆赏，但是可能增大假陰性錯(cuò)誤挣菲。

4.回歸測(cè)試

假陽(yáng)性錯(cuò)誤已知被控制了，但是假陰性怎么樣掷邦？Optimizely進(jìn)行了一些優(yōu)化和測(cè)試白胀。

4.1 優(yōu)化

實(shí)驗(yàn)者不會(huì)永遠(yuǎn)等待，因此有最大等待樣本量M抚岗。
經(jīng)過(guò)Optimizely驗(yàn)證或杠，帶M截?cái)嗟膍SPRT比一般的假設(shè)檢驗(yàn)平均花費(fèi)更少的樣本量。

4.2 混合分布的選擇

之前選擇了混合分布為H = N(\theta_0, \tau^2)宣蔚。對(duì)于混合分布如何選擇向抢，沒(méi)有現(xiàn)存的理論指導(dǎo)。
Optimizely選擇的先驗(yàn)為G = N(0, \tau_0^2)胚委，并且通過(guò)數(shù)據(jù)仿真得到\tau_0^2挟鸠。

5.多重比較問(wèn)題

Optimizely通過(guò)Benjamini-Hochberg方法對(duì)多重比較進(jìn)行校正。

附: Statistical Methods Related to the Law of The Iterated Logarithm

若對(duì)隨機(jī)變量x_1,...,x_n亩冬，有聯(lián)合概率密度函數(shù)g_{n}(x1,...,xn)艘希，g_{n}'(x1,...,xn)為任意其他概率密度函數(shù)，且Zn= g_{n}'(x1,...,xn)/g_{n}(x1,...,xn)鉴未，則：

對(duì)任意\xi > 1枢冤，存在這樣的n的概率小于1/\xi鸠姨，即
P(Zn \ge \xi\ for\ some\ n\ge1) \leq 1/\xi

以下僅簡(jiǎn)述x為正態(tài)分布下铜秆、混合函數(shù)為標(biāo)準(zhǔn)正態(tài)分布的場(chǎng)景

如果x.iid \sim N(\theta, 1),則:
\varphi (x) = (2\pi )^{-\frac{1}{2}}exp(-x^{2}/2),\ \Phi (x) = \int _{-\infty }^{x} \varphi (t)dt,\ S_n = x_{1} + ... + x_{n}
x_1,...,x_n的聯(lián)合概率密度函數(shù)為:
g_{\theta,n}(x_1...x_n) = \prod_1^n \varphi (x_i - \theta),
g_{\theta,n}(x_1...x_n)' = \int _{-\infty }^{\infty} \prod_1^n \varphi (x_i - \theta)dF(\theta)
Zn = g_n'/g_{0,n} = \int _{-\infty }^{\infty}exp(\theta S_n - 1/2n\theta^2 )dF(\theta)
定義f(x,y) = \int _{-\infty }^{\infty}exp(xy - 1/2ny^2 )dF(y)，如果將F(\theta)替換為F(\theta m^{1/2}):
Zn = \int _{-\infty }^{\infty}exp(\theta S_n - 1/2n\theta^2 )dF(\theta m^{1/2}) = f(S_n/m^{1/2},n/m)\ \ \ \ (m>0)

P(f(S_n/m^{1/2},n/m) \ge \xi\ for\ some \ n\ge1) \leq 1/\xi\ \ \ \ (m>0,\xi>1)

若F=\Phi,x.iid\sim N(0,1)

雙尾：P(|S_n| \ge [(n + m)(a^2 + log(n/m + 1))]^{\frac{1}{2}}\ for\ some\ n\ge1)\leq e^{-\frac{1}{2}a^2}
單尾: P(|S_n| \ge [(n + m)(a^2 + log(n/m + 1))]^{\frac{1}{2}}\ for\ some\ n\ge1)\leq e^{-\frac{1}{2}a^2}/\Phi(a)

與維納過(guò)程的聯(lián)系
w(t)表示標(biāo)準(zhǔn)維納過(guò)程讶迁，x.iid \sim N(0, 1)连茧，下面另個(gè)數(shù)列對(duì)任意m > 0具有相同的聯(lián)合分布。
(S_1/m^{1/2}, S_2/m^{1/2},...)
(w(1/m),\ w(2/m),...)

P(w(t) \ge A(t, \xi)\ for \ some\ t \ge 0) = 1/\xi

檢驗(yàn)與置信區(qū)間
x.iid \sim N(\theta, 1)巍糯，如果c_n = [(n + m)(a^2 + log(n/m + 1)] ^{1/2}啸驯，則P_0(|S_n| \ge c_n\ for \ some\ n \ge 1) \le exp(-1/2a^2)

如果a^2 \cong 6,\ 1-exp(-1/2a^2) = 0.95，因此可以得到I_n與C_n序列祟峦，使得對(duì)\theta的覆蓋率超過(guò)0.95罚斗。

power分析
單邊檢驗(yàn)：H_0:\theta\le0,H_1:\theta > 0，則
N = first \ n\ge1\ such \ that\ S_n \ge c_n\ else\ \infty\ if \ no \ such\ n

假陰性錯(cuò)誤概率：P_\theta(not\ reject\ H_0) = P_\theta(S_n < c_n\ for\ all\ n\ge1)

此時(shí)power為1宅楞。

下邊界：當(dāng)\theta > 0時(shí)针姿，E_\theta(N) \ge -2logP_0(N < \infty)/\theta^2

如果P_0(N < \infty) = 0.05袱吆，則E_\theta(N) \ge 6/\theta^2。根據(jù)一些其它研究：

上邊界：當(dāng)\theta > 0時(shí)距淫，E_\theta(N) \le \frac{c_{E_\theta(N)}}{\theta} + \frac{\varphi (\theta)}{\theta\Phi(\theta)} + 1

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 人面猴
    序言：七十年代末绞绒，一起剝皮案震驚了整個(gè)濱河市，隨后出現(xiàn)的幾起案子榕暇，更是在濱河造成了極大的恐慌蓬衡，老刑警劉巖，帶你破解...
    沈念sama閱讀 217,907評(píng)論 6贊 506
  • 死咒
    序言：濱河連續(xù)發(fā)生了三起死亡事件彤枢，死亡現(xiàn)場(chǎng)離奇詭異狰晚，居然都是意外死亡，警方通過(guò)查閱死者的電腦和手機(jī)缴啡，發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,987評(píng)論 3贊 395
  • 救了他兩次的神仙讓他今天三更去死
    文/潘曉璐 我一進(jìn)店門(mén)家肯，熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)，“玉大人盟猖，你說(shuō)我怎么就攤上這事讨衣。” “怎么了式镐？”我有些...
    開(kāi)封第一講書(shū)人閱讀 164,298評(píng)論 0贊 354
  • 道士緝兇錄：失蹤的賣(mài)姜人
    文/不壞的土叔 我叫張陵反镇，是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我娘汞，道長(zhǎng)歹茶，這世上最難降的妖魔是什么？ 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,586評(píng)論 1贊 293
  • ?港島之戀（遺憾婚禮）
    正文 為了忘掉前任你弦，我火速辦了婚禮惊豺，結(jié)果婚禮上，老公的妹妹穿的比我還像新娘禽作。我一直安慰自己尸昧，他們只是感情好，可當(dāng)我...
    茶點(diǎn)故事閱讀 67,633評(píng)論 6贊 392
  • 惡毒庶女頂嫁案：這布局不是一般人想出來(lái)的
    文/花漫 我一把揭開(kāi)白布旷偿。 她就那樣靜靜地躺著烹俗，像睡著了一般。 火紅的嫁衣襯著肌膚如雪萍程。 梳的紋絲不亂的頭發(fā)上幢妄，一...
    開(kāi)封第一講書(shū)人閱讀 51,488評(píng)論 1贊 302
  • 城市分裂傳說(shuō)
    那天，我揣著相機(jī)與錄音茫负，去河邊找鬼蕉鸳。 笑死，一個(gè)胖子當(dāng)著我的面吹牛忍法，可吹牛的內(nèi)容都是我干的潮尝。 我是一名探鬼主播无虚，決...
    沈念sama閱讀 40,275評(píng)論 3贊 418
  • 雙鴛鴦連環(huán)套：你想象不到人心有多黑
    文/蒼蘭香墨 我猛地睜開(kāi)眼，長(zhǎng)吁一口氣：“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼衍锚！你這毒婦竟也來(lái)了友题？” 一聲冷哼從身側(cè)響起，我...
    開(kāi)封第一講書(shū)人閱讀 39,176評(píng)論 0贊 276
  • 萬(wàn)榮殺人案實(shí)錄
    序言：老撾萬(wàn)榮一對(duì)情侶失蹤戴质，失蹤者是張志新（化名）和其女友劉穎度宦，沒(méi)想到半個(gè)月后，有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體告匠，經(jīng)...
    沈念sama閱讀 45,619評(píng)論 1贊 314
  • ?護(hù)林員之死
    正文 獨(dú)居荒郊野嶺守林人離奇死亡戈抄，尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,819評(píng)論 3贊 336
  • ?白月光啟示錄
    正文 我和宋清朗相戀三年，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了后专。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片划鸽。...
    茶點(diǎn)故事閱讀 39,932評(píng)論 1贊 348
  • 活死人
    序言：一個(gè)原本活蹦亂跳的男人離奇死亡，死狀恐怖戚哎，靈堂內(nèi)的尸體忽然破棺而出裸诽，到底是詐尸還是另有隱情，我是刑警寧澤型凳，帶...
    沈念sama閱讀 35,655評(píng)論 5贊 346
  • ?日本核電站爆炸內(nèi)幕
    正文 年R本政府宣布丈冬，位于F島的核電站，受9級(jí)特大地震影響甘畅，放射性物質(zhì)發(fā)生泄漏埂蕊。R本人自食惡果不足惜，卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,265評(píng)論 3贊 329
  • 男人毒藥：我在死后第九天來(lái)索命
    文/蒙蒙 一疏唾、第九天 我趴在偏房一處隱蔽的房頂上張望蓄氧。 院中可真熱鬧，春花似錦槐脏、人聲如沸喉童。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 31,871評(píng)論 0贊 22
  • 一樁弒父案准给，背后竟有這般陰謀
    文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)泄朴。三九已至重抖，卻和暖如春，著一層夾襖步出監(jiān)牢的瞬間，已是汗流浹背诀豁。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 32,994評(píng)論 1贊 269
  • 情欲美人皮
    我被黑心中介騙來(lái)泰國(guó)打工伏穆， 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留，地道東北人恨统。 一個(gè)月前我還...
    沈念sama閱讀 48,095評(píng)論 3贊 370
  • 代替公主和親
    正文 我出身青樓叁扫，卻偏偏與公主長(zhǎng)得像三妈，于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子莫绣，可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,884評(píng)論 2贊 354