2018-12-14 一文搞懂AB Testing的分層分流(轉(zhuǎn))

在網(wǎng)絡(luò)分析中,A / B測(cè)試(桶測(cè)試或分流測(cè)試)是一個(gè)隨機(jī)實(shí)驗(yàn)床玻,通常有兩個(gè)辯題,A和B沉帮。如果你還對(duì)這個(gè)測(cè)試不是很明白锈死,那就來(lái)文中看看~

一贫堰、定義

在網(wǎng)絡(luò)分析中,A / B測(cè)試(桶測(cè)試或分流測(cè)試)是一個(gè)隨機(jī)實(shí)驗(yàn)待牵,通常有兩個(gè)變體其屏,A和B。利用控制變量法保持有單一變量的前提下缨该,將A偎行、B數(shù)據(jù)進(jìn)行對(duì)比,得出實(shí)驗(yàn)結(jié)論贰拿。

二蛤袒、簡(jiǎn)述

通常網(wǎng)站會(huì)利用分層和分流的機(jī)制保證本站的流量高可用,原因有以下幾點(diǎn):

(1)網(wǎng)站的流量是有限的

(2)實(shí)驗(yàn)的對(duì)象是多層的或同一層內(nèi)互不干擾的

多層:例如網(wǎng)站不僅僅有UI層(界面)膨更,通常還有算法層等妙真。

同一層內(nèi)互不干擾:例如網(wǎng)站的推薦位有多個(gè)(首頁(yè)推薦位、商詳頁(yè)推薦位)询一。

(3)AB tests的需求是大量的

AB 是一種科學(xué)的利用數(shù)據(jù)證明方案可行性的手段隐孽,一般在網(wǎng)站中廣泛使用。如果流量不進(jìn)行分層健蕊、分流可能會(huì)導(dǎo)致流量饑餓菱阵,即實(shí)驗(yàn)一在進(jìn)行中占用了全站的80%的流量,實(shí)驗(yàn)二就只能使用20%的流量缩功。

因此良好的分層晴及、分流規(guī)則可以充分使用網(wǎng)站的流量。

三嫡锌、分層規(guī)則

1. 正交虑稼、互斥

在介紹分層規(guī)則之前,先介紹一下正交和互斥的概念势木。

(1)正交

如何理解正交?

例如:我們有100個(gè)兵乓球蛛倦,隨機(jī)拿出來(lái)50個(gè)染成藍(lán)色,50個(gè)染成白色啦桌,則我們有藍(lán)色溯壶、白色兵乓球各50個(gè),現(xiàn)在我們把這100個(gè)兵乓球重新放在袋子中搖勻甫男,隨機(jī)拿出50個(gè)兵乓球且改,那么這50個(gè)兵乓球顏色藍(lán)色和白色各25。

當(dāng)然舉這個(gè)例子并不是非常的恰當(dāng)板驳,因?yàn)闃颖咎倭擞瞩耍颂幣e例只為說(shuō)明正交的意義。

正交實(shí)驗(yàn):每個(gè)獨(dú)立實(shí)驗(yàn)為一層若治,層與層之間流量是正交的慨蓝,一份流量穿越每層實(shí)驗(yàn)時(shí)感混,都會(huì)再次隨機(jī)打散,且隨機(jī)效果離散菌仁。

(2)互斥

如何理解互斥浩习?

例如:我們有100個(gè)兵乓球,每25個(gè)為一組济丘,分別染成藍(lán)谱秽、白、橘摹迷、綠疟赊。若X實(shí)驗(yàn)?zāi)玫氖撬{(lán)色、白色則Y實(shí)驗(yàn)只能拿橘色和綠色峡碉,我們說(shuō)X實(shí)驗(yàn)的和Y實(shí)驗(yàn)是互斥的近哟。

互斥實(shí)驗(yàn):實(shí)驗(yàn)在同一層拆分流量,且不論如何拆分鲫寄,不同組的流量是不重疊的吉执。

2. 分層、分流規(guī)則

基于Goolge論文:《Overlapping Experiment Infrastructure:More, Better, Faster Experimentation》

流量從上往下流過(guò)分流模型:

(1)規(guī)則詳述:

域1和域2拆分流量地来,此時(shí)域1和域2是互斥的戳玫。

流量流過(guò)域2中的B1層、B2層未斑、B3層時(shí)咕宿,B1層、B2層蜡秽、B3層的流量都是與域2的流量相等府阀。此時(shí)B1層、B2層芽突、B3層的流量是正交的试浙。

擴(kuò)展:流量流過(guò)域2中的B1層時(shí),又把B1層分為了B1-1寞蚌,B1-2川队,B1-3,此時(shí)B1-1睬澡,B1-2,B1-3之間又是互斥的眠蚂。

根據(jù)以上規(guī)則我們可以不斷的在此模型中增加域煞聪、層,并且可以互相嵌套逝慧。這要與實(shí)際的業(yè)務(wù)相匹配昔脯,拆分過(guò)多的結(jié)構(gòu)可能會(huì)把簡(jiǎn)單的業(yè)務(wù)復(fù)雜化啄糙,拆分過(guò)少的結(jié)構(gòu)又可能不滿足實(shí)際業(yè)務(wù)。

(2)使用場(chǎng)景

例1:B1層云稚、B2層隧饼、B3層可能分別為:UI層、搜索結(jié)果層静陈、廣告結(jié)果層燕雁,這幾層基本上是沒(méi)有任何的業(yè)務(wù)關(guān)聯(lián)度的,即使共用相同的流量(流量正交)也不會(huì)對(duì)實(shí)際的業(yè)務(wù)造成結(jié)果鲸拥。

但是如果不同層之間所進(jìn)行的試驗(yàn)互相關(guān)聯(lián)拐格,如B1層是修改的一個(gè)頁(yè)面的按鈕文字顏色,B2層是修改的按鈕的顏色刑赶,當(dāng)按鈕文字顏色和按鈕顏色一樣時(shí)捏浊,該按鈕已經(jīng)是不可用的了。因此建議同一類型的實(shí)驗(yàn)在同一層內(nèi)進(jìn)行撞叨,并且需要考慮到不同實(shí)驗(yàn)互相的依賴金踪。

例2:域1的此種分流的意義在于,當(dāng)我們做一個(gè)實(shí)驗(yàn)牵敷,并且希望其他任何實(shí)驗(yàn)都不能對(duì)我實(shí)驗(yàn)進(jìn)行干擾胡岔,保證最后實(shí)驗(yàn)的可信度。

有興趣的朋友可以去看一下Goolge的原文劣领。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末姐军,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子尖淘,更是在濱河造成了極大的恐慌奕锌,老刑警劉巖,帶你破解...
    沈念sama閱讀 216,651評(píng)論 6 501
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件村生,死亡現(xiàn)場(chǎng)離奇詭異惊暴,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)趁桃,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,468評(píng)論 3 392
  • 文/潘曉璐 我一進(jìn)店門辽话,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人卫病,你說(shuō)我怎么就攤上這事油啤。” “怎么了蟀苛?”我有些...
    開(kāi)封第一講書人閱讀 162,931評(píng)論 0 353
  • 文/不壞的土叔 我叫張陵益咬,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我帜平,道長(zhǎng)幽告,這世上最難降的妖魔是什么梅鹦? 我笑而不...
    開(kāi)封第一講書人閱讀 58,218評(píng)論 1 292
  • 正文 為了忘掉前任,我火速辦了婚禮冗锁,結(jié)果婚禮上齐唆,老公的妹妹穿的比我還像新娘。我一直安慰自己冻河,他們只是感情好箍邮,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,234評(píng)論 6 388
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著芋绸,像睡著了一般媒殉。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上摔敛,一...
    開(kāi)封第一講書人閱讀 51,198評(píng)論 1 299
  • 那天廷蓉,我揣著相機(jī)與錄音,去河邊找鬼马昙。 笑死桃犬,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的行楞。 我是一名探鬼主播攒暇,決...
    沈念sama閱讀 40,084評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼子房!你這毒婦竟也來(lái)了形用?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書人閱讀 38,926評(píng)論 0 274
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤证杭,失蹤者是張志新(化名)和其女友劉穎扣孟,沒(méi)想到半個(gè)月后枣抱,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體久锥,經(jīng)...
    沈念sama閱讀 45,341評(píng)論 1 311
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡侠鳄,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,563評(píng)論 2 333
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了送讲。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片奸笤。...
    茶點(diǎn)故事閱讀 39,731評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖哼鬓,靈堂內(nèi)的尸體忽然破棺而出监右,到底是詐尸還是另有隱情,我是刑警寧澤异希,帶...
    沈念sama閱讀 35,430評(píng)論 5 343
  • 正文 年R本政府宣布秸侣,位于F島的核電站,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏味榛。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,036評(píng)論 3 326
  • 文/蒙蒙 一予跌、第九天 我趴在偏房一處隱蔽的房頂上張望搏色。 院中可真熱鬧,春花似錦券册、人聲如沸频轿。這莊子的主人今日做“春日...
    開(kāi)封第一講書人閱讀 31,676評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)航邢。三九已至,卻和暖如春骄蝇,著一層夾襖步出監(jiān)牢的瞬間膳殷,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書人閱讀 32,829評(píng)論 1 269
  • 我被黑心中介騙來(lái)泰國(guó)打工九火, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留赚窃,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 47,743評(píng)論 2 368
  • 正文 我出身青樓岔激,卻偏偏與公主長(zhǎng)得像勒极,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子虑鼎,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,629評(píng)論 2 354

推薦閱讀更多精彩內(nèi)容