在網(wǎng)絡(luò)分析中,A / B測(cè)試(桶測(cè)試或分流測(cè)試)是一個(gè)隨機(jī)實(shí)驗(yàn)床玻,通常有兩個(gè)辯題,A和B沉帮。如果你還對(duì)這個(gè)測(cè)試不是很明白锈死,那就來(lái)文中看看~
一贫堰、定義
在網(wǎng)絡(luò)分析中,A / B測(cè)試(桶測(cè)試或分流測(cè)試)是一個(gè)隨機(jī)實(shí)驗(yàn)待牵,通常有兩個(gè)變體其屏,A和B。利用控制變量法保持有單一變量的前提下缨该,將A偎行、B數(shù)據(jù)進(jìn)行對(duì)比,得出實(shí)驗(yàn)結(jié)論贰拿。
二蛤袒、簡(jiǎn)述
通常網(wǎng)站會(huì)利用分層和分流的機(jī)制保證本站的流量高可用,原因有以下幾點(diǎn):
(1)網(wǎng)站的流量是有限的
(2)實(shí)驗(yàn)的對(duì)象是多層的或同一層內(nèi)互不干擾的
多層:例如網(wǎng)站不僅僅有UI層(界面)膨更,通常還有算法層等妙真。
同一層內(nèi)互不干擾:例如網(wǎng)站的推薦位有多個(gè)(首頁(yè)推薦位、商詳頁(yè)推薦位)询一。
(3)AB tests的需求是大量的
AB 是一種科學(xué)的利用數(shù)據(jù)證明方案可行性的手段隐孽,一般在網(wǎng)站中廣泛使用。如果流量不進(jìn)行分層健蕊、分流可能會(huì)導(dǎo)致流量饑餓菱阵,即實(shí)驗(yàn)一在進(jìn)行中占用了全站的80%的流量,實(shí)驗(yàn)二就只能使用20%的流量缩功。
因此良好的分層晴及、分流規(guī)則可以充分使用網(wǎng)站的流量。
三嫡锌、分層規(guī)則
1. 正交虑稼、互斥
在介紹分層規(guī)則之前,先介紹一下正交和互斥的概念势木。
(1)正交
如何理解正交?
例如:我們有100個(gè)兵乓球蛛倦,隨機(jī)拿出來(lái)50個(gè)染成藍(lán)色,50個(gè)染成白色啦桌,則我們有藍(lán)色溯壶、白色兵乓球各50個(gè),現(xiàn)在我們把這100個(gè)兵乓球重新放在袋子中搖勻甫男,隨機(jī)拿出50個(gè)兵乓球且改,那么這50個(gè)兵乓球顏色藍(lán)色和白色各25。
當(dāng)然舉這個(gè)例子并不是非常的恰當(dāng)板驳,因?yàn)闃颖咎倭擞瞩耍颂幣e例只為說(shuō)明正交的意義。
正交實(shí)驗(yàn):每個(gè)獨(dú)立實(shí)驗(yàn)為一層若治,層與層之間流量是正交的慨蓝,一份流量穿越每層實(shí)驗(yàn)時(shí)感混,都會(huì)再次隨機(jī)打散,且隨機(jī)效果離散菌仁。
(2)互斥
如何理解互斥浩习?
例如:我們有100個(gè)兵乓球,每25個(gè)為一組济丘,分別染成藍(lán)谱秽、白、橘摹迷、綠疟赊。若X實(shí)驗(yàn)?zāi)玫氖撬{(lán)色、白色則Y實(shí)驗(yàn)只能拿橘色和綠色峡碉,我們說(shuō)X實(shí)驗(yàn)的和Y實(shí)驗(yàn)是互斥的近哟。
互斥實(shí)驗(yàn):實(shí)驗(yàn)在同一層拆分流量,且不論如何拆分鲫寄,不同組的流量是不重疊的吉执。
2. 分層、分流規(guī)則
基于Goolge論文:《Overlapping Experiment Infrastructure:More, Better, Faster Experimentation》
流量從上往下流過(guò)分流模型:
(1)規(guī)則詳述:
域1和域2拆分流量地来,此時(shí)域1和域2是互斥的戳玫。
流量流過(guò)域2中的B1層、B2層未斑、B3層時(shí)咕宿,B1層、B2層蜡秽、B3層的流量都是與域2的流量相等府阀。此時(shí)B1層、B2層芽突、B3層的流量是正交的试浙。
擴(kuò)展:流量流過(guò)域2中的B1層時(shí),又把B1層分為了B1-1寞蚌,B1-2川队,B1-3,此時(shí)B1-1睬澡,B1-2,B1-3之間又是互斥的眠蚂。
根據(jù)以上規(guī)則我們可以不斷的在此模型中增加域煞聪、層,并且可以互相嵌套逝慧。這要與實(shí)際的業(yè)務(wù)相匹配昔脯,拆分過(guò)多的結(jié)構(gòu)可能會(huì)把簡(jiǎn)單的業(yè)務(wù)復(fù)雜化啄糙,拆分過(guò)少的結(jié)構(gòu)又可能不滿足實(shí)際業(yè)務(wù)。
(2)使用場(chǎng)景
例1:B1層云稚、B2層隧饼、B3層可能分別為:UI層、搜索結(jié)果層静陈、廣告結(jié)果層燕雁,這幾層基本上是沒(méi)有任何的業(yè)務(wù)關(guān)聯(lián)度的,即使共用相同的流量(流量正交)也不會(huì)對(duì)實(shí)際的業(yè)務(wù)造成結(jié)果鲸拥。
但是如果不同層之間所進(jìn)行的試驗(yàn)互相關(guān)聯(lián)拐格,如B1層是修改的一個(gè)頁(yè)面的按鈕文字顏色,B2層是修改的按鈕的顏色刑赶,當(dāng)按鈕文字顏色和按鈕顏色一樣時(shí)捏浊,該按鈕已經(jīng)是不可用的了。因此建議同一類型的實(shí)驗(yàn)在同一層內(nèi)進(jìn)行撞叨,并且需要考慮到不同實(shí)驗(yàn)互相的依賴金踪。
例2:域1的此種分流的意義在于,當(dāng)我們做一個(gè)實(shí)驗(yàn)牵敷,并且希望其他任何實(shí)驗(yàn)都不能對(duì)我實(shí)驗(yàn)進(jìn)行干擾胡岔,保證最后實(shí)驗(yàn)的可信度。
有興趣的朋友可以去看一下Goolge的原文劣领。