概述:
目的:為了明確某個(gè)變量是否會(huì)對(duì)某個(gè)現(xiàn)象/最后結(jié)果起作用
基于假設(shè):個(gè)體的潛在結(jié)果不受處理的影響(即無(wú)干擾);處理對(duì)個(gè)體的效果相同
A/Btest流程:建立假設(shè)——>定義衡量標(biāo)準(zhǔn)——>驗(yàn)證假設(shè)——>獲取經(jīng)驗(yàn)——>迭代
輸入——用戶屬性、交互數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)(比如分配埠胖、買單等)
輸出——目標(biāo)值的變化量(①通過(guò)平均值來(lái)計(jì)算、②通過(guò)拉平數(shù)據(jù)總量來(lái)計(jì)算)、顯著性、用戶的操作路徑豫柬、轉(zhuǎn)化漏斗
注意事項(xiàng)
①流量分割科學(xué):確保公平告希,具有可比性,通常采用的方法有完全隨機(jī)(比如針對(duì)某個(gè)memberID進(jìn)行取模)或者分層隨機(jī)(通過(guò)協(xié)變量對(duì)總量先進(jìn)行分層烧给,然后再進(jìn)行隨機(jī)測(cè)試)
②結(jié)果科學(xué):合理的置信度燕偶,如果不影響測(cè)試個(gè)體總數(shù),可以通過(guò)平均值來(lái)衡量础嫡,如果會(huì)影響測(cè)試個(gè)體總數(shù)指么,則最好通過(guò)拉平數(shù)據(jù)總量來(lái)計(jì)算(即測(cè)試組和對(duì)照組分別擴(kuò)量至全體對(duì)應(yīng)的總值)
③開(kāi)始使用系統(tǒng)之前可以先進(jìn)行A/A測(cè)試
④要充分考慮到時(shí)間的影響:新進(jìn)入測(cè)試的流量的平均點(diǎn)擊會(huì)比原有測(cè)試對(duì)象的平均點(diǎn)擊低
⑤及時(shí)進(jìn)行擴(kuò)量,BTW榴鼎,用A/Btest平臺(tái)把方案固化下來(lái)是不合適的