ABTest難點(diǎn)在采集數(shù)據(jù)和統(tǒng)計(jì)數(shù)據(jù)海渊。當(dāng)然首先要確認(rèn)測(cè)試的指標(biāo)。
What is A/BTesting?
ABTest是什么哲鸳？
在同一時(shí)期臣疑，同一個(gè)流程或頁(yè)面，設(shè)計(jì)幾種方案徙菠，上線隨機(jī)分發(fā)讯沈，并行運(yùn)行一段時(shí)間后收集數(shù)據(jù)，通過(guò)數(shù)據(jù)分析來(lái)驗(yàn)證方案的優(yōu)劣婿奔。
ABTest是統(tǒng)計(jì)學(xué)上的一個(gè)命題缺狠，盡可能的追求單一變量。在中學(xué)化學(xué)實(shí)驗(yàn)中也多次應(yīng)用該方法萍摊。
ABTest一般配合灰度發(fā)布儒老，也可以單獨(dú)服用。
灰度發(fā)布记餐，更偏用戶讓少量的用戶群先使用某些功能驮樊，看效果，再推向更多的用戶群體片酝，下文在怎么實(shí)施ABTest時(shí)會(huì)提到囚衔。
ABTest不是什么？
全量用戶更新的功能雕沿，前后版本的對(duì)比數(shù)據(jù)练湿，不論更新前后數(shù)據(jù)表現(xiàn)如何，都不是ABTest审轮，因?yàn)橛卸喔蓴_項(xiàng)肥哎。
同一時(shí)期同一版本流程、頁(yè)面有太多不一樣疾渣，那么ABTest也僅能做定性分析篡诽。
Why do we do it?
針對(duì)不同團(tuán)隊(duì)的資源和風(fēng)格，在產(chǎn)品的某些階段榴捡，當(dāng)團(tuán)隊(duì)無(wú)法確定哪種方案是更好的杈女，又想摒棄拍腦袋、一言堂的方式，那么用ABTest使數(shù)據(jù)來(lái)反饋是更優(yōu)更科學(xué)的做法达椰。
正確使用ABTest實(shí)驗(yàn)得出的結(jié)果翰蠢，擇其優(yōu)避其害，推廣到全集啰劲，更有利于我們做出正確的決策梁沧。
When to do it?
在產(chǎn)品初期，筆者以為蝇裤，資源有限的情況下廷支，可以使用線下（人肉）ABTest的方式進(jìn)行。
幾個(gè)方案的UI設(shè)計(jì)稿猖辫，在種子用戶群（抽幾波人）中進(jìn)行訪談酥泞。
根據(jù)最終反饋的結(jié)果進(jìn)行再次優(yōu)化和抉擇砚殿。
在產(chǎn)品成長(zhǎng)期啃憎，有一定的用戶量和相對(duì)固定的流程后，再次優(yōu)化似炎，可以采用線上的方式辛萍，對(duì)不同方案進(jìn)行分發(fā)，然后采集數(shù)據(jù)羡藐。
Who do it?
其實(shí)產(chǎn)研營(yíng)都可以去做贩毕，研發(fā)的ABTest今天不講。說(shuō)下產(chǎn)品和運(yùn)營(yíng)的ABTest仆嗦。
產(chǎn)品和UI：色調(diào)風(fēng)格辉阶，信息布局，頁(yè)面信息優(yōu)先級(jí)瘩扼，流程跳轉(zhuǎn)等方面谆甜。
運(yùn)營(yíng)：文案、時(shí)間點(diǎn)集绰、觸達(dá)方式规辱、流量來(lái)源、分發(fā)渠道栽燕、廣告等運(yùn)營(yíng)干預(yù)策略的對(duì)比罕袋。
How to do it?
指標(biāo)確定
每次ABTest都有個(gè)核心目標(biāo)，不論是注冊(cè)量碍岔、轉(zhuǎn)化率浴讯、成交量、點(diǎn)擊量蔼啦、點(diǎn)擊率兰珍、停留時(shí)間、渠道效果、UI布局掠河、用戶體驗(yàn)亮元、產(chǎn)品功能、算法效果等皆可唠摹。
方案設(shè)定
設(shè)計(jì)ABTest爆捞，不僅僅是不同方案進(jìn)行驗(yàn)證，而是一個(gè)整體的解決方案勾拉。各行業(yè)各產(chǎn)品大家會(huì)有各自不同的方案煮甥，這里講下應(yīng)注意到的點(diǎn)：
參與測(cè)試的方案相差不要太大，不然即便有好的結(jié)果藕赞，也很難有所總結(jié)成肘，形成知其然不知其所以然的局面
同一時(shí)間段，多個(gè)方案并行
亦可單一測(cè)試方案斧蜕，與現(xiàn)有方案比較双霍，但現(xiàn)有方案的檢測(cè)樣本要降權(quán)歸并到測(cè)試方案，再進(jìn)行比較
切入流量的方案
回滾容災(zāi)方案
數(shù)據(jù)統(tǒng)計(jì)方案
線上全量切換方案
采集數(shù)據(jù)方案-待完善
如何采集數(shù)據(jù)批销，取決于測(cè)試的指標(biāo)所映射的元類型和依賴的載體洒闸。
元類型有：元素型，頁(yè)面型均芽，流程型丘逸。
載體：H5、web掀宋、小程序深纲、App、瀏覽器插件等劲妙。
切入流量
采用灰度發(fā)布的方式湃鹊。
參與測(cè)試的用戶群體要隨機(jī)，不要選擇特定人群是趴，要皆可代表全量用戶
參與測(cè)試的用戶要保證一定的活躍度涛舍，不然周期會(huì)拉長(zhǎng)，結(jié)果很難收斂
測(cè)試期間唆途，同一用戶僅使用同一方案富雅，切忌中途切換方案（即用戶自選或者系統(tǒng)輪換）
測(cè)試時(shí)長(zhǎng)，至少度過(guò)一到兩個(gè)產(chǎn)品使用周期肛搬，不要結(jié)果收斂没佑，立即停止
RUN
回滾容災(zāi)方案，通過(guò)API或在后臺(tái)進(jìn)行控制温赔，可讓參與測(cè)試的方案回滾到線上正式版本蛤奢。尤其是App，需要應(yīng)用市場(chǎng)審核，需要一定的時(shí)間啤贩。
方案執(zhí)行時(shí)機(jī)：
- 出現(xiàn)BUG或不兼容
- 用戶反饋極差
數(shù)據(jù)統(tǒng)計(jì)
數(shù)據(jù)統(tǒng)計(jì)待秃，將多個(gè)渠道的數(shù)據(jù)，盡可能的保持同一緯度的進(jìn)行運(yùn)算對(duì)比痹屹。
根據(jù)對(duì)比結(jié)果章郁，選出勝出方案。
統(tǒng)計(jì)的誤區(qū)：
當(dāng)數(shù)據(jù)表現(xiàn)不好時(shí)：從多維度進(jìn)行分析志衍，提防辛普森悖論導(dǎo)致結(jié)論與實(shí)際南轅北轍暖庄，從而錯(cuò)過(guò)更好的方案。
當(dāng)數(shù)據(jù)表現(xiàn)好時(shí)：也有可能是頁(yè)面過(guò)于新奇楼肪、交互比較炫酷等其他正向的原因?qū)е掠脩敉Ａ魰r(shí)間培廓，點(diǎn)擊率等，需要再拉長(zhǎng)測(cè)試時(shí)間春叫，當(dāng)用戶習(xí)慣該方案后肩钠，再次查看數(shù)據(jù)。
測(cè)試合并
將參與測(cè)試的幾種方案的產(chǎn)品，調(diào)節(jié)為勝出的方案刚照，再看數(shù)據(jù)反饋。
正式發(fā)布
App:發(fā)布新的版本，將初始方案設(shè)定為測(cè)試中的勝出方案酪穿，若用戶整體反饋或數(shù)據(jù)出現(xiàn)大面積下滑，則回滾衰琐。
web：全量切入宏娄。
