AB測(cè)試方式及數(shù)據(jù)驗(yàn)證
前言
參加產(chǎn)品工作已經(jīng)一年有余鼓寺，負(fù)責(zé)一個(gè)成熟公司不成熟部門的網(wǎng)站產(chǎn)品移必，每天基本上都是疲于奔命，工作內(nèi)容基本上是：A領(lǐng)導(dǎo)提的新需求廊谓，B領(lǐng)導(dǎo)提的新需求闺骚，C競(jìng)品改版了借鑒優(yōu)化下彩扔，D競(jìng)品優(yōu)化了借鑒優(yōu)化下......終于在今年，同一領(lǐng)域的一個(gè)新玩家裹挾著巨量的資本入場(chǎng)葛碧，幾乎買斷了一切的流量入口，于是網(wǎng)站的流量和轉(zhuǎn)化每日俱下过吻。面對(duì)一個(gè)10年以上的行業(yè)进泼，和一款10年以上的網(wǎng)站產(chǎn)品，形態(tài)已經(jīng)定型多年纤虽，行業(yè)內(nèi)就是你抄我我抄你乳绕。而現(xiàn)在新玩家?guī)?lái)的變化，徹底改變了游戲規(guī)則逼纸，現(xiàn)行的產(chǎn)品下一步如何走洋措，我能提出一個(gè)方向就是：AB測(cè)試。
確定產(chǎn)品可操控下的指標(biāo)
參照國(guó)外精益創(chuàng)業(yè)的思路杰刽，產(chǎn)品必須有一個(gè)可測(cè)量的目標(biāo)菠发，也稱為“北極星指標(biāo)”。
《精益數(shù)據(jù)分析》中關(guān)于優(yōu)質(zhì)數(shù)據(jù)指標(biāo)的標(biāo)準(zhǔn)：
有比較性
簡(jiǎn)單易懂
最好是一個(gè)比率
有了目標(biāo)贺嫂，下一步就是在公司體系能推動(dòng)AB測(cè)試體系的建立滓鸠。如果有錢的話，這一步可以直接通過(guò)購(gòu)買第三方的AB測(cè)試服務(wù)第喳。
AB測(cè)試流程
1糜俗、確定實(shí)驗(yàn)樣本
AB測(cè)試，是測(cè)試某個(gè)需求實(shí)現(xiàn)的表現(xiàn)曲饱，由于需求針對(duì)的用戶悠抹，或者目標(biāo)各有不同，測(cè)試的樣本有時(shí)候也需要有針對(duì)性扩淀。另外楔敌，產(chǎn)品的形態(tài)也會(huì)影響AB測(cè)試的樣本選取，例如網(wǎng)站可能就是針對(duì)UV用戶進(jìn)行測(cè)試驻谆，而一個(gè)APP可以選取登錄用戶梁丘，也可以選取打開APP的日活用戶侵浸。
確定了實(shí)驗(yàn)樣本的范圍，還要確定如何選取實(shí)驗(yàn)樣本氛谜。
最普遍的掏觉，就是隨機(jī)選取用戶，通過(guò)隨機(jī)性消除用戶差異值漫，地域差異澳腹，場(chǎng)景差異等一系類可能導(dǎo)致實(shí)驗(yàn)數(shù)據(jù)出現(xiàn)偏差的差異。
網(wǎng)站產(chǎn)品杨何，可以通過(guò)在用戶cookie中生成隨機(jī)的編號(hào)酱塔，再通過(guò)數(shù)學(xué)特性，從編號(hào)中無(wú)差異選取實(shí)驗(yàn)用戶危虱。例如：將編號(hào)尾號(hào)為1的定義為實(shí)驗(yàn)組羊娃，尾號(hào)為2的定義為對(duì)照組。
確定實(shí)驗(yàn)樣本是AB測(cè)試的基礎(chǔ)埃跷，確定一套可行方案后蕊玷，便可以在此基礎(chǔ)上開站實(shí)驗(yàn)。
2弥雹、選定實(shí)驗(yàn)指標(biāo)
無(wú)論是優(yōu)化改版垃帅，還是一個(gè)新需求同時(shí)上線不同版本就行測(cè)試，每一此實(shí)驗(yàn)都需要在開始之前制定一個(gè)最核心的衡量標(biāo)準(zhǔn)剪勿。這個(gè)標(biāo)準(zhǔn)直接決定AB測(cè)試中成功的版本是哪一個(gè)贸诚，也就是決定最終上線的功能形態(tài)是哪一個(gè)。同時(shí)需要注意的是厕吉，該指標(biāo)必須是實(shí)驗(yàn)中的唯一變量酱固，盡可能排除其他的干擾因素。
電商網(wǎng)站可以是商品的下單率头朱，加入購(gòu)物車率媒怯；社交產(chǎn)品可以是用戶消息回復(fù)率；郵箱等工具可以是日活等髓窜。
3扇苞、確定實(shí)驗(yàn)周期
產(chǎn)品在使用上有時(shí)候呈現(xiàn)時(shí)間周期，例如：工具類應(yīng)用在工作日活躍度要高于周末寄纵，電商產(chǎn)品在活動(dòng)促銷日成交率更高鳖敷，而微信這樣的社交產(chǎn)品每日沒(méi)什么差別。AB測(cè)試的實(shí)驗(yàn)周期需要盡可能減少產(chǎn)品時(shí)間周期的影響程拭，因此工具類的實(shí)驗(yàn)周期應(yīng)該是一個(gè)自然周定踱，電商產(chǎn)品在AB測(cè)試的時(shí)候需要避開活動(dòng)日。
4恃鞋、確定樣本數(shù)據(jù)
AB版開發(fā)完了崖媚，如何將其分發(fā)到用戶手中亦歉，就是這一步需要考慮的。第一步中對(duì)用戶進(jìn)行了分組畅哑，樣本的分發(fā)可以直接按組分發(fā)肴楷。也可以通過(guò)更加復(fù)雜的方式進(jìn)行分發(fā)，例如按照用戶活躍度分組后分發(fā)等荠呐。
AB測(cè)試相關(guān)的內(nèi)容
1赛蔫、吆喝AB測(cè)試云對(duì)于AB測(cè)試的定義：http://www.appadhoc.com/
2、GIO關(guān)于AB測(cè)試的介紹：http://blog.growingio.com/
