電商行業(yè)充斥著大大小小的促銷活動原在,O2O領(lǐng)域也常常上演補貼大戰(zhàn)友扰,在開疆辟土階段,砸錢讓利招攬用戶的法子自然最為好使庶柿,但當(dāng)形成一定規(guī)模之后村怪,瘋狂促銷補貼的模式是否仍然高效?個性化的運營策略是否有必要浮庐?活動的真實效果到底如何甚负?
為了解決以上問題,建立科學(xué)的活動效果評估體系审残,當(dāng)前最簡便的方法莫過于AB測試梭域。
一、如何建立評估體系搅轿?
AB測試目前廣泛應(yīng)用于產(chǎn)品灰度發(fā)布階段病涨,除此以外,AB測試還有更為廣泛的用途璧坟,比如:精準(zhǔn)營銷等增長策略既穆。
要進行某類方案的驗證,其理念非常樸素雀鹃,無非就是控制變量幻工,但商業(yè)世界尤其復(fù)雜,想要控制一切不相干變量極其困難黎茎,因此AB測試大行其道囊颅,成為了檢驗“真理”的常用標(biāo)準(zhǔn)。
基于AB測試的思想,通過隨機分組踢代,可以保證兩個組的其他變量基本一致先鱼,通過對實驗組施加影響,來觀察實驗組相對于對照組的表現(xiàn)差異奸鬓,從而評估該影響的效果焙畔。
接下來,我們就以電商行業(yè)的促銷活動為例串远,嘗試構(gòu)建促銷的評估體系宏多。
首先,通過標(biāo)簽篩選出潛在人群澡罚,并隨機抽取一部分用戶作為測試組伸但,在不做任何干預(yù)的情況下,暗中觀察用戶的轉(zhuǎn)化情況留搔。
對于實驗組的用戶更胖,我們通過定向優(yōu)惠券加短信觸達的形式進行干預(yù),然后靜靜等待用戶轉(zhuǎn)化隔显。
對于對照組而言却妨,用戶都是自然轉(zhuǎn)化,而實驗組的用戶是在干預(yù)下產(chǎn)生的轉(zhuǎn)化括眠。在實驗組中彪标,一部分用戶確實是被優(yōu)惠吸引,從而下單購買掷豺,但還有一部分用戶即使沒有優(yōu)惠券也很有可能自然轉(zhuǎn)化捞烟。
因此,我們以對照組的轉(zhuǎn)化率作為沒有優(yōu)惠券情況下的自然轉(zhuǎn)化率当船,那么题画,我們可以得到以下與用戶相關(guān)的指標(biāo):
用戶基線=干預(yù)總?cè)藬?shù)*自然轉(zhuǎn)化率
用戶提升=干預(yù)總?cè)藬?shù)*(干預(yù)轉(zhuǎn)化率-自然轉(zhuǎn)化率)
用戶提升率=用戶提升/用戶基線
同理,從經(jīng)營分析的層面德频,我們可以評估實際的銷售效果:
GMV基線=用戶基線*自然轉(zhuǎn)化客單價
GMV提升=用戶提升*干預(yù)轉(zhuǎn)化客單價+Max[用戶基線*(干預(yù)轉(zhuǎn)化客單價-自然轉(zhuǎn)化客單價),0]
成本=每單優(yōu)惠金額*下單用戶量+每條短信資費*干預(yù)總?cè)藬?shù)
GMV凈提升=GMV提升-成本
注:GMV提升一方面體現(xiàn)在拉來本不會下單的用戶所產(chǎn)生的GMV苍息,另一方面體現(xiàn)在,提升了本來就會下單的用戶的客單價抱婉,因此要計算這兩部分的GMV提升档叔。而對于優(yōu)惠券而言,尤其是滿減優(yōu)惠券蒸绩,一般會對客單價產(chǎn)生提升作用,如果客單價降低了铃肯,可能是因誤差或外部因素導(dǎo)致患亿,因此此處用了Max(),即當(dāng)客單價降低時,取值0步藕。
最終惦界,我們可以得到評估經(jīng)營效果的綜合指標(biāo):
GMV凈提升率=GMV凈提升/GMV基線
ROI=GMV凈提升/總成本
上邊的指標(biāo)這么多,那哪個才是最重要的呢咙冗?
以上指標(biāo)羅列的目的是便于理解指標(biāo)的拆解計算過程沾歪。但對于不同角色而言,最終只需要關(guān)注與其相關(guān)的結(jié)果指標(biāo)雾消。
對于運營或者營銷而言灾搏,他們的考核目標(biāo)可能聚焦于月活躍用戶數(shù),所以立润,他們會更關(guān)心用戶提升率狂窑,通過多次活動的橫向比較,可以識別活動效果的好壞桑腮,從而再逐步挖掘根因泉哈。
對于負責(zé)銷售的同事而言,需要考量的因素會相對復(fù)雜一些破讨,但他們也可以直接通過GMV凈提升率和ROI這兩個指標(biāo)來評估活動的綜合效果丛晦。
其中,GMV凈提升率反應(yīng)的是活動對于GMV的提升效果提陶,如果當(dāng)前的目標(biāo)是不惜一切代價沖GMV的話采呐,那么應(yīng)該選擇GMV凈提升率高的活動形式或力度。而如果需要權(quán)衡考量利潤的話搁骑,那么還應(yīng)該把ROI納入分析斧吐,選取GMV凈提升率較高,同時ROI也較為可觀的活動方案仲器。
二煤率、如何構(gòu)建優(yōu)化策略?
上邊有提到乏冀,運營或者銷售可以通過AB測試優(yōu)化活動方案蝶糯,那么具體應(yīng)該如何實現(xiàn)呢?
如果需要測試不同促銷形式辆沦、不同活動力度的效果昼捍,那么有必要對實驗組進一步細分。
例如:對于實驗組1可以發(fā)放滿100減20的券肢扯,實驗組2發(fā)放滿100減10的券妒茬,最后與對照組比對分析活動效果差異。滿100減20的券GMV提升可能較高蔚晨,但由于成本較大乍钻,也會導(dǎo)致GMV凈提升率和ROI并不高肛循。
同樣,對于不同促銷形式银择,如定向優(yōu)惠券多糠、定向優(yōu)惠價格等,同一折扣力度不同門檻浩考,如100減20和200減40夹孔,也可以以相似方法進行測試。
進行多次AB測試之后析孽,可以根據(jù)歷史測試數(shù)據(jù)進行初步判斷搭伤,識別符合目標(biāo)的最優(yōu)促銷方案。
三绿淋、AB測試有哪些坑闷畸?
方法論總是看上去很美好,但一到落地層面就會面臨很多意想不到的問題吞滞,下面就來扒一扒佑菩,按照上述AB測試的方法來做活動效果評估及優(yōu)化會有哪些坑。
測試組人數(shù)太少:測試組和實驗組的人數(shù)不需要完全一樣裁赠,但各組的人數(shù)要保證有統(tǒng)計學(xué)上的意義殿漠,如果實驗組10w人,測試組只有10個人佩捞,那么測試組的結(jié)果受個體的影響會很大绞幌,最終可能導(dǎo)致異常的結(jié)果。
實驗組人數(shù)太少:如果想要測試什么門檻的優(yōu)惠券效果更好一忱,那么需要拆分多個實驗組莲蜘,發(fā)放不同的優(yōu)惠券,如果分的組太多帘营,會使得每個實驗組人數(shù)偏少票渠,從而導(dǎo)致結(jié)果不準(zhǔn)確。
你的測試組是別人的實驗組:現(xiàn)實環(huán)境下芬迄,不存在絕對干凈的試驗田问顷,你以為測試組可以代表用戶在不受干擾下的自然轉(zhuǎn)化,殊不知有其他活動已經(jīng)將他們劃入了實驗組禀梳。如果是公司內(nèi)部的沖突杜窄,那么可以在數(shù)據(jù)回流后剔除掉參與其他實驗的用戶,但如果是受到外部友商的干擾算途,那么我們將無從知曉塞耕,只有通過多次實驗綜合評估,對沖單次活動可能會面臨的特殊情況郊艘。
你的實驗組是別人的實驗組:同理荷科,外部友商可能有更大力度的活動唯咬,剛好圈定了你的實驗組用戶纱注,那么結(jié)果可想而之畏浆。
干預(yù)時間滯后:從圈定用戶、申請優(yōu)惠券到最后的短信觸達狞贱,這個時間多少有些滯后刻获,如果系統(tǒng)不判斷用戶是否已經(jīng)下單,那么用戶在下單之后才收到優(yōu)惠券瞎嬉,一方面會影響體驗蝎毡,另一方面,用戶可能取消訂單后再下單氧枣,導(dǎo)致履約成本的上升沐兵。如果在發(fā)送短信前剔除已下單用戶,那么最后實際干預(yù)的都是購買傾向相對偏弱的人群便监,會導(dǎo)致結(jié)果失準(zhǔn)扎谎。因此,營銷系統(tǒng)的完善性烧董、各部門的協(xié)同執(zhí)行力都至關(guān)重要毁靶。
結(jié)語
現(xiàn)實世界紛繁復(fù)雜,想要抽絲剝繭逊移,捋出頭緒談何容易预吆。試驗總會好過停步不前,在實踐之中胳泉,我們可以學(xué)著避開一個又一個的坑拐叉。
我們都在試圖去搭建一個框架,在這個框架下反復(fù)地探究扇商,找到一絲可能的線索凤瘦,最終,這些線索會編織起一個網(wǎng)絡(luò)钳吟。