增長策略:如何用AB測試進行活動評估及優(yōu)化?

電商行業(yè)充斥著大大小小的促銷活動原在,O2O領(lǐng)域也常常上演補貼大戰(zhàn)友扰,在開疆辟土階段,砸錢讓利招攬用戶的法子自然最為好使庶柿,但當(dāng)形成一定規(guī)模之后村怪,瘋狂促銷補貼的模式是否仍然高效?個性化的運營策略是否有必要浮庐?活動的真實效果到底如何甚负?

為了解決以上問題,建立科學(xué)的活動效果評估體系审残,當(dāng)前最簡便的方法莫過于AB測試梭域。

一、如何建立評估體系搅轿?

AB測試目前廣泛應(yīng)用于產(chǎn)品灰度發(fā)布階段病涨,除此以外,AB測試還有更為廣泛的用途璧坟,比如:精準(zhǔn)營銷等增長策略既穆。

要進行某類方案的驗證,其理念非常樸素雀鹃,無非就是控制變量幻工,但商業(yè)世界尤其復(fù)雜,想要控制一切不相干變量極其困難黎茎,因此AB測試大行其道囊颅,成為了檢驗“真理”的常用標(biāo)準(zhǔn)。

基于AB測試的思想,通過隨機分組踢代,可以保證兩個組的其他變量基本一致先鱼,通過對實驗組施加影響,來觀察實驗組相對于對照組的表現(xiàn)差異奸鬓,從而評估該影響的效果焙畔。

接下來,我們就以電商行業(yè)的促銷活動為例串远,嘗試構(gòu)建促銷的評估體系宏多。

首先,通過標(biāo)簽篩選出潛在人群澡罚,并隨機抽取一部分用戶作為測試組伸但,在不做任何干預(yù)的情況下,暗中觀察用戶的轉(zhuǎn)化情況留搔。

對于實驗組的用戶更胖,我們通過定向優(yōu)惠券加短信觸達的形式進行干預(yù),然后靜靜等待用戶轉(zhuǎn)化隔显。

對于對照組而言却妨,用戶都是自然轉(zhuǎn)化,而實驗組的用戶是在干預(yù)下產(chǎn)生的轉(zhuǎn)化括眠。在實驗組中彪标,一部分用戶確實是被優(yōu)惠吸引,從而下單購買掷豺,但還有一部分用戶即使沒有優(yōu)惠券也很有可能自然轉(zhuǎn)化捞烟。

因此,我們以對照組的轉(zhuǎn)化率作為沒有優(yōu)惠券情況下的自然轉(zhuǎn)化率当船,那么题画,我們可以得到以下與用戶相關(guān)的指標(biāo):

用戶基線=干預(yù)總?cè)藬?shù)*自然轉(zhuǎn)化率

用戶提升=干預(yù)總?cè)藬?shù)*(干預(yù)轉(zhuǎn)化率-自然轉(zhuǎn)化率)

用戶提升率=用戶提升/用戶基線

同理,從經(jīng)營分析的層面德频,我們可以評估實際的銷售效果:

GMV基線=用戶基線*自然轉(zhuǎn)化客單價

GMV提升=用戶提升*干預(yù)轉(zhuǎn)化客單價+Max[用戶基線*(干預(yù)轉(zhuǎn)化客單價-自然轉(zhuǎn)化客單價),0]

成本=每單優(yōu)惠金額*下單用戶量+每條短信資費*干預(yù)總?cè)藬?shù)

GMV凈提升=GMV提升-成本

注:GMV提升一方面體現(xiàn)在拉來本不會下單的用戶所產(chǎn)生的GMV苍息,另一方面體現(xiàn)在,提升了本來就會下單的用戶的客單價抱婉,因此要計算這兩部分的GMV提升档叔。而對于優(yōu)惠券而言,尤其是滿減優(yōu)惠券蒸绩,一般會對客單價產(chǎn)生提升作用,如果客單價降低了铃肯,可能是因誤差或外部因素導(dǎo)致患亿,因此此處用了Max(),即當(dāng)客單價降低時,取值0步藕。

最終惦界,我們可以得到評估經(jīng)營效果的綜合指標(biāo):

GMV凈提升率=GMV凈提升/GMV基線

ROI=GMV凈提升/總成本

上邊的指標(biāo)這么多,那哪個才是最重要的呢咙冗?

以上指標(biāo)羅列的目的是便于理解指標(biāo)的拆解計算過程沾歪。但對于不同角色而言,最終只需要關(guān)注與其相關(guān)的結(jié)果指標(biāo)雾消。

對于運營或者營銷而言灾搏,他們的考核目標(biāo)可能聚焦于月活躍用戶數(shù),所以立润,他們會更關(guān)心用戶提升率狂窑,通過多次活動的橫向比較,可以識別活動效果的好壞桑腮,從而再逐步挖掘根因泉哈。

對于負責(zé)銷售的同事而言,需要考量的因素會相對復(fù)雜一些破讨,但他們也可以直接通過GMV凈提升率和ROI這兩個指標(biāo)來評估活動的綜合效果丛晦。

其中,GMV凈提升率反應(yīng)的是活動對于GMV的提升效果提陶,如果當(dāng)前的目標(biāo)是不惜一切代價沖GMV的話采呐,那么應(yīng)該選擇GMV凈提升率高的活動形式或力度。而如果需要權(quán)衡考量利潤的話搁骑,那么還應(yīng)該把ROI納入分析斧吐,選取GMV凈提升率較高,同時ROI也較為可觀的活動方案仲器。

二煤率、如何構(gòu)建優(yōu)化策略?

上邊有提到乏冀,運營或者銷售可以通過AB測試優(yōu)化活動方案蝶糯,那么具體應(yīng)該如何實現(xiàn)呢?

如果需要測試不同促銷形式辆沦、不同活動力度的效果昼捍,那么有必要對實驗組進一步細分。

例如:對于實驗組1可以發(fā)放滿100減20的券肢扯,實驗組2發(fā)放滿100減10的券妒茬,最后與對照組比對分析活動效果差異。滿100減20的券GMV提升可能較高蔚晨,但由于成本較大乍钻,也會導(dǎo)致GMV凈提升率和ROI并不高肛循。

同樣,對于不同促銷形式银择,如定向優(yōu)惠券多糠、定向優(yōu)惠價格等,同一折扣力度不同門檻浩考,如100減20和200減40夹孔,也可以以相似方法進行測試。

進行多次AB測試之后析孽,可以根據(jù)歷史測試數(shù)據(jù)進行初步判斷搭伤,識別符合目標(biāo)的最優(yōu)促銷方案。

三绿淋、AB測試有哪些坑闷畸?

方法論總是看上去很美好,但一到落地層面就會面臨很多意想不到的問題吞滞,下面就來扒一扒佑菩,按照上述AB測試的方法來做活動效果評估及優(yōu)化會有哪些坑。

測試組人數(shù)太少:測試組和實驗組的人數(shù)不需要完全一樣裁赠,但各組的人數(shù)要保證有統(tǒng)計學(xué)上的意義殿漠,如果實驗組10w人,測試組只有10個人佩捞,那么測試組的結(jié)果受個體的影響會很大绞幌,最終可能導(dǎo)致異常的結(jié)果。

實驗組人數(shù)太少:如果想要測試什么門檻的優(yōu)惠券效果更好一忱,那么需要拆分多個實驗組莲蜘,發(fā)放不同的優(yōu)惠券,如果分的組太多帘营,會使得每個實驗組人數(shù)偏少票渠,從而導(dǎo)致結(jié)果不準(zhǔn)確。

你的測試組是別人的實驗組:現(xiàn)實環(huán)境下芬迄,不存在絕對干凈的試驗田问顷,你以為測試組可以代表用戶在不受干擾下的自然轉(zhuǎn)化,殊不知有其他活動已經(jīng)將他們劃入了實驗組禀梳。如果是公司內(nèi)部的沖突杜窄,那么可以在數(shù)據(jù)回流后剔除掉參與其他實驗的用戶,但如果是受到外部友商的干擾算途,那么我們將無從知曉塞耕,只有通過多次實驗綜合評估,對沖單次活動可能會面臨的特殊情況郊艘。

你的實驗組是別人的實驗組:同理荷科,外部友商可能有更大力度的活動唯咬,剛好圈定了你的實驗組用戶纱注,那么結(jié)果可想而之畏浆。

干預(yù)時間滯后:從圈定用戶、申請優(yōu)惠券到最后的短信觸達狞贱,這個時間多少有些滯后刻获,如果系統(tǒng)不判斷用戶是否已經(jīng)下單,那么用戶在下單之后才收到優(yōu)惠券瞎嬉,一方面會影響體驗蝎毡,另一方面,用戶可能取消訂單后再下單氧枣,導(dǎo)致履約成本的上升沐兵。如果在發(fā)送短信前剔除已下單用戶,那么最后實際干預(yù)的都是購買傾向相對偏弱的人群便监,會導(dǎo)致結(jié)果失準(zhǔn)扎谎。因此,營銷系統(tǒng)的完善性烧董、各部門的協(xié)同執(zhí)行力都至關(guān)重要毁靶。

結(jié)語

現(xiàn)實世界紛繁復(fù)雜,想要抽絲剝繭逊移,捋出頭緒談何容易预吆。試驗總會好過停步不前,在實踐之中胳泉,我們可以學(xué)著避開一個又一個的坑拐叉。

我們都在試圖去搭建一個框架,在這個框架下反復(fù)地探究扇商,找到一絲可能的線索凤瘦,最終,這些線索會編織起一個網(wǎng)絡(luò)钳吟。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末廷粒,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子红且,更是在濱河造成了極大的恐慌坝茎,老刑警劉巖,帶你破解...
    沈念sama閱讀 216,692評論 6 501
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件暇番,死亡現(xiàn)場離奇詭異嗤放,居然都是意外死亡,警方通過查閱死者的電腦和手機壁酬,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,482評論 3 392
  • 文/潘曉璐 我一進店門次酌,熙熙樓的掌柜王于貴愁眉苦臉地迎上來恨课,“玉大人,你說我怎么就攤上這事岳服〖凉” “怎么了?”我有些...
    開封第一講書人閱讀 162,995評論 0 353
  • 文/不壞的土叔 我叫張陵吊宋,是天一觀的道長纲辽。 經(jīng)常有香客問我,道長璃搜,這世上最難降的妖魔是什么拖吼? 我笑而不...
    開封第一講書人閱讀 58,223評論 1 292
  • 正文 為了忘掉前任,我火速辦了婚禮这吻,結(jié)果婚禮上吊档,老公的妹妹穿的比我還像新娘。我一直安慰自己唾糯,他們只是感情好怠硼,可當(dāng)我...
    茶點故事閱讀 67,245評論 6 388
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著趾断,像睡著了一般拒名。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上芋酌,一...
    開封第一講書人閱讀 51,208評論 1 299
  • 那天增显,我揣著相機與錄音,去河邊找鬼脐帝。 笑死同云,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的堵腹。 我是一名探鬼主播炸站,決...
    沈念sama閱讀 40,091評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼疚顷!你這毒婦竟也來了旱易?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 38,929評論 0 274
  • 序言:老撾萬榮一對情侶失蹤腿堤,失蹤者是張志新(化名)和其女友劉穎阀坏,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體笆檀,經(jīng)...
    沈念sama閱讀 45,346評論 1 311
  • 正文 獨居荒郊野嶺守林人離奇死亡忌堂,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,570評論 2 333
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了酗洒。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片士修。...
    茶點故事閱讀 39,739評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡枷遂,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出棋嘲,到底是詐尸還是另有隱情酒唉,我是刑警寧澤,帶...
    沈念sama閱讀 35,437評論 5 344
  • 正文 年R本政府宣布封字,位于F島的核電站黔州,受9級特大地震影響耍鬓,放射性物質(zhì)發(fā)生泄漏阔籽。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,037評論 3 326
  • 文/蒙蒙 一牲蜀、第九天 我趴在偏房一處隱蔽的房頂上張望笆制。 院中可真熱鬧,春花似錦涣达、人聲如沸在辆。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,677評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽匆篓。三九已至,卻和暖如春寇窑,著一層夾襖步出監(jiān)牢的瞬間鸦概,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,833評論 1 269
  • 我被黑心中介騙來泰國打工甩骏, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留窗市,地道東北人。 一個月前我還...
    沈念sama閱讀 47,760評論 2 369
  • 正文 我出身青樓饮笛,卻偏偏與公主長得像咨察,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子福青,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,647評論 2 354

推薦閱讀更多精彩內(nèi)容