如何避開破壞A/B測試的4大誤區(qū)

給要做的A/B測試定個小目標什燕,比如先跳過這4個坑闹丐。

推薦理由:為什么別人能做有效的A/B測試烘嘱,而你不能鹦付?本文揭開破壞A/B測試的4大誤區(qū)

關(guān)鍵詞:A/B測試 轉(zhuǎn)化率優(yōu)化

正文

你聽到每個人都大贊A/B測試尚粘,它是如何幫助一款產(chǎn)品降低跳出率,增加轉(zhuǎn)化及轉(zhuǎn)化價值敲长,并帶來更多的銷售郎嫁。

但是,你做的A/B測試卻并沒有達到人們說的那么神奇的效果祈噪。

事實上泽铛,不是每個獨立訪客都會注意到新的購買按鈕,你的注冊表單仍然會產(chǎn)生零轉(zhuǎn)化辑鲤。而且盔腔,從產(chǎn)品頁跳轉(zhuǎn)過來的用戶看起來好像沒什么變化。

困境在于月褥,即使轉(zhuǎn)化上來了弛随,你也知道這是因為時間的累積而不是測試!

盡管你認為A/B測有效吓坚,并且有足夠的證據(jù)來證明它的價值撵幽。但問題在于,在設(shè)置測試時你就Z在不經(jīng)意間破壞了你的A/B測試礁击。在這篇文章中盐杂,我會告訴你殺A/B測試于無形中的四大誤區(qū)。

1.運行“快速”測試哆窿,難以發(fā)現(xiàn)真實問題

你知道链烈,我敢肯定大多數(shù)轉(zhuǎn)化率專家聽到“快速”這個詞都會感到畏懼,但是我猜這也是從客戶那里聽到的最多的一個詞挚躯。

關(guān)鍵是:A/B測試不是快速解決問題的靈丹妙藥强衡。

如果你想找出那些對轉(zhuǎn)化率有積極影響的頁面元素,首先需要研究和理解你的受眾码荔,他們對你的商業(yè)模式會做何反應(yīng)漩勤,識別造成低轉(zhuǎn)化的潛在問題,最終缩搅,提出如何解決它的想法越败。然后,啟動A/B測試來驗證它們硼瓣。這是增加你獲勝砝碼的唯一真實解決方案究飞。

從另一方面講,“快速”分割測試著眼于方案而非問題。測試不同的按鈕顏色絕不是一個有意義的測試亿傅。相反媒峡,運行基于數(shù)據(jù)的測試來分析“添加到購物車”按鈕的性能才是有意義的。

2.要相信人為的合理決定限制了你的測試選項

事實上:作為市場人員葵擎,我們經(jīng)常對客戶的喜好谅阿、信仰以及行為驅(qū)動因素做出假設(shè)∑阂希基于數(shù)據(jù)奔穿,我們試圖去猜測什么原因會說服一個人做出購買決定镜沽,注冊一個郵件列表敏晤,或引起其它任何轉(zhuǎn)化。

然而缅茉,問題在于嘴脾,我們?nèi)狈侠硪罁?jù)。

例如蔬墩,我們根據(jù)情緒而非邏輯做決定译打。南加州大學(xué)神經(jīng)科學(xué)教授 Antonio Damasio 對大腦產(chǎn)生情感的區(qū)域受損的人群做了一個實驗,發(fā)現(xiàn)他們不僅無法感覺到任何情緒拇颅,而且他們也無法做出決定奏司。

他的課題可以解釋這些人群在邏輯上的行為,但實驗證明做決定對他們來說是很困難的一件事樟插。

我們經(jīng)吃涎螅回避做決定。

例如黄锤,我們經(jīng)常會選擇默認選項搪缨,因為這意味著根本不用做決定。

Dan Ariely 在他精彩的 TED 演講中解釋了這種行為:Are we in control of our own decision ? ( TED , December 2009)(觀看可能需要翻墻)

人們總是很容易接受建議

第一位研究人類行為的心理學(xué)家 Walter Dill Scott 寫道:“人類被稱為理性動物鸵熟,但毋庸置疑副编,人類也是建議性生物。人是理性的流强,但很大程度上都會受別人建議的影響痹届。”

想一想:什么時候你會被朋友或認為有權(quán)威性的人那里得到的建議所左右打月?什么時候你買東西是因為你很信賴的人也買了它队腐?或者去一個度假勝地只是因為你的朋友去過那里?

我們來看看希拉里競選做的A/B測試中含有的暗示性信息:

1.注意這頁里的信息“Thank you”(背景左上角部位彈出)僵控,在捐助者捐助前展示香到,推動募捐。


2.“She's with……”信息(在背景中同樣的地點,左上角彈出)

擁有的信息越多悠就,我們所做的決策越差

奧斯丁大學(xué)的研究證明千绪,我們對可用選項的信息越多,越會做出比較差的選擇梗脾,尤其是從長期結(jié)果來看荸型。好吧,但是這根A/B測試有什么關(guān)系呢炸茧?關(guān)系很大瑞妇。

你可以看到:假設(shè)你的客戶基于邏輯和理性做決定,那么你為潛在假設(shè)所做的試驗就越少梭冠。

總關(guān)注于決策背后的邏輯論證辕狰,意味著你很少測試“不常見的”場景。然而控漠,“不常見的”場景可能會比你在注冊按鈕上做的其它測試帶來更加意想不到的結(jié)果蔓倍。

3.忽略科學(xué)流程導(dǎo)致測試質(zhì)量不佳

看:如果一遍又一遍的測試都沒能提供任何有意義的結(jié)果,那很可能是因為你沒有正確的設(shè)計試驗盐捷∨汲幔或許你只是簡單的復(fù)制別人的測試〉锒桑或許聚谁,你應(yīng)該從頭開始設(shè)計你的測試的最佳實踐。

科學(xué)的方式是旨在幫助制定滞诺,測試和修改可行假設(shè)的一套程序形导。


該流程從觀察階段開始,識別問題并制定可測試的假設(shè)铭段。再與研究發(fā)現(xiàn)的結(jié)果進行分析骤宣,得出的結(jié)論反過來又成為新的研究和假設(shè)的基礎(chǔ)。在另一篇文章(公眾號里發(fā)送關(guān)鍵字“另一篇文章”序愚,查看鏈接)里我解釋了怎么通過科學(xué)的方式來設(shè)計A/B測試的細節(jié)憔披。

但我必須澄清:使用科學(xué)方法并不意味著你必須從頭拿出你的假設(shè)的潛在解決方案。并且爸吮,科學(xué)的方法應(yīng)該是運行每一個測試的基礎(chǔ)芬膝。

4.在錯的時間做的A/B測試掩蓋了正確的結(jié)果

你知道:買家行為變化取決于一年所在的時間。例如形娇,季節(jié)會影響到購買行為的每一個變量锰霜,想一想黑色星期五時用戶的瘋狂表現(xiàn)吧。


你的公司也可能在一年的特定時間有不一樣的運行狀態(tài)桐早。在你所在的區(qū)域你可能會季節(jié)性備貨癣缅,或者做比平時力度更大的促銷和優(yōu)惠厨剪,你可能會發(fā)更多的郵件,產(chǎn)出更多的內(nèi)容等友存。

不用說祷膳,這些行為都將反映在你的A/B測試結(jié)果里。因此屡立,你可能不能確定是你的假設(shè)起了作用還是購物者的季節(jié)性行為引起你所期待的改善直晨。

不是你跟A/B測試沒有緣,是相戀在了錯的時間膨俐。因此勇皇,作為一項準則,你應(yīng)該在自然的商業(yè)循環(huán)周期里運行重要測試焚刺,以得到最客觀的數(shù)據(jù)敛摘,比如避免在旺季做測試。

結(jié)論

眾所周知檩坚,A / B測試是提高轉(zhuǎn)換率着撩,降低跳出率,提高銷量的好方法匾委。但是它很容易因為你不當(dāng)?shù)脑囼炘O(shè)置而遭到破壞。為了避免這樣氓润,在設(shè)計測試時赂乐,你應(yīng)該注重科學(xué)的方法,關(guān)注目標群體的情緒心態(tài)咖气,最后挨措,避免在不合適的時間做測試。

本文由吆喝科技編譯崩溪,如需轉(zhuǎn)載浅役,請聯(lián)系吆喝科技(微信 ID:appadhoc)

閱讀原文:How Not to Split Test. 4 Mistakes that Sabotage Your A/B Testing

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市伶唯,隨后出現(xiàn)的幾起案子觉既,更是在濱河造成了極大的恐慌,老刑警劉巖乳幸,帶你破解...
    沈念sama閱讀 212,816評論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件瞪讼,死亡現(xiàn)場離奇詭異,居然都是意外死亡粹断,警方通過查閱死者的電腦和手機符欠,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,729評論 3 385
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來瓶埋,“玉大人希柿,你說我怎么就攤上這事诊沪。” “怎么了曾撤?”我有些...
    開封第一講書人閱讀 158,300評論 0 348
  • 文/不壞的土叔 我叫張陵娄徊,是天一觀的道長。 經(jīng)常有香客問我盾戴,道長寄锐,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 56,780評論 1 285
  • 正文 為了忘掉前任尖啡,我火速辦了婚禮橄仆,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘衅斩。我一直安慰自己盆顾,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 65,890評論 6 385
  • 文/花漫 我一把揭開白布畏梆。 她就那樣靜靜地躺著您宪,像睡著了一般。 火紅的嫁衣襯著肌膚如雪奠涌。 梳的紋絲不亂的頭發(fā)上宪巨,一...
    開封第一講書人閱讀 50,084評論 1 291
  • 那天,我揣著相機與錄音溜畅,去河邊找鬼捏卓。 笑死,一個胖子當(dāng)著我的面吹牛慈格,可吹牛的內(nèi)容都是我干的怠晴。 我是一名探鬼主播,決...
    沈念sama閱讀 39,151評論 3 410
  • 文/蒼蘭香墨 我猛地睜開眼浴捆,長吁一口氣:“原來是場噩夢啊……” “哼蒜田!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起选泻,我...
    開封第一講書人閱讀 37,912評論 0 268
  • 序言:老撾萬榮一對情侶失蹤冲粤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后滔金,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體色解,經(jīng)...
    沈念sama閱讀 44,355評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,666評論 2 327
  • 正文 我和宋清朗相戀三年餐茵,在試婚紗的時候發(fā)現(xiàn)自己被綠了科阎。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 38,809評論 1 341
  • 序言:一個原本活蹦亂跳的男人離奇死亡忿族,死狀恐怖锣笨,靈堂內(nèi)的尸體忽然破棺而出蝌矛,到底是詐尸還是另有隱情,我是刑警寧澤错英,帶...
    沈念sama閱讀 34,504評論 4 334
  • 正文 年R本政府宣布入撒,位于F島的核電站,受9級特大地震影響椭岩,放射性物質(zhì)發(fā)生泄漏茅逮。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 40,150評論 3 317
  • 文/蒙蒙 一判哥、第九天 我趴在偏房一處隱蔽的房頂上張望献雅。 院中可真熱鬧,春花似錦塌计、人聲如沸挺身。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,882評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽章钾。三九已至,卻和暖如春热芹,著一層夾襖步出監(jiān)牢的瞬間贱傀,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,121評論 1 267
  • 我被黑心中介騙來泰國打工剿吻, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留窍箍,地道東北人。 一個月前我還...
    沈念sama閱讀 46,628評論 2 362
  • 正文 我出身青樓丽旅,卻偏偏與公主長得像,于是被迫代替她去往敵國和親纺棺。 傳聞我的和親對象是個殘疾皇子榄笙,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 43,724評論 2 351

推薦閱讀更多精彩內(nèi)容