A/B測(cè)試-價(jià)值、挑戰(zhàn)和應(yīng)用(二)

上一篇談到依據(jù)經(jīng)驗(yàn)的推論會(huì)有很多有效的結(jié)果塔猾,同時(shí)也會(huì)產(chǎn)生謬誤篙骡。而這些謬誤長(zhǎng)時(shí)間流傳,直到發(fā)生了可證實(shí)其錯(cuò)誤的事件(比如人們認(rèn)為天鵝是白色的,直到發(fā)現(xiàn)了黑天鵝)糯俗,或者有人通過(guò)量化的方式對(duì)其進(jìn)行論證尿褪。比如在醫(yī)學(xué)界,哈佛大學(xué)醫(yī)學(xué)院院長(zhǎng)Sydney Burwell醫(yī)生曾告誡學(xué)生“在10年之內(nèi)得湘,作為醫(yī)學(xué)生的你們學(xué)到的一半知識(shí)都會(huì)被證明是錯(cuò)誤的杖玲;而且麻煩的是沒(méi)有老師能夠告訴你哪一半是錯(cuò)誤的”。證析一書中就提到了幾個(gè)醫(yī)學(xué)方面的迷信淘正。到了1992年摆马,出現(xiàn)了循證醫(yī)學(xué)這個(gè)詞。醫(yī)學(xué)界通過(guò)綜合過(guò)于的研究和病理來(lái)知道醫(yī)生對(duì)病人的診斷鸿吆。這是一個(gè)專業(yè)領(lǐng)域囤采,也是大數(shù)據(jù)在醫(yī)學(xué)界應(yīng)用的方向之一。

這里扯了這么多伞剑,還是希望說(shuō)明A/B測(cè)試是“基于證據(jù)的決策”的一種基本手段斑唬,其思考方式以及操作方法有廣泛的應(yīng)用。

近些年A/B測(cè)試有了長(zhǎng)足的發(fā)展黎泣,主要還是因?yàn)榛ヂ?lián)網(wǎng)的發(fā)展促成了對(duì)營(yíng)銷恕刘、網(wǎng)站設(shè)計(jì)等方面的用戶行為監(jiān)測(cè)方法讓A/B測(cè)試實(shí)施門檻降低。其實(shí)在互聯(lián)網(wǎng)時(shí)代之前抒倚,企業(yè)就在應(yīng)用這一思路褐着。比如典型的廣告創(chuàng)意或者概念測(cè)試中,專業(yè)研究公司會(huì)邀請(qǐng)兩群背景特征一致(通過(guò)配額控制)的消費(fèi)者看兩個(gè)廣告或產(chǎn)品概念托呕,然后通過(guò)被訪者的評(píng)價(jià)來(lái)選擇更有市場(chǎng)潛力的廣告或概念含蓉。到了互聯(lián)網(wǎng)時(shí)代,就不需要這么費(fèi)勁了项郊。郵件馅扣、廣告創(chuàng)意、app上的每一個(gè)創(chuàng)意和按鈕的設(shè)計(jì)都可以通過(guò)A/B測(cè)試進(jìn)行選擇和優(yōu)化着降。

但是A/B測(cè)試看起來(lái)簡(jiǎn)單差油,在應(yīng)用中也有挑戰(zhàn)和陷阱。

第一任洞,假測(cè)試之名“說(shuō)事”蓄喇。我曾經(jīng)見(jiàn)到過(guò)一個(gè)測(cè)試報(bào)告說(shuō)某個(gè)廣告的設(shè)計(jì)比原設(shè)計(jì)的點(diǎn)擊率高6倍。然后老板就很喜大普奔交掏,然后就批準(zhǔn)了這個(gè)設(shè)計(jì)方案妆偏。我細(xì)了解了這個(gè)測(cè)試,發(fā)現(xiàn)測(cè)試條件非常隨意盅弛,無(wú)法下點(diǎn)擊率高6倍的結(jié)論钱骂。這個(gè)測(cè)試的作用加速了老板做決策叔锐,從效率提升的角度未嘗不是一個(gè)好事情。這是一個(gè)典型的用數(shù)據(jù)“說(shuō)事”的案例罐柳,數(shù)據(jù)成為神仙打架的工具掌腰。有此風(fēng)氣的企業(yè)無(wú)法建立基于數(shù)據(jù)的決策流程和文化。

第二张吉, 如何將A/B測(cè)試納入業(yè)務(wù)流程齿梁。A/B測(cè)試不是簡(jiǎn)單收集一些數(shù)據(jù)就可以完成并發(fā)揮作用的,需要有明確業(yè)務(wù)目標(biāo)并且業(yè)務(wù)部門參與甚至主導(dǎo)肮蛹。舉上一篇文章通過(guò)A/B測(cè)試優(yōu)化直郵廣告來(lái)說(shuō)勺择。銷售部門需要提前設(shè)計(jì)好不同的文案,不同彩頁(yè)上要安排印刷不同的文案伦忠,需要監(jiān)測(cè)不同文案對(duì)應(yīng)的電話呼入量省核,得到結(jié)果后需要及時(shí)調(diào)整。一家公司中昆码,如果高層不去推動(dòng)這個(gè)事情气忠,或者業(yè)務(wù)部門沒(méi)有形成這套流程,有想法的獨(dú)立研究團(tuán)隊(duì)搞不定這個(gè)事情的赋咽。

第三旧噪,A/B測(cè)試的管理。 當(dāng)用了幾次測(cè)試感覺(jué)不錯(cuò)脓匿,就可以廣泛的使用這種方法淘钟。數(shù)量增加會(huì)帶來(lái)新的問(wèn)題。如何能夠快速部署陪毡,減少實(shí)施成本米母;如何能夠從過(guò)去項(xiàng)目中提取經(jīng)驗(yàn),不需要每次必做測(cè)試毡琉。 舉一個(gè)美國(guó)的例子铁瞒。Capital One是一家美國(guó)信用卡公司,他一年要實(shí)施數(shù)以萬(wàn)計(jì)的實(shí)驗(yàn)桅滋,對(duì)新產(chǎn)品慧耍、新廣告模式、新業(yè)務(wù)模式等各個(gè)問(wèn)題進(jìn)行研究虱歪。那么如何管理這些實(shí)驗(yàn)結(jié)果也是Capital One面臨的一個(gè)挑戰(zhàn)蜂绎。Capital One維護(hù)了一個(gè)內(nèi)部知識(shí)庫(kù)記錄每次實(shí)驗(yàn)結(jié)果栅表,當(dāng)業(yè)務(wù)人員需要完成一個(gè)任務(wù)時(shí)笋鄙,例如設(shè)計(jì)新的信用卡,他們能夠從知識(shí)庫(kù)中搜索相關(guān)實(shí)驗(yàn)結(jié)果以指導(dǎo)工作怪瓶。但是萧落,很明顯践美,這樣的知識(shí)庫(kù)使用起來(lái)很不方便,Capital One準(zhǔn)備以適時(shí)(Just-in-time)的方式將實(shí)驗(yàn)結(jié)果提供給業(yè)務(wù)人員找岖。例如陨倡,業(yè)務(wù)人員在針對(duì)某個(gè)特定人群設(shè)計(jì)一種新的信用卡時(shí),系統(tǒng)能夠在設(shè)計(jì)的每個(gè)階段根據(jù)實(shí)驗(yàn)結(jié)果對(duì)業(yè)務(wù)人員從利率設(shè)計(jì)到直郵時(shí)使用的信封顏色方方面面的考慮提出建議许布。(《證析》)

從我看到的資料看兴革,國(guó)外的一些互聯(lián)網(wǎng)、數(shù)字營(yíng)銷蜜唾、數(shù)據(jù)庫(kù)營(yíng)銷公司這方面做得非常成熟杂曲。國(guó)內(nèi)企業(yè)不是很清楚在這方面哪家做的不錯(cuò)。如果有熟悉的朋友可以和大家分享袁余。

由于需求不斷增加擎勘,現(xiàn)在已經(jīng)發(fā)展出來(lái)一些提供A/B測(cè)試專業(yè)產(chǎn)品的創(chuàng)新企業(yè)。比如GrowthGiant (連續(xù) A/B 測(cè)試工具)颖榜,Spinnakr (A/B 測(cè)試內(nèi)容工具棚饵,可向不同用戶展現(xiàn)不同消息),leanplum(移動(dòng)端的A/B 測(cè)試解決方案)掩完,google的Google Website Optimizer噪漾。需要的同學(xué)可以持續(xù)關(guān)注或者進(jìn)行試用√傥互聯(lián)網(wǎng)時(shí)代怪与,分工會(huì)越來(lái)越細(xì),可以多使用一些專業(yè)的工具型產(chǎn)品缅疟。這樣可以避免重復(fù)發(fā)明輪子分别,而且可以低成本用上專業(yè)工具,大大提升效率存淫。

推薦一篇文章耘斩,有很多執(zhí)行細(xì)節(jié)∥ε兀“不測(cè)量括授,無(wú)市場(chǎng)”:A/B測(cè)試怎么做?http://www.36kr.com/p/142809.html

更多的A/B測(cè)試細(xì)節(jié)岩饼,大家可以在google上搜索一下荚虚。一些專業(yè)博客和大公司的UED或其他部門博客都有很詳細(xì)的介紹可以參考。這些資料大都是互聯(lián)網(wǎng)領(lǐng)域的籍茧,你要是牛的話去把A/B測(cè)試用在傳統(tǒng)領(lǐng)域當(dāng)中版述,相信會(huì)產(chǎn)生很大價(jià)值。

看似簡(jiǎn)單的A/B測(cè)試做好很難寞冯。最難之處不是技術(shù)渴析,而是企業(yè)是否有數(shù)據(jù)驅(qū)動(dòng)晚伙、基于證據(jù)進(jìn)行決策的文化。 如果你所在的企業(yè)不具備這些條件也不要著急俭茧,從自己可以影響的范圍內(nèi)一點(diǎn)一點(diǎn)做起來(lái)咆疗。念念不忘,必有回響母债。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末澡罚,一起剝皮案震驚了整個(gè)濱河市挖垛,隨后出現(xiàn)的幾起案子弥虐,更是在濱河造成了極大的恐慌挽鞠,老刑警劉巖,帶你破解...
    沈念sama閱讀 222,865評(píng)論 6 518
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件漏隐,死亡現(xiàn)場(chǎng)離奇詭異喧半,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)青责,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,296評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門挺据,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人脖隶,你說(shuō)我怎么就攤上這事扁耐。” “怎么了产阱?”我有些...
    開(kāi)封第一講書人閱讀 169,631評(píng)論 0 364
  • 文/不壞的土叔 我叫張陵婉称,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我构蹬,道長(zhǎng)王暗,這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書人閱讀 60,199評(píng)論 1 300
  • 正文 為了忘掉前任庄敛,我火速辦了婚禮俗壹,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘藻烤。我一直安慰自己绷雏,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 69,196評(píng)論 6 398
  • 文/花漫 我一把揭開(kāi)白布怖亭。 她就那樣靜靜地躺著涎显,像睡著了一般。 火紅的嫁衣襯著肌膚如雪兴猩。 梳的紋絲不亂的頭發(fā)上期吓,一...
    開(kāi)封第一講書人閱讀 52,793評(píng)論 1 314
  • 那天,我揣著相機(jī)與錄音峭跳,去河邊找鬼膘婶。 笑死,一個(gè)胖子當(dāng)著我的面吹牛蛀醉,可吹牛的內(nèi)容都是我干的悬襟。 我是一名探鬼主播,決...
    沈念sama閱讀 41,221評(píng)論 3 423
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼拯刁,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼脊岳!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起垛玻,我...
    開(kāi)封第一講書人閱讀 40,174評(píng)論 0 277
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤割捅,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后帚桩,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體亿驾,經(jīng)...
    沈念sama閱讀 46,699評(píng)論 1 320
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,770評(píng)論 3 343
  • 正文 我和宋清朗相戀三年账嚎,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了莫瞬。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 40,918評(píng)論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡郭蕉,死狀恐怖疼邀,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情召锈,我是刑警寧澤旁振,帶...
    沈念sama閱讀 36,573評(píng)論 5 351
  • 正文 年R本政府宣布,位于F島的核電站涨岁,受9級(jí)特大地震影響拐袜,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜梢薪,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,255評(píng)論 3 336
  • 文/蒙蒙 一阻肿、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧沮尿,春花似錦丛塌、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書人閱讀 32,749評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至啡捶,卻和暖如春姥敛,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背瞎暑。 一陣腳步聲響...
    開(kāi)封第一講書人閱讀 33,862評(píng)論 1 274
  • 我被黑心中介騙來(lái)泰國(guó)打工彤敛, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留与帆,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 49,364評(píng)論 3 379
  • 正文 我出身青樓墨榄,卻偏偏與公主長(zhǎng)得像玄糟,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子袄秩,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,926評(píng)論 2 361

推薦閱讀更多精彩內(nèi)容