上一篇談到依據(jù)經(jīng)驗(yàn)的推論會(huì)有很多有效的結(jié)果塔猾,同時(shí)也會(huì)產(chǎn)生謬誤篙骡。而這些謬誤長(zhǎng)時(shí)間流傳,直到發(fā)生了可證實(shí)其錯(cuò)誤的事件(比如人們認(rèn)為天鵝是白色的,直到發(fā)現(xiàn)了黑天鵝)糯俗,或者有人通過(guò)量化的方式對(duì)其進(jìn)行論證尿褪。比如在醫(yī)學(xué)界,哈佛大學(xué)醫(yī)學(xué)院院長(zhǎng)Sydney Burwell醫(yī)生曾告誡學(xué)生“在10年之內(nèi)得湘,作為醫(yī)學(xué)生的你們學(xué)到的一半知識(shí)都會(huì)被證明是錯(cuò)誤的杖玲;而且麻煩的是沒(méi)有老師能夠告訴你哪一半是錯(cuò)誤的”。證析一書中就提到了幾個(gè)醫(yī)學(xué)方面的迷信淘正。到了1992年摆马,出現(xiàn)了循證醫(yī)學(xué)這個(gè)詞。醫(yī)學(xué)界通過(guò)綜合過(guò)于的研究和病理來(lái)知道醫(yī)生對(duì)病人的診斷鸿吆。這是一個(gè)專業(yè)領(lǐng)域囤采,也是大數(shù)據(jù)在醫(yī)學(xué)界應(yīng)用的方向之一。
這里扯了這么多伞剑,還是希望說(shuō)明A/B測(cè)試是“基于證據(jù)的決策”的一種基本手段斑唬,其思考方式以及操作方法有廣泛的應(yīng)用。
近些年A/B測(cè)試有了長(zhǎng)足的發(fā)展黎泣,主要還是因?yàn)榛ヂ?lián)網(wǎng)的發(fā)展促成了對(duì)營(yíng)銷恕刘、網(wǎng)站設(shè)計(jì)等方面的用戶行為監(jiān)測(cè)方法讓A/B測(cè)試實(shí)施門檻降低。其實(shí)在互聯(lián)網(wǎng)時(shí)代之前抒倚,企業(yè)就在應(yīng)用這一思路褐着。比如典型的廣告創(chuàng)意或者概念測(cè)試中,專業(yè)研究公司會(huì)邀請(qǐng)兩群背景特征一致(通過(guò)配額控制)的消費(fèi)者看兩個(gè)廣告或產(chǎn)品概念托呕,然后通過(guò)被訪者的評(píng)價(jià)來(lái)選擇更有市場(chǎng)潛力的廣告或概念含蓉。到了互聯(lián)網(wǎng)時(shí)代,就不需要這么費(fèi)勁了项郊。郵件馅扣、廣告創(chuàng)意、app上的每一個(gè)創(chuàng)意和按鈕的設(shè)計(jì)都可以通過(guò)A/B測(cè)試進(jìn)行選擇和優(yōu)化着降。
但是A/B測(cè)試看起來(lái)簡(jiǎn)單差油,在應(yīng)用中也有挑戰(zhàn)和陷阱。
第一任洞,假測(cè)試之名“說(shuō)事”蓄喇。我曾經(jīng)見(jiàn)到過(guò)一個(gè)測(cè)試報(bào)告說(shuō)某個(gè)廣告的設(shè)計(jì)比原設(shè)計(jì)的點(diǎn)擊率高6倍。然后老板就很喜大普奔交掏,然后就批準(zhǔn)了這個(gè)設(shè)計(jì)方案妆偏。我細(xì)了解了這個(gè)測(cè)試,發(fā)現(xiàn)測(cè)試條件非常隨意盅弛,無(wú)法下點(diǎn)擊率高6倍的結(jié)論钱骂。這個(gè)測(cè)試的作用加速了老板做決策叔锐,從效率提升的角度未嘗不是一個(gè)好事情。這是一個(gè)典型的用數(shù)據(jù)“說(shuō)事”的案例罐柳,數(shù)據(jù)成為神仙打架的工具掌腰。有此風(fēng)氣的企業(yè)無(wú)法建立基于數(shù)據(jù)的決策流程和文化。
第二张吉, 如何將A/B測(cè)試納入業(yè)務(wù)流程齿梁。A/B測(cè)試不是簡(jiǎn)單收集一些數(shù)據(jù)就可以完成并發(fā)揮作用的,需要有明確業(yè)務(wù)目標(biāo)并且業(yè)務(wù)部門參與甚至主導(dǎo)肮蛹。舉上一篇文章通過(guò)A/B測(cè)試優(yōu)化直郵廣告來(lái)說(shuō)勺择。銷售部門需要提前設(shè)計(jì)好不同的文案,不同彩頁(yè)上要安排印刷不同的文案伦忠,需要監(jiān)測(cè)不同文案對(duì)應(yīng)的電話呼入量省核,得到結(jié)果后需要及時(shí)調(diào)整。一家公司中昆码,如果高層不去推動(dòng)這個(gè)事情气忠,或者業(yè)務(wù)部門沒(méi)有形成這套流程,有想法的獨(dú)立研究團(tuán)隊(duì)搞不定這個(gè)事情的赋咽。
第三旧噪,A/B測(cè)試的管理。 當(dāng)用了幾次測(cè)試感覺(jué)不錯(cuò)脓匿,就可以廣泛的使用這種方法淘钟。數(shù)量增加會(huì)帶來(lái)新的問(wèn)題。如何能夠快速部署陪毡,減少實(shí)施成本米母;如何能夠從過(guò)去項(xiàng)目中提取經(jīng)驗(yàn),不需要每次必做測(cè)試毡琉。 舉一個(gè)美國(guó)的例子铁瞒。Capital One是一家美國(guó)信用卡公司,他一年要實(shí)施數(shù)以萬(wàn)計(jì)的實(shí)驗(yàn)桅滋,對(duì)新產(chǎn)品慧耍、新廣告模式、新業(yè)務(wù)模式等各個(gè)問(wèn)題進(jìn)行研究虱歪。那么如何管理這些實(shí)驗(yàn)結(jié)果也是Capital One面臨的一個(gè)挑戰(zhàn)蜂绎。Capital One維護(hù)了一個(gè)內(nèi)部知識(shí)庫(kù)記錄每次實(shí)驗(yàn)結(jié)果栅表,當(dāng)業(yè)務(wù)人員需要完成一個(gè)任務(wù)時(shí)笋鄙,例如設(shè)計(jì)新的信用卡,他們能夠從知識(shí)庫(kù)中搜索相關(guān)實(shí)驗(yàn)結(jié)果以指導(dǎo)工作怪瓶。但是萧落,很明顯践美,這樣的知識(shí)庫(kù)使用起來(lái)很不方便,Capital One準(zhǔn)備以適時(shí)(Just-in-time)的方式將實(shí)驗(yàn)結(jié)果提供給業(yè)務(wù)人員找岖。例如陨倡,業(yè)務(wù)人員在針對(duì)某個(gè)特定人群設(shè)計(jì)一種新的信用卡時(shí),系統(tǒng)能夠在設(shè)計(jì)的每個(gè)階段根據(jù)實(shí)驗(yàn)結(jié)果對(duì)業(yè)務(wù)人員從利率設(shè)計(jì)到直郵時(shí)使用的信封顏色方方面面的考慮提出建議许布。(《證析》)
從我看到的資料看兴革,國(guó)外的一些互聯(lián)網(wǎng)、數(shù)字營(yíng)銷蜜唾、數(shù)據(jù)庫(kù)營(yíng)銷公司這方面做得非常成熟杂曲。國(guó)內(nèi)企業(yè)不是很清楚在這方面哪家做的不錯(cuò)。如果有熟悉的朋友可以和大家分享袁余。
由于需求不斷增加擎勘,現(xiàn)在已經(jīng)發(fā)展出來(lái)一些提供A/B測(cè)試專業(yè)產(chǎn)品的創(chuàng)新企業(yè)。比如GrowthGiant (連續(xù) A/B 測(cè)試工具)颖榜,Spinnakr (A/B 測(cè)試內(nèi)容工具棚饵,可向不同用戶展現(xiàn)不同消息),leanplum(移動(dòng)端的A/B 測(cè)試解決方案)掩完,google的Google Website Optimizer噪漾。需要的同學(xué)可以持續(xù)關(guān)注或者進(jìn)行試用√傥互聯(lián)網(wǎng)時(shí)代怪与,分工會(huì)越來(lái)越細(xì),可以多使用一些專業(yè)的工具型產(chǎn)品缅疟。這樣可以避免重復(fù)發(fā)明輪子分别,而且可以低成本用上專業(yè)工具,大大提升效率存淫。
推薦一篇文章耘斩,有很多執(zhí)行細(xì)節(jié)∥ε兀“不測(cè)量括授,無(wú)市場(chǎng)”:A/B測(cè)試怎么做?http://www.36kr.com/p/142809.html
更多的A/B測(cè)試細(xì)節(jié)岩饼,大家可以在google上搜索一下荚虚。一些專業(yè)博客和大公司的UED或其他部門博客都有很詳細(xì)的介紹可以參考。這些資料大都是互聯(lián)網(wǎng)領(lǐng)域的籍茧,你要是牛的話去把A/B測(cè)試用在傳統(tǒng)領(lǐng)域當(dāng)中版述,相信會(huì)產(chǎn)生很大價(jià)值。
看似簡(jiǎn)單的A/B測(cè)試做好很難寞冯。最難之處不是技術(shù)渴析,而是企業(yè)是否有數(shù)據(jù)驅(qū)動(dòng)晚伙、基于證據(jù)進(jìn)行決策的文化。 如果你所在的企業(yè)不具備這些條件也不要著急俭茧,從自己可以影響的范圍內(nèi)一點(diǎn)一點(diǎn)做起來(lái)咆疗。念念不忘,必有回響母债。