上一篇談到依據(jù)經(jīng)驗(yàn)的推論會(huì)有很多有效的結(jié)果塔猾，同時(shí)也會(huì)產(chǎn)生謬誤篙骡。而這些謬誤長(zhǎng)時(shí)間流傳，直到發(fā)生了可證實(shí)其錯(cuò)誤的事件（比如人們認(rèn)為天鵝是白色的，直到發(fā)現(xiàn)了黑天鵝）糯俗，或者有人通過(guò)量化的方式對(duì)其進(jìn)行論證尿褪。比如在醫(yī)學(xué)界，哈佛大學(xué)醫(yī)學(xué)院院長(zhǎng)Sydney Burwell醫(yī)生曾告誡學(xué)生“在10年之內(nèi)得湘，作為醫(yī)學(xué)生的你們學(xué)到的一半知識(shí)都會(huì)被證明是錯(cuò)誤的杖玲；而且麻煩的是沒(méi)有老師能夠告訴你哪一半是錯(cuò)誤的”。證析一書中就提到了幾個(gè)醫(yī)學(xué)方面的迷信淘正。到了1992年摆马，出現(xiàn)了循證醫(yī)學(xué)這個(gè)詞。醫(yī)學(xué)界通過(guò)綜合過(guò)于的研究和病理來(lái)知道醫(yī)生對(duì)病人的診斷鸿吆。這是一個(gè)專業(yè)領(lǐng)域囤采，也是大數(shù)據(jù)在醫(yī)學(xué)界應(yīng)用的方向之一。

這里扯了這么多伞剑，還是希望說(shuō)明A/B測(cè)試是“基于證據(jù)的決策”的一種基本手段斑唬，其思考方式以及操作方法有廣泛的應(yīng)用。

近些年A/B測(cè)試有了長(zhǎng)足的發(fā)展黎泣，主要還是因?yàn)榛ヂ?lián)網(wǎng)的發(fā)展促成了對(duì)營(yíng)銷恕刘、網(wǎng)站設(shè)計(jì)等方面的用戶行為監(jiān)測(cè)方法讓A/B測(cè)試實(shí)施門檻降低。其實(shí)在互聯(lián)網(wǎng)時(shí)代之前抒倚，企業(yè)就在應(yīng)用這一思路褐着。比如典型的廣告創(chuàng)意或者概念測(cè)試中，專業(yè)研究公司會(huì)邀請(qǐng)兩群背景特征一致（通過(guò)配額控制）的消費(fèi)者看兩個(gè)廣告或產(chǎn)品概念托呕，然后通過(guò)被訪者的評(píng)價(jià)來(lái)選擇更有市場(chǎng)潛力的廣告或概念含蓉。到了互聯(lián)網(wǎng)時(shí)代，就不需要這么費(fèi)勁了项郊。郵件馅扣、廣告創(chuàng)意、app上的每一個(gè)創(chuàng)意和按鈕的設(shè)計(jì)都可以通過(guò)A/B測(cè)試進(jìn)行選擇和優(yōu)化着降。

但是A/B測(cè)試看起來(lái)簡(jiǎn)單差油，在應(yīng)用中也有挑戰(zhàn)和陷阱。

第一任洞，假測(cè)試之名“說(shuō)事”蓄喇。我曾經(jīng)見(jiàn)到過(guò)一個(gè)測(cè)試報(bào)告說(shuō)某個(gè)廣告的設(shè)計(jì)比原設(shè)計(jì)的點(diǎn)擊率高6倍。然后老板就很喜大普奔交掏，然后就批準(zhǔn)了這個(gè)設(shè)計(jì)方案妆偏。我細(xì)了解了這個(gè)測(cè)試，發(fā)現(xiàn)測(cè)試條件非常隨意盅弛，無(wú)法下點(diǎn)擊率高6倍的結(jié)論钱骂。這個(gè)測(cè)試的作用加速了老板做決策叔锐，從效率提升的角度未嘗不是一個(gè)好事情。這是一個(gè)典型的用數(shù)據(jù)“說(shuō)事”的案例罐柳，數(shù)據(jù)成為神仙打架的工具掌腰。有此風(fēng)氣的企業(yè)無(wú)法建立基于數(shù)據(jù)的決策流程和文化。

第二张吉， 如何將A/B測(cè)試納入業(yè)務(wù)流程齿梁。A/B測(cè)試不是簡(jiǎn)單收集一些數(shù)據(jù)就可以完成并發(fā)揮作用的，需要有明確業(yè)務(wù)目標(biāo)并且業(yè)務(wù)部門參與甚至主導(dǎo)肮蛹。舉上一篇文章通過(guò)A/B測(cè)試優(yōu)化直郵廣告來(lái)說(shuō)勺择。銷售部門需要提前設(shè)計(jì)好不同的文案，不同彩頁(yè)上要安排印刷不同的文案伦忠，需要監(jiān)測(cè)不同文案對(duì)應(yīng)的電話呼入量省核，得到結(jié)果后需要及時(shí)調(diào)整。一家公司中昆码，如果高層不去推動(dòng)這個(gè)事情气忠，或者業(yè)務(wù)部門沒(méi)有形成這套流程，有想法的獨(dú)立研究團(tuán)隊(duì)搞不定這個(gè)事情的赋咽。

第三旧噪，A/B測(cè)試的管理。 當(dāng)用了幾次測(cè)試感覺(jué)不錯(cuò)脓匿，就可以廣泛的使用這種方法淘钟。數(shù)量增加會(huì)帶來(lái)新的問(wèn)題。如何能夠快速部署陪毡，減少實(shí)施成本米母；如何能夠從過(guò)去項(xiàng)目中提取經(jīng)驗(yàn)，不需要每次必做測(cè)試毡琉。 舉一個(gè)美國(guó)的例子铁瞒。Capital One是一家美國(guó)信用卡公司，他一年要實(shí)施數(shù)以萬(wàn)計(jì)的實(shí)驗(yàn)桅滋，對(duì)新產(chǎn)品慧耍、新廣告模式、新業(yè)務(wù)模式等各個(gè)問(wèn)題進(jìn)行研究虱歪。那么如何管理這些實(shí)驗(yàn)結(jié)果也是Capital One面臨的一個(gè)挑戰(zhàn)蜂绎。Capital One維護(hù)了一個(gè)內(nèi)部知識(shí)庫(kù)記錄每次實(shí)驗(yàn)結(jié)果栅表，當(dāng)業(yè)務(wù)人員需要完成一個(gè)任務(wù)時(shí)笋鄙，例如設(shè)計(jì)新的信用卡，他們能夠從知識(shí)庫(kù)中搜索相關(guān)實(shí)驗(yàn)結(jié)果以指導(dǎo)工作怪瓶。但是萧落，很明顯践美，這樣的知識(shí)庫(kù)使用起來(lái)很不方便，Capital One準(zhǔn)備以適時(shí)（Just-in-time）的方式將實(shí)驗(yàn)結(jié)果提供給業(yè)務(wù)人員找岖。例如陨倡，業(yè)務(wù)人員在針對(duì)某個(gè)特定人群設(shè)計(jì)一種新的信用卡時(shí)，系統(tǒng)能夠在設(shè)計(jì)的每個(gè)階段根據(jù)實(shí)驗(yàn)結(jié)果對(duì)業(yè)務(wù)人員從利率設(shè)計(jì)到直郵時(shí)使用的信封顏色方方面面的考慮提出建議许布。（《證析》）

從我看到的資料看兴革，國(guó)外的一些互聯(lián)網(wǎng)、數(shù)字營(yíng)銷蜜唾、數(shù)據(jù)庫(kù)營(yíng)銷公司這方面做得非常成熟杂曲。國(guó)內(nèi)企業(yè)不是很清楚在這方面哪家做的不錯(cuò)。如果有熟悉的朋友可以和大家分享袁余。

由于需求不斷增加擎勘，現(xiàn)在已經(jīng)發(fā)展出來(lái)一些提供A/B測(cè)試專業(yè)產(chǎn)品的創(chuàng)新企業(yè)。比如GrowthGiant （連續(xù) A/B 測(cè)試工具）颖榜，Spinnakr （A/B 測(cè)試內(nèi)容工具棚饵，可向不同用戶展現(xiàn)不同消息），leanplum（移動(dòng)端的A/B 測(cè)試解決方案）掩完，google的Google Website Optimizer噪漾。需要的同學(xué)可以持續(xù)關(guān)注或者進(jìn)行試用√傥互聯(lián)網(wǎng)時(shí)代怪与，分工會(huì)越來(lái)越細(xì)，可以多使用一些專業(yè)的工具型產(chǎn)品缅疟。這樣可以避免重復(fù)發(fā)明輪子分别，而且可以低成本用上專業(yè)工具，大大提升效率存淫。

推薦一篇文章耘斩，有很多執(zhí)行細(xì)節(jié)∥ε兀“不測(cè)量括授，無(wú)市場(chǎng)”：A/B測(cè)試怎么做？http://www.36kr.com/p/142809.html

更多的A/B測(cè)試細(xì)節(jié)岩饼，大家可以在google上搜索一下荚虚。一些專業(yè)博客和大公司的UED或其他部門博客都有很詳細(xì)的介紹可以參考。這些資料大都是互聯(lián)網(wǎng)領(lǐng)域的籍茧，你要是牛的話去把A/B測(cè)試用在傳統(tǒng)領(lǐng)域當(dāng)中版述，相信會(huì)產(chǎn)生很大價(jià)值。

看似簡(jiǎn)單的A/B測(cè)試做好很難寞冯。最難之處不是技術(shù)渴析，而是企業(yè)是否有數(shù)據(jù)驅(qū)動(dòng)晚伙、基于證據(jù)進(jìn)行決策的文化。 如果你所在的企業(yè)不具備這些條件也不要著急俭茧，從自己可以影響的范圍內(nèi)一點(diǎn)一點(diǎn)做起來(lái)咆疗。念念不忘，必有回響母债。