1 什么是A/B測試律胀？
A/B測試是一種流行的網(wǎng)頁優(yōu)化方法啃匿，可以用于增加轉(zhuǎn)化率注冊率等網(wǎng)頁指標晃择。簡單來說，就是為同一個目標制定兩個方案（比如兩個頁面）姆怪，將產(chǎn)品的用戶流量分割成 A/B 兩組叛赚，一組試驗組，一組對照組稽揭，兩組用戶特點類似俺附，并且同時運行。試驗運行一段時間后分別統(tǒng)計兩組用戶的表現(xiàn)溪掀，再將數(shù)據(jù)結(jié)果進行對比事镣，就可以科學(xué)的幫助決策。比如在這個例子里揪胃，50%用戶看到 A 版本頁面璃哟，50%用戶看到 B 版本頁面氛琢，結(jié)果 A 版本用戶轉(zhuǎn)化率 23%，高于 B 版本的 11%随闪，在試驗流量足夠大的情況下阳似，我們就可以判定 A 版本勝出，然后將 A 版本頁面推送給所有的用戶蕴掏。
AB測試本質(zhì)上是個分離式組間實驗障般，以前進行AB測試的技術(shù)成本和資源成本相對較高，但現(xiàn)在一系列專業(yè)的可視化實驗工具的出現(xiàn)盛杰，AB測試已越來越成為網(wǎng)站優(yōu)化常用的方法挽荡。
A/B測試其實是一種“先驗”的實驗體系，屬于預(yù)測型結(jié)論即供，與“后驗”的歸納性結(jié)論差別巨大定拟。A/B測試的目的在于通過科學(xué)的實驗設(shè)計、采樣樣本代表性逗嫡、流量分割與小流量測試等方式來獲得具有代表性的實驗結(jié)論青自，并確信該結(jié)論在推廣到全部流量可信。
測試的應(yīng)用范圍驱证，——必須是單變量延窜。
2 什么情況不適合做 A/B 測試？
有時多個設(shè)計稿可能會有非常大的差異抹锄，這樣的情況一般不太適合做 A/B 測試逆瑞，因為它們的變量太多了，變量之間會有較多的干擾伙单，很難通過 A/B 測試的方法來找出各個變量對結(jié)果的影響程度获高。
另外，雖然 A/B 測試名字中只包含 A吻育、B 念秧，但并不是說它只能用于比較兩個方案的好壞，事實上布疼，你完全可以設(shè)計多個方案進行測試摊趾，“A/B 測試”這個名字只是一個習慣的叫法。
回到網(wǎng)站設(shè)計游两，一般來說严就，每個設(shè)計方案應(yīng)該大體上是相同的，只是某一個地方有所不同器罐，比如某處排版梢为、文案、圖片、顏色等铸董。然后對不同的用戶展示不同的方案祟印。
要注意，不同的用戶在他的一次瀏覽過程中粟害，看到的應(yīng)該一直是同一個方案蕴忆。比如他一開始看到的是 A 方案，則在此次會話中應(yīng)該一直向他展示 A 方案悲幅，而不能一會兒讓他看 A 方案套鹅，一會兒讓他看 B 方案。同時汰具，還需要注意控制訪問各個版本的人數(shù)卓鹿，大多數(shù)情況下我們會希望將訪問者平均分配到各個不同的版本上。要做到這些很簡單留荔，根據(jù) cookie （比如 cookie 會話ID的最后一位數(shù)字）決定展示哪個版本就是一個不錯的方法吟孙。
下面是 A/B 測試示意圖：
可以看到，要實現(xiàn) A/B 測試聚蝶，我們需要做以下幾個工作：
1杰妓、開發(fā)兩個（或多個）不同的版本并部署；
2碘勉、收集數(shù)據(jù)巷挥；
3、分析數(shù)據(jù)验靡，得出結(jié)果倍宾。
3 什么階段的公司適合做AB測試？
AB測試你自己做是要花很大的人力晴叨、物力，大公司有很大的用戶矾屯，做AB測試的話兼蕊，是可以持續(xù)投入的，每個投入的提升增長價值也很大件蚕，是公司中最為重要的孙技。
很多中小型的公司具備條件，但不一定有經(jīng)驗或能力執(zhí)行和分析排作，不過現(xiàn)在也有些第三方服務(wù)公司提供了工具牵啦，方便做AB測試，降低了門檻妄痪，比如吆喝科技（http://www.appadhoc.com）在這方面做得非常好哈雏。
初創(chuàng)公司，在產(chǎn)品還沒驗證的時候，或者用戶量非常小的時候裳瘪，不適合做AB測試土浸。
4 如何利用A/B測試做增長？
AB 測試是撬動理性增長的最重要工具之一彭羹。AB測試背后的理念是在于用數(shù)據(jù)來幫助你做決策，來幫助你做更好的決策还最，很多東西就不再是靠藝術(shù)創(chuàng)造拓轻、靠想象虱黄、靠拍腦袋來做橱乱，而是靠數(shù)據(jù)泳叠，像你寫代碼噪裕、做分析的時候那樣一種很理性的模式。
如果沒有 AB 測試，如果公司盲目地前行员萍，會造成很大的損失螃征。
在 Facebook 強行規(guī)定，發(fā)布任何一個很大功能的時候踢械，開始要先計劃内列，同時要做一個預(yù)期话瞧，計劃就是你這個功能發(fā)布之后，大概周期是多久蕴纳，你的預(yù)期就是對用戶的數(shù)據(jù)大概有怎樣的影響古毛，一般來說是用戶的活躍度上漲稻薇，或者是用戶的數(shù)量上漲胶征，但是可能有其他的影響睛低。比如說用戶的在線時長會下降一點點钱雷，因為你更加有效了罩抗，或者是對用戶的耗電量會有影響套蒂，以及它流量的損耗操刀。
5 A/B測試的數(shù)據(jù)結(jié)果出來后，應(yīng)該怎么樣選擇撼嗓？
從數(shù)據(jù)結(jié)果分析客觀的效果静稻，但往往也需要根據(jù)用戶體驗和總收益做一個折衷。
《增長黑客》作者范冰講過一個百姓網(wǎng)的案例亡脸。百姓網(wǎng)之前有段時間銷售員和產(chǎn)品經(jīng)理撕逼浅碾，銷售人員是覺得為了獲得更多銷售額，我們必須是用戶給錢越多厦画，我們給他越大的特權(quán)根暑。
百姓網(wǎng)A/B測試
他們想像左圖這樣排嫌，用戶在我這個平臺上發(fā)布的小帖子以后淳地，誰給的錢多颇象，給得最多的我給你置頂夯到，同時又給你一個廣告位耍贾，就是紅色標量荐开，其他的給錢沒那么多的简肴，在相對置頂比較高的位置砰识。就是你越給錢辫狼，我越給你一些標簽把你位置提得越高膨处，這是銷售人員的思維；
產(chǎn)品經(jīng)理的思維是右邊這種乎澄，雖然你給了錢置济，你是我們的金主舟肉，你很重要路媚，但是我要重視我們的產(chǎn)品體驗整慎，如果說你給錢我就讓你上去的話裤园，其實這上面滿眼看得都是廣告拧揽，而且誰給錢誰就上，那就有點像百度了铡羡，像現(xiàn)在這個樣子他們就提出我們的產(chǎn)品在右邊烦周，不管你給了多少錢读慎，我最多就給你個高亮夭委，所以你的位置我不給你提前。
當時為了這個原因蚂且，雙方激烈的撕逼杏死。撕逼一般是沒有結(jié)果的淑翼，因為公說公有理，婆說婆有理遭京，后來他們想到組織一次 AB 測試哪雕，下發(fā)了兩波用戶斯嚎，看這兩波用戶各自呈現(xiàn)兩種不同的頁面，哪波用戶最后轉(zhuǎn)化率高苦始，帶來的收入高，還有其他一些指標的綜合判斷蹄溉。
結(jié)果是怎樣的役电？
大家從直覺判斷冀膝，一定覺得產(chǎn)品經(jīng)理的決定是對的窝剖，最后一定是用了產(chǎn)品經(jīng)理的方案。
測試結(jié)果疙描，右邊產(chǎn)品經(jīng)理方案是好的起胰，他的數(shù)據(jù)更高，但是最后用了左邊的方案。為什么瓜客？因為測試結(jié)果反饋顯示，這兩個方案雖然右邊更好疯攒，但是他這個好的方案只是精確到小數(shù)點后面的千分位，只是比前一種方案好了那么一點砂吞，雖然是好了那么一點，但是左邊的方案更吸金呼巷，左邊的能吸引到大家更多的往里投錢，更多的花錢，既然是只好了這么一點點，當然要用左邊的。于是經(jīng)過測試以后霸饲，他們最后用了左邊的方案胶惰，這是大家沒有想到的結(jié)果。
因為 AB 測試固然重要泄伪，AB 測試的結(jié)果的確右邊好痘绎，但是有的時候要結(jié)合實際，如果說差別不是很大的話蕉堰，你可能要選一種賺錢更多的方式屋讶，這是 AB 測試一個很大的價值冰寻，大家不要偏信數(shù)據(jù)，不要被數(shù)據(jù)給完全左右皿渗，有的時候結(jié)合一些你的理性的思考斩芭。
6?AB測試的具體實施流程是什么樣的呢？
其實非常簡單乐疆，可能在座的大家都有一定地印象划乖，比如說你有一個網(wǎng)頁，就是你用戶流量的頁面挤土，你用上面的綠色作為一個代表琴庵，如果你現(xiàn)在的頁面只有23%的轉(zhuǎn)化率，你希望通過某種黑客方式仰美，把它調(diào)一調(diào)迷殿，改一改，改成藍色的頁面咖杂，希望能夠提升它的轉(zhuǎn)化率庆寺。
那么可以用AB測試怎么做呢？就讓來訪流量的訪客诉字，一半或者一部分的訪客看到綠色的老版本止邮，一部分的訪客看到藍色的新版本，這些用戶自己是無感知的奏窑，他們并不知道自己是被分配在實驗里面导披，他們依然按照自己的行為去操作，他們會買東西埃唯，會退出或者怎么樣撩匕，然后你看他的轉(zhuǎn)化率，有沒有發(fā)生變化墨叛，假如我們看到一個很糟糕的現(xiàn)象止毕，這個藍色的版本，它的轉(zhuǎn)化率反而降低了只有11%了漠趁，結(jié)果你的老版本還勝出的扁凛，就說明你改進的方案不成功，于是你會想其 他的方案再去改闯传，總會找到能夠提升轉(zhuǎn)化率的方法谨朝。
7 有哪些AB測試需要注意的經(jīng)驗或規(guī)則？
1.效果驚人，一些很微小的改動字币，它就可能造成對你KPI巨大的影響则披。
2.大多數(shù)改動都不會帶來大幅度提高KPI，所以你需要耐心洗出。
3.?Twyman法則士复，他是凡是看上去很出人意料的圖表，通常都是因為數(shù)據(jù)統(tǒng)計錯了翩活。
4.各個產(chǎn)品幾乎都不一樣阱洪，你復(fù)制他人的經(jīng)驗，往往都沒有什么效果菠镇。
5.任何能加速用戶響應(yīng)時間的改動冗荸，都會帶來KPI的正向提升。
6.點擊率是很容易提高的辟犀，但是流失率是很難改進的俏竞，千萬不要把精力放在優(yōu)化某個頁面點擊率上绸硕。
7.盡量不要做很復(fù)雜的大量改動的實驗堂竟，而是要做很簡單的小的迭代。
8 A/B測試的應(yīng)用場景有哪些玻佩？
A/B測試這種方法論的應(yīng)用非常廣泛出嘹，包括在Web產(chǎn)品、移動產(chǎn)品咬崔、數(shù)字廣告優(yōu)化領(lǐng)域的應(yīng)用税稼。
應(yīng)用場景由小到大可以可以分為：
元素/控件層面
功能層面
產(chǎn)品層面
公司層面
