我們前期所介紹的“同期群”分析法是對于時間窗口上不同時間段的特定指標比較，而今天所介紹的“A/B測試”是同一個時間窗口上不同用戶群針對不同版本的反應(yīng)做比較。
所謂A/B測試财边，是用來比較兩個（或多個）版本的網(wǎng)頁或者APP哪個“表現(xiàn)”更好的一種實驗氧苍。A/B測試本質(zhì)上是一個實驗夜矗。在這個實驗中，一個頁面的兩個或多個不同的方案顯示給特定用戶群（此用戶分群有可能為隨機让虐，也有可能有特定特征）紊撕，然后根據(jù)統(tǒng)計數(shù)據(jù)來分析，哪個方案在指定的“表現(xiàn)”上更好赡突。我們經(jīng)常會面臨多個設(shè)計方案或營銷策略的選擇对扶，A/B測試是解決這類問題很好的方法。
通過A/B測試惭缰，我們可以對比不同版本的用戶體驗區(qū)別辩稽，并針對更新版的網(wǎng)頁或APP提問，然后收集相關(guān)數(shù)據(jù)从媚，分析更新版網(wǎng)頁或APP對我們既定的度量指標造成的影響。
目前市面上的大部分A/B測試工具均不支持對流量進行計劃分配即流量分配策略（一般為隨機分配）患整。這樣得到的測試結(jié)果拜效，不僅不能真實的反映出目標核心用戶的喜好還有可能給產(chǎn)品經(jīng)理造成誤導，對產(chǎn)品改進方向做出誤判各谚。在這推薦用戶行為分析工具Cobub Razor紧憾，它可以幫我們準確的識別用戶屬性，從而為A/B測試提供流量分配策略昌渤，保證流量分配的科學性赴穗，試驗結(jié)果的可信性。此外Cobub還提供了實驗目標指標的實時監(jiān)控及數(shù)據(jù)分析膀息，我們可以根據(jù)分析結(jié)果實時優(yōu)化調(diào)整流量策略般眉，助力形成產(chǎn)品優(yōu)化的閉環(huán)。
A/B測試有利于我們從界面優(yōu)化中生成假設(shè)潜支，也有利于我們依據(jù)充分的數(shù)據(jù)分析結(jié)論做出正確的決策甸赃。有A/B測試的支持，我們做決策時就可以從拍腦袋的“我認為…”轉(zhuǎn)變?yōu)閺臄?shù)據(jù)分析結(jié)果來看“我們知道…”冗酿。通過衡量更新版對各個度量指標的影響埠对，我們可以確保每個更新變化都產(chǎn)生積極的結(jié)果。
A/B測試如何運作裁替？
在A/B測試中项玛，我們可以給同一個網(wǎng)頁或APP界面創(chuàng)建更新版。版本之間的差異可以非常簡單弱判，如改動單個圖標或按鈕襟沮，也可以對頁面完全重新設(shè)計。測試過程中，我們按既定策略給一半用戶顯示頁面原始版（稱之為控制組）臣嚣，一半顯示頁面的更新版（稱之為測試組）净刮。
在A/B測試中，我們收集控制組和測試組的用戶行為數(shù)據(jù)硅则，然后分析更新版對用戶行為造成的影響淹父。
為什么需要A/B測試？
不管是個人怎虫，團隊還是公司暑认，做A/B測試分析數(shù)據(jù)結(jié)果之后，我們可以用數(shù)據(jù)說話大审，來優(yōu)化產(chǎn)品蘸际、提升用戶體驗，讓用戶行為朝著我們期望的方向發(fā)展徒扶。A/B測試還能驗證我們的假設(shè)粮彤。有時候我們從經(jīng)驗出發(fā)做出的產(chǎn)品改變并不能讓得到我們預期的結(jié)果（原因是我們的客戶不是讓我們隨意安排的）。通過A/B測試姜骡，我們可以擺脫經(jīng)驗主義导坟，轉(zhuǎn)向數(shù)據(jù)驅(qū)動產(chǎn)品發(fā)展。
A/B測試能持續(xù)不斷地讓我們對產(chǎn)品做出改進圈澈，不斷提升用戶體驗惫周，從而幫助我們達到各種目標，比如注冊率康栈、轉(zhuǎn)化率等递递。
例如，運營團隊想要通過一個營銷活動的著陸頁來提高銷售指標啥么，為了達到這個目的登舞，我們會嘗試對標題、視覺圖像饥臂、表單逊躁、行動按鈕以及頁面的整體布局進行A/B測試。
每次測試一個更改隅熙，可以幫助我們確定哪些更改對用戶的行為產(chǎn)生了影響稽煤。隨著時間的推移，我們的產(chǎn)品就會因為測試中產(chǎn)生的這些成功改進而變的越來越好囚戚。
A/B測試使我們能夠在營銷活動中針對我們想要的結(jié)果來優(yōu)化產(chǎn)品并讓用戶基于我們的目標采取行動酵熙。
通過測試廣告文案，我們可以了解哪個版本吸引了更多用戶的點擊驰坊。通過測試隨后的登錄頁面匾二，我們可以了解到哪種布局可以促進用戶的購買。如果每個步驟的改動都能有效獲得新客戶，那么營銷活動成本就會大大的降低察藐。
A/B測試也可以被產(chǎn)品經(jīng)理和設(shè)計師用來演示新特性或者改變用戶體驗產(chǎn)生的影響皮璧。產(chǎn)品的登錄、用戶參與分飞、模式和產(chǎn)品體驗都可以通過A/B測試進行優(yōu)化悴务。總之譬猫，我們可以通過A/B測試來實現(xiàn)目標讯檐，驗證假設(shè)。
A/B測試過程
下面是A/B測試框架染服，我們可以用它來運行測試：
? 收集數(shù)據(jù)：對產(chǎn)品進行數(shù)據(jù)分析可以讓我們發(fā)現(xiàn)問題從而找到需要優(yōu)化的方向别洪。首先我們需要收集數(shù)據(jù)，可以從站點或APP高流量的區(qū)域開始柳刮，這有助于我們快速發(fā)現(xiàn)問題的關(guān)鍵所在挖垛。同時我們需要尋找能夠改進的低轉(zhuǎn)化率和高流失率的頁面。
? 確定目標：我們的轉(zhuǎn)換目標是用來衡量更新版是否比原始版用戶體驗更好秉颗，更成功的標準晕换。目標可以是任何東西，如點擊一個按鈕站宗、鏈接到產(chǎn)品購買或者完成注冊等。
? 生成假設(shè)：一旦明確了目標益愈，我們就可以生成A/B測試的假設(shè)梢灭，這個假設(shè)用來解釋為什么我們覺得更新版比原始版更好。在有了這個假設(shè)清單之后蒸其，我們可以按照預期的結(jié)果和實施難度來按順序進行測試敏释。
? 創(chuàng)建變化：有了前面幾步之后，我們就可以對我們的網(wǎng)站或APP做出期望的改變摸袁，設(shè)計出迭代方案钥顽，這些改變可以是按鈕的顏色、頁面元素的順序交換靠汁、隱藏導航或者完全重新布局的東西蜂大。我們創(chuàng)建的這些變化要確保它們符合我們的預期目標。
? 運行實驗：啟動我們的實驗蝶怔，等待用戶參與奶浦。在這一步，我們網(wǎng)站或APP的用戶會被隨機分配到控制組和測試組踢星，用戶每一步的操作都會被紀錄采集澳叉，計算和比較，以確定控制組和測試組在每一項改變上的表現(xiàn)。
? 分析結(jié)果：實驗完成之后就是結(jié)果分析成洗。A/B測試會顯示實驗數(shù)據(jù)五督，并告訴我們兩個版本的用戶行為是否存在顯著差異。
? 發(fā)布最佳版本：如果測試組的行為達到了我們的預期目標瓶殃，那么我們就可以繼續(xù)根據(jù)A/B測試結(jié)果進一步改進產(chǎn)品充包。反之，也不必氣餒碌燕，我們可以把此次測試作為經(jīng)驗并且生成新的假設(shè)然后繼續(xù)測試误证。
不管測試結(jié)果如何，我們都要根據(jù)測試經(jīng)驗來實現(xiàn)產(chǎn)品優(yōu)化的閉環(huán)并持續(xù)不斷的提升用戶體驗修壕。
以下是使用A/B測試過程中常產(chǎn)生的幾個誤區(qū)：
?試驗成功不等于效果提升
?隨機選取用戶參與試驗
?多次試驗愈捅，一點修改
?屏蔽A/B版本的人為選擇
本文原創(chuàng)首發(fā)于Cobub 微信公眾號dev-cobub
Cobub Razor移動應(yīng)用數(shù)據(jù)統(tǒng)計分析工具開源項目地址https://github.com/cobub/razor
Cobub社區(qū)QQ194022996
