即使經(jīng)常進行A/B測試的公司也常見此種情況:一年里一個接一個地運行測試,在測試后將勝出者推出尚镰。但一年后再看阀圾,轉(zhuǎn)化率竟然與最初版本差不多!這種打臉的情況總是發(fā)生狗唉。
為什么初烘?要么是測試結(jié)束得太早,要么是樣本量太小敞曹,或者兼而有之账月。我曾在一篇博文里詳細作了解釋,在宣布測試完成之前澳迫,你需要滿足3個指標:
1局齿、有足夠的樣本量:實驗有足夠的人參與,以便有足夠的數(shù)據(jù)來獲得科學(xué)的結(jié)論橄登。需要使用A/B測試樣本量計算器預(yù)先計算所需樣本量抓歼。
2、測試需要運行多個銷售周期拢锹,2到4周左右谣妻。如果你只做了幾天就停止測試(即使達到了所需的樣本量),也只是取了便利樣本卒稳,而不是有代表性的樣本蹋半。
3、顯著性達到95%(P≤ 0.05)或以上充坑。注意:記住P值并不能告訴我們方案B比方案A好减江,這一點非常重要。