AB測試該怎么做涌哲?

即使經(jīng)常進行A/B測試的公司也常見此種情況:一年里一個接一個地運行測試,在測試后將勝出者推出尚镰。但一年后再看阀圾,轉(zhuǎn)化率竟然與最初版本差不多!這種打臉的情況總是發(fā)生狗唉。

為什么初烘?要么是測試結(jié)束得太早,要么是樣本量太小敞曹,或者兼而有之账月。我曾在一篇博文里詳細作了解釋,在宣布測試完成之前澳迫,你需要滿足3個指標:

1局齿、有足夠的樣本量:實驗有足夠的人參與,以便有足夠的數(shù)據(jù)來獲得科學(xué)的結(jié)論橄登。需要使用A/B測試樣本量計算器預(yù)先計算所需樣本量抓歼。

2、測試需要運行多個銷售周期拢锹,2到4周左右谣妻。如果你只做了幾天就停止測試(即使達到了所需的樣本量),也只是取了便利樣本卒稳,而不是有代表性的樣本蹋半。

3、顯著性達到95%(P≤ 0.05)或以上充坑。注意:記住P值并不能告訴我們方案B比方案A好减江,這一點非常重要。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末捻爷,一起剝皮案震驚了整個濱河市辈灼,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌也榄,老刑警劉巖,帶你破解...
    沈念sama閱讀 206,126評論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件降宅,死亡現(xiàn)場離奇詭異囚霸,居然都是意外死亡,警方通過查閱死者的電腦和手機唠雕,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,254評論 2 382
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來岩睁,“玉大人,你說我怎么就攤上這事冰啃。” “怎么了阎毅?”我有些...
    開封第一講書人閱讀 152,445評論 0 341
  • 文/不壞的土叔 我叫張陵,是天一觀的道長点弯。 經(jīng)常有香客問我,道長狼钮,這世上最難降的妖魔是什么捡絮? 我笑而不...
    開封第一講書人閱讀 55,185評論 1 278
  • 正文 為了忘掉前任福稳,我火速辦了婚禮,結(jié)果婚禮上的圆,老公的妹妹穿的比我還像新娘鼓拧。我一直安慰自己略板,他們只是感情好慈缔,可當我...
    茶點故事閱讀 64,178評論 5 371
  • 文/花漫 我一把揭開白布藐鹤。 她就那樣靜靜地躺著,像睡著了一般娱节。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上肄满,一...
    開封第一講書人閱讀 48,970評論 1 284
  • 那天,我揣著相機與錄音掰担,去河邊找鬼。 笑死带饱,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的勺疼。 我是一名探鬼主播,決...
    沈念sama閱讀 38,276評論 3 399
  • 文/蒼蘭香墨 我猛地睜開眼酪耕,長吁一口氣:“原來是場噩夢啊……” “哼因妇!你這毒婦竟也來了猿诸?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 36,927評論 0 259
  • 序言:老撾萬榮一對情侶失蹤址芯,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后谷炸,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體禀挫,經(jīng)...
    沈念sama閱讀 43,400評論 1 300
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 35,883評論 2 323
  • 正文 我和宋清朗相戀三年描孟,在試婚紗的時候發(fā)現(xiàn)自己被綠了匿醒。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 37,997評論 1 333
  • 序言:一個原本活蹦亂跳的男人離奇死亡廉羔,死狀恐怖憋他,靈堂內(nèi)的尸體忽然破棺而出孩饼,到底是詐尸還是另有隱情竹挡,我是刑警寧澤,帶...
    沈念sama閱讀 33,646評論 4 322
  • 正文 年R本政府宣布汽畴,位于F島的核電站忍些,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏坎怪。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 39,213評論 3 307
  • 文/蒙蒙 一嘁酿、第九天 我趴在偏房一處隱蔽的房頂上張望闹司。 院中可真熱鬧沐飘,春花似錦、人聲如沸耐朴。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,204評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至镰吵,卻和暖如春俯艰,著一層夾襖步出監(jiān)牢的瞬間锌订,已是汗流浹背竹握。 一陣腳步聲響...
    開封第一講書人閱讀 31,423評論 1 260
  • 我被黑心中介騙來泰國打工啦辐, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人续挟。 一個月前我還...
    沈念sama閱讀 45,423評論 2 352
  • 正文 我出身青樓,卻偏偏與公主長得像诗祸,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子直颅,可洞房花燭夜當晚...
    茶點故事閱讀 42,722評論 2 345

推薦閱讀更多精彩內(nèi)容

  • 專業(yè)考題類型管理運行工作負責(zé)人一般作業(yè)考題內(nèi)容選項A選項B選項C選項D選項E選項F正確答案 變電單選GYSZ本規(guī)程...
    小白兔去釣魚閱讀 8,975評論 0 13
  • 選擇題部分 1.(),只有在發(fā)生短路事故時或者在負荷電流較大時,變流器中才會有足夠的二次電流作為繼電保護跳閘之用功偿。...
    skystarwuwei閱讀 12,750評論 0 7
  • 公司有個車間主任械荷,因為不想寫正能量日志虑灰,主動退群了。正能量日志指的是穆咐,每天寫工作計劃,并總結(jié)一天的學(xué)習(xí)和反思庸娱,還要...
    快快媽媽育兒說閱讀 313評論 0 0
  • 我很想你, 第一句是假的归露, 第二句也是假的斤儿。 以前我有點好事就喜歡滿世界說道, 現(xiàn)在覺得告訴你就夠了往果, 你是我的全...
    胡以閱讀 913評論 0 1
  • 第一份工作在臺企,都2008年還在用windows 98怎么這么落后呢堕油?現(xiàn)在vista都滿世界跑,還98 95在運...
    傻子快跑閱讀 380評論 0 1