A/B測(cè)試-價(jià)值、挑戰(zhàn)和應(yīng)用(一)

所謂A/B測(cè)試是指為了測(cè)試某個(gè)要素對(duì)產(chǎn)出(例如銷售或者網(wǎng)絡(luò)廣告點(diǎn)擊)的影響而進(jìn)行的一種實(shí)驗(yàn)方法,其核心是控制所有其他因素不變產(chǎn)生兩個(gè)或多個(gè)實(shí)施方案并進(jìn)行實(shí)際測(cè)試以得出結(jié)論喇嘱。(這個(gè)定義是作者自己下的,使用需謹(jǐn)慎 )A/B測(cè)試在互聯(lián)網(wǎng)領(lǐng)域中應(yīng)用相對(duì)于其他領(lǐng)域更加廣泛塞栅,但是其理念和方法可以廣泛用于廣告者铜、數(shù)據(jù)庫營(yíng)銷以及各類業(yè)務(wù)優(yōu)化。

A/B測(cè)試屬于實(shí)驗(yàn)的一種放椰。實(shí)驗(yàn)方法在醫(yī)學(xué)作烟、政策制定、營(yíng)銷方面有廣泛的應(yīng)用砾医。這方面的資料大家可以參考《證析》的第二章拿撩,“實(shí)驗(yàn)及其應(yīng)用”。下面應(yīng)用的很多例子如果不特別說明都是從這本書摘過來如蚜。

A/B測(cè)試并不是新鮮事物压恒。1940年代影暴,當(dāng)美國(guó)商家準(zhǔn)備在《紐約時(shí)報(bào)》上推廣一個(gè)被稱為“年輕人唱片俱樂部”的會(huì)員資格時(shí),為了探索不同廣告的效果探赫,他們會(huì)在報(bào)紙上使用不同的廣告文案型宙。半數(shù)報(bào)紙上等著以“讓孩子進(jìn)入音樂的殿堂”為題的廣告文案,另一半等著直接訴諸父母的以“幫助你的孩子進(jìn)入音樂殿堂”為題的廣告文案期吓。商家在不同的廣告文案上使用不同的通信地址或不同的熱線電話等以計(jì)算哪個(gè)文案更能打動(dòng)讀者早歇。經(jīng)過實(shí)驗(yàn)對(duì)比發(fā)現(xiàn),后者的效果是前者的108%讨勤。除此之外還進(jìn)行了大量其他實(shí)驗(yàn)箭跳。這些實(shí)驗(yàn)和數(shù)據(jù)為營(yíng)銷人員優(yōu)化廣告文案以及營(yíng)銷推廣方式提供了堅(jiān)實(shí)的基礎(chǔ)。

實(shí)際上潭千,A/B測(cè)試可以看成是自然選擇在技術(shù)和產(chǎn)品方面的一種應(yīng)用谱姓。人們創(chuàng)造兩種或多種不同事物(這兩種事物僅有一個(gè)地方不同),然后觀察哪種事物的生存幾率更高(用某個(gè)指標(biāo)來衡量)刨晴,然后讓這種事物繁殖下去(大規(guī)模推廣)屉来。下面這個(gè)達(dá)爾文雀的例子摘自oldj’s blog ( http://oldj.net/article/ab-testing-basic-concept/ )。

“達(dá)爾文雀主要生活在太平洋東部加拉帕戈斯(Galapagos)的一個(gè)名為伊莎貝拉(Isabela)的島上狈癞,一部分生活在島的西部茄靠,另一部分生活在島的東部,由于生活環(huán)境的細(xì)微不同它們進(jìn)化出了不同的喙蝶桶。這被認(rèn)為是自然選擇學(xué)說上的一個(gè)重要例證慨绳。

同樣一種鳥,究竟哪一種喙更適合生存呢真竖?自然界給出了她的解決方案脐雪,讓鳥兒自己變異(多個(gè)設(shè)計(jì)方案),然后優(yōu)勝劣汰恢共。具體到達(dá)爾文雀這個(gè)例子上战秋,不同的環(huán)境中喙也有不同的解決方案。

上面的例子雖然和網(wǎng)站設(shè)計(jì)無關(guān)讨韭,但包含了 A/B 測(cè)試最核心的思想脂信,即:

1、多個(gè)方案并行測(cè)試透硝;
2吉嚣、每個(gè)方案只有一個(gè)變量(比如鳥喙)不同;
3蹬铺、以某種規(guī)則優(yōu)勝劣汰尝哆。

需要特別留意的是第 2 點(diǎn),它暗示了 A/B 測(cè)試的應(yīng)用范圍甜攀,——必須是單變量秋泄。有時(shí)我們的多個(gè)設(shè)計(jì)稿可能會(huì)有非常大的差異琐馆,這樣的情況一般不太適合做 A/B 測(cè)試,因?yàn)樗鼈兊淖兞刻嗔撕阈颍兞恐g會(huì)有較多的干擾瘦麸,我們很難通過 A/B 測(cè)試的方法來找出各個(gè)變量對(duì)結(jié)果的影響程度。比如歧胁,土豆燒肉和豆腐鯽魚湯都挺美味滋饲,但我們很難比較土豆和豆腐哪一個(gè)對(duì)菜的美味影響更大,而土豆燒肉和豆腐燒肉則是不錯(cuò)的比較喊巍。另外屠缭,雖然 A/B 測(cè)試名字中只包含 A、B 崭参,但并不是說它只能用于比較兩個(gè)方案的好壞呵曹,事實(shí)上,你完全可以設(shè)計(jì)多個(gè)方案進(jìn)行測(cè)試何暮,“A/B 測(cè)試”這個(gè)名字只是一個(gè)習(xí)慣的叫法奄喂。”

A/B測(cè)試聽起來是一個(gè)技術(shù)方案海洼,其實(shí)其背后暗藏著一個(gè)深刻的思想跨新,那就是基于證據(jù)的決策。人得到某種結(jié)論的邏輯過程無外乎兩種坏逢,歸納或者演繹域帐。演繹就是通過邏輯推理得到的某種結(jié)論,即用已知的一般原理考察某一特殊的對(duì)象词疼,推演出有關(guān)這個(gè)對(duì)象的結(jié)論;而歸納則是通過觀察某些個(gè)體現(xiàn)象而獲得推及總體的結(jié)論帘腹。歸納很大程度上是基于經(jīng)驗(yàn)進(jìn)行的贰盗,比如一個(gè)人連續(xù)觀察到10次燕子低飛之后下雨,那么就得出結(jié)論燕子低飛是下雨的預(yù)兆阳欲,趕快回家收衣服了舵盈。

通過這種基于經(jīng)驗(yàn)的歸納可以得到非常有價(jià)值的結(jié)論。比如中國(guó)的24節(jié)氣歌謠球化,蘊(yùn)含了祖先長(zhǎng)期積累的經(jīng)驗(yàn)秽晚。可是這種經(jīng)驗(yàn)也可能會(huì)導(dǎo)致錯(cuò)誤的結(jié)果筒愚。
至于會(huì)導(dǎo)致哪些錯(cuò)誤結(jié)果赴蝇?為什么近些年A/B測(cè)試越來越受重視?A/B測(cè)試在技術(shù)和組織上的挑戰(zhàn)有哪些巢掺?我們下回分解句伶。

下面這個(gè)鏈接是UCD China關(guān)于A/B測(cè)試的專題劲蜻,供參考。需要注意的是考余,這一方法不僅可用于互聯(lián)網(wǎng)產(chǎn)品先嬉,其他行業(yè)和產(chǎn)品也是適用的。應(yīng)該從一種思考方式角度去理解楚堤,而不僅僅是一種具體操作方法疫蔓。http://ucdchina.com/topic/332

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市身冬,隨后出現(xiàn)的幾起案子衅胀,更是在濱河造成了極大的恐慌,老刑警劉巖吏恭,帶你破解...
    沈念sama閱讀 222,865評(píng)論 6 518
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件拗小,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡樱哼,警方通過查閱死者的電腦和手機(jī)哀九,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,296評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來搅幅,“玉大人阅束,你說我怎么就攤上這事∏烟疲” “怎么了息裸?”我有些...
    開封第一講書人閱讀 169,631評(píng)論 0 364
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)沪编。 經(jīng)常有香客問我呼盆,道長(zhǎng),這世上最難降的妖魔是什么蚁廓? 我笑而不...
    開封第一講書人閱讀 60,199評(píng)論 1 300
  • 正文 為了忘掉前任访圃,我火速辦了婚禮裳食,結(jié)果婚禮上拴竹,老公的妹妹穿的比我還像新娘蘸嘶。我一直安慰自己饵撑,他們只是感情好墩衙,可當(dāng)我...
    茶點(diǎn)故事閱讀 69,196評(píng)論 6 398
  • 文/花漫 我一把揭開白布农猬。 她就那樣靜靜地躺著赚爵,像睡著了一般蜀撑。 火紅的嫁衣襯著肌膚如雪看铆。 梳的紋絲不亂的頭發(fā)上徽鼎,一...
    開封第一講書人閱讀 52,793評(píng)論 1 314
  • 那天,我揣著相機(jī)與錄音,去河邊找鬼纬傲。 笑死满败,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的叹括。 我是一名探鬼主播算墨,決...
    沈念sama閱讀 41,221評(píng)論 3 423
  • 文/蒼蘭香墨 我猛地睜開眼,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼汁雷!你這毒婦竟也來了净嘀?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 40,174評(píng)論 0 277
  • 序言:老撾萬榮一對(duì)情侶失蹤侠讯,失蹤者是張志新(化名)和其女友劉穎挖藏,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體厢漩,經(jīng)...
    沈念sama閱讀 46,699評(píng)論 1 320
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡膜眠,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,770評(píng)論 3 343
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了溜嗜。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片宵膨。...
    茶點(diǎn)故事閱讀 40,918評(píng)論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖炸宵,靈堂內(nèi)的尸體忽然破棺而出辟躏,到底是詐尸還是另有隱情,我是刑警寧澤土全,帶...
    沈念sama閱讀 36,573評(píng)論 5 351
  • 正文 年R本政府宣布捎琐,位于F島的核電站,受9級(jí)特大地震影響裹匙,放射性物質(zhì)發(fā)生泄漏瑞凑。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,255評(píng)論 3 336
  • 文/蒙蒙 一概页、第九天 我趴在偏房一處隱蔽的房頂上張望籽御。 院中可真熱鬧,春花似錦绰沥、人聲如沸篱蝇。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,749評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至麸塞,卻和暖如春秃臣,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,862評(píng)論 1 274
  • 我被黑心中介騙來泰國(guó)打工奥此, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留弧哎,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 49,364評(píng)論 3 379
  • 正文 我出身青樓稚虎,卻偏偏與公主長(zhǎng)得像撤嫩,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子蠢终,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,926評(píng)論 2 361

推薦閱讀更多精彩內(nèi)容