缺乏明確因果關(guān)係，成功案例難以複製
A/B testing 不是萬靈丹个从，它能回答 A或B版本哪個在你的目標上表現(xiàn)較好脉幢，但卻無法說清楚「為甚麼」A比B版本更好？
測試結(jié)果可能會告訴你 A 方案帶來更高流量嗦锐，但到底為何出現(xiàn)這樣的結(jié)果嫌松，A/B testing 無法說明。
每一個微小的改變都可能影響整體脈絡奕污，所以邊看 A/B testing 成功案例萎羔，照改自己的產(chǎn)品，並不明智碳默。
smashing magazine 的這篇文章舉出一個 A/B testing 案例贾陷，團隊提供兩個版本的結(jié)帳流程，A 版本讓 user 在單一頁面就能結(jié)帳腻窒，B 版本則讓 user 必須通過多個頁面完成結(jié)帳昵宇，結(jié)果發(fā)現(xiàn)使用單頁結(jié)帳版本時， user 完成任務的比例較高儿子，作者於是說單頁結(jié)帳相較多頁結(jié)帳瓦哎，更能提升結(jié)帳完成率。
但討論區(qū)出現(xiàn)不同聲音柔逼，認為作者忽略脈絡的重要性蒋譬。
我們或許會以為，多頁和單頁結(jié)帳的內(nèi)容本身是一樣的愉适，兩者只差在頁面數(shù)量犯助，導致 user 點擊次數(shù)較多、結(jié)帳所需時間不同等维咸。
但是剂买，結(jié)帳頁面由多頁變成單頁，其實已經(jīng)完全改變 user 的結(jié)帳經(jīng)驗癌蓖。
搭配以下的圖來理解瞬哼，原本多頁結(jié)帳時，user 因為看不到此頁以外的內(nèi)容租副，一看到最上面的 sign up 坐慰，也許誤以為必須 sign up 後才能結(jié)帳，於是半路放棄用僧，但若是單頁結(jié)帳结胀，user 看到結(jié)帳流程的全貌赞咙，進而發(fā)現(xiàn)其實不須 sign up 也能完成結(jié)帳。
於是糟港，網(wǎng)站將不會流失這些原本以為非要 sign up 才能結(jié)帳攀操，所以半路放棄的訪客。
結(jié)帳頁面由多頁變成單頁着逐，表面上只有改變頁數(shù)崔赌，大體內(nèi)容不變意蛀，但當頁數(shù)改變耸别，連帶改變一次對 user 釋出的資訊量，user 發(fā)現(xiàn)「原來不一定要註冊才能結(jié)帳」县钥，對結(jié)帳流程的理解完全翻轉(zhuǎn)秀姐。
其實，嚴格來說若贮，這個案例不太像 A/B testing 省有，因為由多頁變單頁，不只在單一頁面元素上的某個維度做變動谴麦，例如：元素 - 按鈕蠢沿；維度 - 顏色，這個案例中匾效，user 第一時間在兩個版本接收到的內(nèi)容量和順序舷蟀，截然不同。
但這個討論仍是個好提醒：改變元素會影響整體脈絡面哼。
所以野宜，只要把結(jié)帳頁面由多頁變成單頁就一定能提升結(jié)帳率嗎？未必魔策，我們只能說這個做法在這個情況下可行匈子，如果你真的想知道在自己的網(wǎng)站上是否可行，最好還是自己做一個 A/B testing闯袒。
從設定目標到建立假設
假設現(xiàn)在有一間公司在做電子報行銷虎敦，內(nèi)附促銷活動，公司希望提升由電子報導向促銷活動網(wǎng)頁的流量政敢，這時該怎麼做呢其徙？
一封電子信由許多元素組成，促銷活動圖片堕仔、促銷活動文案擂橘、促銷活動按鈕位置、按鈕顏色摩骨、按鈕大小通贞、整體版面配置朗若、標題內(nèi)容...，都有可能影響 user 點擊電子報的促銷活動昌罩，那我們到底要如何從眾多假設中哭懈，選擇最能達成目標的假設去做檢驗？
這時去跟真實的 user 接觸茎用，例如訪談 user遣总、觀察 user 怎麼完成任務，會很有幫助轨功。
也許你會發(fā)現(xiàn)旭斥，user 的困擾與上面假設完全無關(guān)，其實是你寄發(fā)電子信的時間太晚古涧，早淹沒在user 的信件海裡垂券；或者你的目標 user 平常根本不會打開電子信，看到電子信一律刪掉等羡滑，而且跟 user 接觸的好處是菇爪，我們能進一步與之互動，尋找 A/B testing 中不會告訴你的 why柒昏。
一次只能測試一項凳宙，是優(yōu)點也是缺點
A/B testing 一次只能測試一個元素在一個維度上的變化，好處是能讓我們更清楚單一元素對目標的影響职祷，例如：想測試首頁放上 A/B兩種大小的圖片時氏涩，何者會引發(fā)較大瀏覽量？
壞處是堪旧，我們無法測量各種元素同時改變削葱，並組合為一個整體時表現(xiàn)如何？
例如：
500x700的圖片+熱帶濱海色調(diào)+a文案 vs 600x400的圖片+辦公室高冷色調(diào)+b文案
哪個版本會引發(fā)較高的轉(zhuǎn)換率呢淳梦？
一次改變多個元素的情形析砸，不適用 A/B testing ，必須用另一個方法 multivariate testing爆袍。
對商家而言首繁，A/B testing 結(jié)果具統(tǒng)計意義 ，不一定就有做的價值
若經(jīng)過統(tǒng)計陨囊，A方案比 B 多提升網(wǎng)頁 0.2%-3%的轉(zhuǎn)換率弦疮，對某些公司來說，即便A方案最後真的只讓目標提高 0.2%蜘醋，仍舊大賺胁塞；但對某些公司來講，即便是最好的狀況 - A方案讓目標提高 3%，也不一定能賺多少啸罢。
A/B testing 可以告訴你做與不做的結(jié)果编检，但不能告訴你是否該做。
設計師與行銷人員視角不同
有助目標的方案扰才，不見得美允懂。
例如：一般來說，設計師不會在綠色背景上放個紅按鈕衩匣，但當 A/B testing 發(fā)現(xiàn)這引發(fā)更多點擊量蕾总，有助達成行銷目標時，該如何抉擇琅捏？
這與前面提到的疑慮有關(guān) - A/B testing 無法清楚告訴我們 why
知道 why 可以幫助我們掌握原理生百，進而以它為基礎(chǔ)做變化。
例如：也許點擊量上升午绳，主因是綠背景配紅按鈕讓按鈕更顯眼置侍，既然如此映之，背景按鈕的設計只要滿足「讓按鈕對看起來更明顯」就行拦焚，不見得非要紅配綠，而是可以發(fā)展其它設計可能杠输。
多問自己赎败，到底設計企圖達成甚麼？
刻出美麗視覺蠢甲？打造順暢流程僵刮？還是完成業(yè)務目標？
在商業(yè)系統(tǒng)中的設計鹦牛，多半是為了完成業(yè)務目標搞糕，而美麗視覺、順暢流程曼追、美好體驗窍仰，則是幫助達成業(yè)務目標的途徑。
最後礼殊，想提一個和業(yè)務目標比較有關(guān)的思考驹吮，或許 A/B testing 當下的目標是降低跳出率慧邮、增加瀏覽量怎囚、增加點擊率等贮喧，但到底這些目標背後的目標是甚麼霹疫？商家的困境主因是甚麼哨免？
必須先找出這些問題背後的問題找御，A/B testing 或者其它任何 UX 方法才可能發(fā)揮效益误辑，若總是頭痛醫(yī)頭旋炒，腳痛醫(yī)腳，病永遠無法真正醫(yī)好脆淹。
A/B testing 系列參考資料
http://www.measuringu.com/blog/ab-testing.php
https://www.smashingmagazine.com/2010/06/the-ultimate-guide-to-a-b-testing/
