[國外設計第145期]
幾周前驻右，我在舊金山的Yelp總部參加了一場設計師與極客們的活動Anna Blaylock和Navin Iyengar兩位都是Netflix的產品設計師什黑，他們分享了自己多年在千萬級用戶群中做A/B測試的經驗。他們也展示了相關的產品案例堪夭，幫助與會者思考自己的設計愕把。
下面是我關于他們演講做的記錄拣凹，其中包含我最喜歡的一些精華。
演講的照片
實驗
我非常喜歡PPT的第一頁——絕命毒師里的這張圖用得很聰明恨豁，能表現(xiàn)實驗的概念嚣镜。
科學的方法
假設
在科學中，假設是指一個想法或一套解釋橘蜜，需要通過研究和實驗來驗證菊匿。在設計里，一套理論或猜想同樣可以被稱為假設计福。
假設的基本概念跌捆，是沒有確定結果的。它經得起檢驗象颖，這些測試也可以被重現(xiàn)佩厚。
“A/B測試背后的總體概念，是創(chuàng)造一套實驗力麸，有對照組和一個或更多實驗組（在Netflix中這被稱作‘單元’）可款，對他們進行區(qū)別對待。在實驗中克蚂，每個用戶都屬于唯一的單元，其中一個單元會被設計成‘默認單元’筋讨。這個單元代表著對照組埃叭，使用體驗與所有沒有加入實驗的Netflix用戶相同∠ず保”——Netflix技術博客
Netflix的A/B測試是這樣進行的：隨著測試啟動赤屋，它們會記錄特定的重要指標。例如播放時間和留存率之類的因素壁袄。一旦測試者得出足夠有意義的結論类早，他們就會進一步觀察每組實驗的效果，定義出各個版本中的優(yōu)勝者嗜逻。
實驗
許多像Netflix這樣的公司通過實驗保障用戶數據栈顷。同樣重要的是逆日，投入時間和精力合理安排實驗，確保數據的種類和數量足以有效地闡明他們感興趣的問題萄凤。
你可能會注意到室抽，Netflix首頁的焦點區(qū)域似乎隨著登錄狀態(tài)改變。它們都是Netflix復雜實驗的一部分靡努，讓你觀看他們的節(jié)目坪圾。
我首次登錄看到的首頁晓折。
PPT中的圖片：用戶注銷后會看到紙牌屋的頁面。
我第二次登錄時看到的頁面兽泄。
我換了另一個賬號登錄看到的頁面已维。
我換了一個“兒童”賬號登錄看到的頁面。
我未登錄時看到的頁面已日。
A/B測試的概念垛耳，是向不同用戶群呈現(xiàn)不同內容，收集他們的反應飘千，通過結果來建立未來的策略堂鲜。Netflix工程師Gopal Krishnan寫的這篇文章里提到：“如果不在90秒內吸引一個用戶的注意力，這個用戶就很可能失去興趣护奈，去做其他的事情缔莲。這些失敗的情況，往往是因為我們沒有呈現(xiàn)正確的內容霉旗，或者我們呈現(xiàn)了正確的內容但沒有提供足夠的觀賞理由痴奏。”
Netflix早在2013年做過一個實驗厌秒，用來研究是否可以通過創(chuàng)造一些不同版本的作品读拆，來提高某個標題的收視率。結果如下：
圖片來自Netflix技術博客
Krishnan補充道：“這個信號很早提示我們鸵闪，用戶對于封面變化的敏感檐晕。這個信號也表明，還有更好的方式蚌讼，可以通過Netflix的用戶體驗辟灰，幫助用戶找到他們要的那一類故事〈凼”
Netflix后來打造了一套系統(tǒng)芥喇，能自動根據縱橫比、裁剪凰萨、潤色和不同語言的同一張背景圖為作品分組继控。他們在TV節(jié)目上也重復這個實驗，用來追蹤相關作品的表現(xiàn)沟蔑。例子如下：
圖片來自Netflix技術博客湿诊。兩張帶有標記的圖片明顯勝過其他版本。
圖片來自Netflix技術博客瘦材。最后一張帶標記的圖片明顯勝過其他版本厅须。
請看兩篇博客文章，可以了解更多關于Netflix的A/B測試：
- Netflix如何通過A/B測試選擇最佳的視頻封面
- Netflix實驗平臺食棕，一項由專門工程師團隊支持的服務朗和，使每一個Netflix工程師團隊都能夠進行A/B測試错沽。
我的收獲
A/B測試是研究用戶行為的最可靠的方式。作為設計師眶拉，我們應該通過實驗的角度千埃，思考自己的項目。
PPT中的圖片：你的直覺未必正確忆植。
- 何時以及為何進行A/B測試放可？設計完工后，運用A/B測試調整設計細節(jié)朝刊，追求2項指標：留存率和收入耀里。通過A/B測試，全產品全天候追蹤用戶拾氓，可以發(fā)你的改變是否提升了留存率或者增加了收入冯挎。如果沒有，則采用默認方案咙鞍。用這種方式房官，A/B測試可以持續(xù)用來提升業(yè)務指標。
- 用戶的需求和行為续滋，是你希望的那樣嗎翰守？我的經驗是，通常吃粒，用戶并不能像你期望的那樣迅速完成一個任務潦俺。而且有時候，他們甚至找不到你放在頁面上的某個特定的按鈕徐勃。原因可能有很多種：設計不夠直觀；顏色不夠鮮明；用戶對技術陌生；他們不知道如何做決定特幔，頁面上太多選項汗洒；其他等等。
-
你的直覺正確嗎渤滞？遺憾的是，涉及到用戶行為時，我們的直覺可能是錯的——唯一的證明方法就是通過A/B測試揉稚。A/B測試是檢驗哪種用戶體驗設計更加有效的最佳方案。在工作中熬粗，我們的用戶產品團隊搀玖，就通過A/B測試在我們的房地產網站上得到了驗證。比如驻呐，他們想了解是否可以通過設計改進灌诅，來提高用戶點擊Google廣告的注冊率芳来。他們創(chuàng)造了幾個不同的實驗性設計，對它們進行測試猜拾。他們認為那些去掉了房產圖片的設計會勝出即舌，但最終發(fā)現(xiàn)去掉房產圖片和價格信息的轉化率最高。
- 探索邊界。最佳創(chuàng)意來自任何的創(chuàng)意探索盯仪。在工作中紊搪，我們的產品團隊協(xié)作進行許多項目磨总。由于牽扯到太多方面（從設計師到產品經理蚪燕，再到開發(fā)者）娶牌，我們必須一起探索邊界馆纳。測試了我們的原型之后，有些最佳創(chuàng)意來自開發(fā)者或產品經理鲁驶。
- 觀察人們的行為，忽略他們的言辭径荔。與用戶交談時，牢記一點：他們總是言行不一睛蛛。我這周發(fā)起了一些用戶測試荸频，有充分的理由告訴你為什么旭从。我讓一個用戶試用聯(lián)系人列表界面的原型遇绞，我問他會不會經常排序和過濾聯(lián)系人蹄咖。他說不會澜汤，因為他不需要俊抵。但是當他發(fā)現(xiàn)新的下拉篩選菜單徽诲，他感到很驚奇，原來同時排序和篩選多個選項如此方便——然后他馬上問產品什么時候上線這個功能钱贯。
- 用數據來估計機會大小秩命。一切都在于為什么。數據可以支撐創(chuàng)意成型拿愧。
了解用戶是設計過程中最令人興奮的部分。設計沒有成品，許多的改版和迭代可以改進設計叹坦，給用戶帶來盡可能好的體驗募书。
本文最初發(fā)布在Medium鬼吵。
相關文章
原文鏈接：http://blog.invisionapp.com/how-netflix-does-ab-testing/
作者信息：Jessie Chen, UI/UX Designer
Jessie Chen currently works at ZapLabs, where she designs a CRM for real estate professionals. She enjoys gathering user feedback through user testing, and iterating on design ideas to solve usability issues. In her spare time, she shares ideas on Medium about how design impacts businesses.
Follow me on Twitter
