1 ?為什么要做A/B實驗裆针？
A/B實驗，是一種驗證假設的方法寺晌，其核心方法及原理分別是對照實驗及假設檢驗世吨。
在實際實驗時會從總體抽取部分個體組成樣本單位，并從個體實驗結(jié)果推斷總體結(jié)果呻征。
1-1耘婚、實驗原因
由于對照實驗遵循單一變量原則，能通過對比發(fā)現(xiàn)因果性陆赋，并根據(jù)實驗結(jié)果量化正向和負向的影響程度沐祷。
當實現(xiàn)了某個新的特性，我們無法準確預估上線后是增益還是減益攒岛，從風險和成本的角度考量赖临，會切分小流量進行驗證。
小型實驗也意味著大部分能在單研發(fā)團隊自助完成阵子，時間和效率也能得到保障思杯。
1-2胜蛉、適用場景
A/B實驗挠进，解決的是策略優(yōu)化問題，它能幫助我們從可選策略中選擇最優(yōu)策略誊册。
它可以讓我們在已達到的山上越來越高领突，卻不能用它來發(fā)現(xiàn)一座新的山脈。
2??明確目的
數(shù)據(jù)分析的過程中一般的次序為：相關(guān)性>>因果性>>效果案怯。
先通過數(shù)據(jù)分析洞察相關(guān)性君旦，再通過實驗提出假設，模糊預估其因果性。在證明成功后根據(jù)首次實驗效果金砍，持續(xù)優(yōu)化時再進行清晰預估局蚀。
3? 確認指標
1）正負指標
正向指標，一般依據(jù)實驗路徑制定恕稠，是策略好壞的直接評價琅绅，如：留存人數(shù)->點擊人數(shù)->瀏覽人數(shù)->成交人數(shù)。
負向指標鹅巍，適用于結(jié)果指標相近的場景千扶，如實驗策略是下發(fā)公眾號模板，其中兩組的成交人數(shù)相近骆捧，但實驗組卻致使用戶取關(guān)人數(shù)激增澎羞。
如正向收益小于負向收益，則應分析問題考慮優(yōu)化實驗或停止實驗敛苇。
2）結(jié)果妆绞、過程、觀察指標
結(jié)果指標是實驗目的接谨，過程指標體現(xiàn)如何完成摆碉。觀察指標則指的相關(guān)性指標，多用于預估上升空間脓豪，如成交人數(shù)上升巷帝，但件均金額較低或購買對象僅覆蓋本人。
依據(jù)觀察指標扫夜，可以預估上升空間楞泼，并設計下一個實驗。這3個指標在此前《數(shù)據(jù)分析的邏輯思維及分析方法》已有較全面的描述笤闯，在這里也不再贅述了堕阔，有興趣的朋友可以查閱該文章。
4? 制定策略
4-1颗味、實驗類型
1）互斥實驗
遵循單一變量原則的代表是互斥實驗超陆，即用戶同時間僅可進行一個實驗，通過流量的互斥保障實驗結(jié)果不受干擾浦马。
但當實驗越來越多时呀，同時間可進行實驗的用戶量減少。流量不足晶默，樣本的代表性差谨娜。如果要等待前述實驗結(jié)束再進行下一實驗，驗證周期增長磺陡、效率降低趴梢。
2）正交實驗
為了解決互斥實驗的流量問題漠畜，使用的方法是正交實驗，也稱分層實驗坞靶。在此憔狞，分層的依據(jù)是不同的實驗。
正交實驗能使流量共享彰阴，同時進行多個實驗躯喇，但我們需保障各層的劃分參數(shù)相互獨立且互不影響。
如：上一層的綠色字體不能與綠色背景正交硝枉。但綠色字體可以與藍色背景正交實驗廉丽，綠色字體也可以與只能推薦正交。
最后還有一個小的細節(jié)是妻味，實驗流量的來源不僅是上一層實驗正压。這里涉及的內(nèi)容可以參考谷歌的論文《Overlapping Experiment Infrastructure》。
4-2责球、實驗設計
實驗設計須注意的點是焦履，盡量先粗后細，盡量先追求深度再追求廣度雏逾。當產(chǎn)品有明顯不佳的體驗嘉裤，其實更應該迅速迭代優(yōu)化，并不是每件事都要有數(shù)據(jù)栖博、有實驗證明屑宠。
5? 選擇樣本
5-1、抽樣的原則
1）唯一性原則
唯一性指在用戶進行實驗時仇让，從始至終僅命中相同的策略典奉。幫助我們更準確的歸因并讓用戶維持相同的體驗。
2）均勻性原則
均勻性原則有兩層定義丧叽，數(shù)量的均勻和特征的均勻卫玖。
前者是為了保證組間樣本數(shù)量，減少因數(shù)量小導致實驗波動過大踊淳，后者則能使樣本代表性更強假瞬。假設分組中的女性占比過高，則實驗的結(jié)論無法推斷男性在這一實驗中是否有類似的行為迂尝。
特征的均勻也應與實驗目的相結(jié)合脱茉，如實驗指標為某按鈕點擊率，實驗組樣本的點擊率已在較高的基準線上雹舀，則可能無法分析策略優(yōu)劣芦劣。
5-2粗俱、抽樣方法
1）完全隨機分組
完全隨機分組说榆，也稱CR（Complete Randomization）虚吟，是最常見的隨機分組方式之一。常見的實現(xiàn)形式為對某ID字段哈希后對10取模签财，根據(jù)結(jié)果值進入不同的組串慰。
如果隨機選取ID進行哈希取模，那么是簡單隨機抽樣唱蒸。如果先將ID排序邦鲫，逢6取1（6、16神汹、26...）后再進行哈希取模庆捺，我們也稱之為等距抽樣。
2）重新隨機分組
完全隨機分組屁魏，由于不考慮樣本的特征是否均勻滔以，可能會導致某組樣本的結(jié)果指標偏高或者偏低。為了解決此問題氓拼，我們可以AA實驗觀察樣本差異或使用重新隨機分組（ReRandomization）你画。
其原理為，每次隨機分組后桃漾，通過驗證組間差異是否小于設定的閾值坏匪。如果差異大于閾值，則重新分組撬统，否則則停止分組适滓。
此方法相比完全隨機分組更準確，由于缺乏重跑的依據(jù)恋追，得到合適的樣本是概率性的粒竖，也可能造成很大的耗時。一般而言樣本量越大几于，重分的次數(shù)越少蕊苗。
3）自適應分組
Adaptive自適應分組，是滴滴AI Lab團隊自研的分組方法沿彭，其能夠在只分組一次的情況下朽砰，讓選定的觀測指標在分組后每組分布基本一致。
它在每次分組的時喉刘，記錄當前分配的樣本數(shù)以及樣本分布瞧柔，并計算當前對象分配至該組后該組的特征均勻情況，從而決定應分至哪個組睦裳。
6? 實驗分析
6-1造锅、放量/全量
A/B實驗，是小流量驗證的實驗方式廉邑，那我們應如何放量呢哥蔚？
其前提如下：
1）結(jié)果顯著倒谷，至少保證95%的可信度。
2）正向指標價值＞負向指標價值
3）效果穩(wěn)定糙箍，不因時間周期等元素變化劇烈波動
常見的放量方式有兩種渤愁，流量開放以及實驗推廣。流量開放包含了實驗內(nèi)對照組和實驗組流量的切分深夯，也可在源頭再增加樣本抖格。
實驗推廣，則是將此實驗在其他特征咕晋、行為的群體中推廣雹拄。
6-2、再實驗&終止
再實驗的原因掌呜，從效果的次序來看是：無法肯定是否有效果->無效果->效果不明顯->負反饋办桨。負反饋如果影響了核心流程，則應考慮終止實驗站辉。
關(guān)于這2者的分析方法和需求分析是相近的呢撞，可以參考邏輯樹“自下而上”的方法，先將每1環(huán)節(jié)可能出現(xiàn)的問題饰剥，再依次向上聚合殊霞。
7 ?幾個理論
1）辛普森悖論
在分組中占優(yōu)勢的一方，在整體中有時反而是劣勢的一方汰蓉。
2）幸存者偏差
只看結(jié)果绷蹲，卻忽略了呈現(xiàn)結(jié)果的用戶是誰。
3）新奇效應
一開始對實驗策略有較好的回應顾孽，但一段時間迅速消失祝钢。
前2者，主要用于探究樣本的代表性和均勻性若厚。新奇效應則應在單一變量下拦英，重復、長時地進行實驗测秸，保障實驗結(jié)果不受實驗影響疤估。
寫在最后
這篇文章始終感覺難度很大，從雙盲實驗到A/B實驗霎冯，這兩個詞已經(jīng)被成千上萬的文章解讀過很多遍铃拇，讓我甚至寫不出前言。最終選擇的切入點是沈撞，邏輯梳理和知識再提煉慷荔。
也因為再提煉，會根據(jù)自身的理解省略了前期建設缠俺、上線監(jiān)控等環(huán)節(jié)显晶，其中監(jiān)控更適合開單章贷岸，而數(shù)學、算法原理已經(jīng)有朋友總結(jié)了很全面了吧碾，有興趣的朋友可以閱讀下方的參考資料。
感謝你看到這里墓卦，謝謝倦春。
參考資料
1、騰訊PCG-E計劃：實驗設計及決策基礎篇
2落剪、ABtest 和假設檢驗睁本、流量分配
https://www.6aiq.com/article/1555861276270?p=1&m=0
3、假設檢驗的運用
https://www.cnblogs.com/wobujiaonaoxin/articles/11910326.html
4忠怖、abtest-數(shù)據(jù)分析-假設檢驗基礎
https://cloud.tencent.com/developer/article/1427845
5呢堰、哈希表是什么
http://www.woshipm.com/pmd/805326.html
6、區(qū)塊鏈節(jié)點間的數(shù)據(jù)驗證：哈希值與非對稱加密
http://www.woshipm.com/blockchain/1019704.html
7凡泣、Overlapping Experiment Infrastructure重疊的實驗基礎設施
https://max.book118.com/html/2018/0131/151334020.shtm
8枉疼、AB實驗在滴滴數(shù)據(jù)驅(qū)動中的應用
https://mp.weixin.qq.com/s/RQmb4c0U3j7NKNWqERvkrQ
