背景 為了加速實驗迭代睡腿，需要兼顧：速度非春、質(zhì)量、風險雹食，Linkin提出了SQR框架：SQR: Balancing Speed, Qality and Risk in Onlin...
發(fā)簡信
IP屬地：河南
-
SQR——LinkedIn平衡實驗速度、質(zhì)量和風險的框架 -
因果推斷——準實驗法評估App新版本整體效果背景 做A/B實驗相關(guān)工作中遇到一些問題畜普，其中之一就是如何判斷新版本對用戶影響，以前的做法：1.所有新功能都預埋開關(guān)(默認關(guān))群叶，對新版本用戶隨機分桶后對實驗組開啟吃挑，用標準A/...
-
SPRT可控制兩種錯誤的證明之前知道SPRT是什么和怎么用，但是不知道怎么證明它是對的街立，最近搞懂了記錄一下舶衬。 1. SPRT簡介 SPRT是在二戰(zhàn)中由Wald發(fā)明的，最初用于檢驗炮彈質(zhì)量赎离。 如果X1, ...
-
雙樣本經(jīng)驗貝葉斯檢驗
本文是對《Objective Bayesian Two Sample Hypothesis Testing forOnline Controlled Experiments》...
-
A/B實驗設(shè)計——如何避免多重檢驗錯誤本文介紹A/B實驗中一個常見的錯誤——多重檢驗錯誤逛犹，它經(jīng)常影響實驗得到錯誤的結(jié)論。相關(guān)數(shù)學推導放在文末梁剔，跳過不影響理解圾浅。 錯誤案例 讓我們從先看一個例子：軟糖會導致粉刺么？ ...
-
多重檢驗——FWER,FDR,FCR
在A/B實驗設(shè)計——如何避免多重檢驗錯誤[http://www.reibang.com/p/2d30efc37b8b]中憾朴，介紹了什么是多重檢驗狸捕，并且介紹了Bonferron...
-
A/B實驗進階——通過實驗前數(shù)據(jù)減小方差（CUPED）CUPED（Controlled-experiment Using Pre-Experiment Data）[https://exp-platform.com/Documen...
-
ab實驗與Delta方法
背景 互聯(lián)網(wǎng)實驗一般使用基于正態(tài)分布模型的檢驗方法，但是在ab實驗中我們可能遇到這樣的情況：1.實驗結(jié)果分析众雷，實驗組均值比對照組均值提升了10%灸拍，相對提升的置信區(qū)間是多少呢做祝？...