什么是AB測試粹湃？
為同一個目標(biāo)恐仑，設(shè)計(jì)兩種方案，將兩種方案隨機(jī)投放市場中为鳄，讓組成成分相同（相似）用戶去隨機(jī)體驗(yàn)兩種方案之一裳仆，根據(jù)觀測結(jié)果，判斷哪個方案效果更好孤钦，結(jié)果可以通過CTR或者下單率來衡量歧斟。
判斷效果，需要知道的數(shù)據(jù)偏形？
兩個樣本數(shù)量 NA,NB构捡，轉(zhuǎn)化率/下單率，PA,PB
怎么衡量AB測試的效果壳猜？（一種方案比另一種方案更有效）
由于AB測試是讓用戶在兩個選擇中隨機(jī)選擇一項(xiàng)勾徽，相當(dāng)于二項(xiàng)分布，根據(jù)統(tǒng)計(jì)學(xué)原理统扳，可知若樣本足夠大喘帚，那么標(biāo)準(zhǔn)的二項(xiàng)分布的累計(jì)分布趨近于正態(tài)分布，即抽樣的分布趨于正態(tài)分布咒钟，可采用z檢驗(yàn)吹由。
即PA~N(PA,PA*(1-PA)/NA)?
PB~N(PB,PB*(1-PB)/NB)
PA-PA~N(PA-PB,PA*(1-PA)/NA+PB*(1-PB)/NB）
AB-test的假設(shè)檢驗(yàn)：
H0:A、B無差異
H1:A朱嘴、B有顯著差異
根據(jù)樣本觀察值倾鲫，構(gòu)造統(tǒng)計(jì)量：
若Z>Z0.025 粗合，那么拒絕原假設(shè)，認(rèn)為兩種方案有顯著差異乌昔。
樣本的可信性
兩類錯誤：
第一類錯誤α錯誤：“棄真”隙疚，原假設(shè)為真，卻落在拒絕域內(nèi)磕道。
第二類錯誤β錯誤：“取偽”供屉，原假設(shè)為假，卻接受原假設(shè)溺蕉。
統(tǒng)計(jì)功效power：
在上文中我們使用的是樣本的估計(jì)值代表整體伶丐，但是可能存在偏差，即可能存在兩類錯誤疯特，如何去估計(jì)樣本是否能代表真實(shí)哗魂，統(tǒng)計(jì)學(xué)中使用統(tǒng)計(jì)功效來衡量。
統(tǒng)計(jì)功效：在假設(shè)檢驗(yàn)中漓雅，拒絕原假設(shè)后接受備擇假設(shè)的概率录别，計(jì)算的是（1-β）的概率。統(tǒng)計(jì)功效的值期望越大越好故硅。
做ABtest時需要考慮的問題？
1.樣本是否具有代表性纵搁，首先在樣本的選取中就需要先行進(jìn)行控制吃衅；
2.估計(jì)值是否是實(shí)際值的真實(shí)反映？即估計(jì)的準(zhǔn)確性腾誉。
3.如果樣本有偏差徘层，考慮區(qū)間估計(jì)
4.怎么分配流量來做多組測試？---根據(jù)統(tǒng)計(jì)功效計(jì)算
方差分析
方差分析（analysis of variance利职，ANOVA）趣效，即變量分析，是對多個樣本平均數(shù)差異顯著性檢驗(yàn)的方法猪贪。方差分析又稱為F檢驗(yàn)跷敬。
分差分析的總體思想就是數(shù)據(jù)中的總變異，按變異原因劃分热押。
變異的基本來源有兩個：
*實(shí)驗(yàn)變量：樣本的觀測因素引起的變異西傀，也稱為組間差異
*隨機(jī)誤差：由于測量誤差導(dǎo)致的每個個體間的差異，也稱為組內(nèi)差異
總偏差平方和=組間偏差平方和+組內(nèi)偏差平方和 SST=SSR+SSE
