定義:辛普森悖論為英國統(tǒng)計學家E.H.辛普森于1951年提出的悖論掺冠,即在某個條件下的兩組數(shù)據(jù)来颤,分別討論時都會滿足某種性質,可是一旦合并考慮囤躁,卻可能導致相反的結論冀痕。
措施:斟酌個別分組的權重,以一定的系數(shù)去消除以分組資料基數(shù)差異所造成的影響狸演,同時必需了解該情境是否存在其他潛在要因而綜合考慮言蛇。
案例:AB實驗中,大流量試驗比小流量試驗可以消除很多噪音和不確定性宵距,但是反而可能受到辛普森悖論的影響腊尚。舉個例子說明:如果只是拿100人做試驗,50人一組隨機分配满哪,很可能是28男22女對22男28女婿斥,每個性別只是相差6個人而已。如果是拿10000人做試驗哨鸭,5000人一組隨機分配民宿,很可能是2590男2410女對2410男2590女,每個性別就差了180人像鸡,而這180人造成的誤差影響就可能很大活鹰。
影響:在試驗實施上,對試驗結果我們要積極的進行多維度的細分分析坟桅,除了總體對比华望,也看一看對細分受眾群體的試驗結果,不要以偏蓋全仅乓,也不要以全蓋偏。一個試驗版本提升了總體活躍度蓬戚,但是可能降低了年輕用戶的活躍度夸楣,那么這個試驗版本是不是更好呢?一個試驗版本提升總營收0.1%子漩,似乎不起眼豫喧,但是可能上海地區(qū)的年輕女性 iPhone 用戶的購買率提升了20%,這個試驗經(jīng)驗就很有價值了幢泼。