辛普森悖論(Simpson's Paradox)是統(tǒng)計(jì)學(xué)里一個(gè)很重要的悖論筐付,在實(shí)驗(yàn)分析中經(jīng)常被用到佑女,是一個(gè)很反直覺(jué)的效應(yīng)记靡。
維基百科的定義如下:
當(dāng)人們嘗試探究?jī)煞N變量(比如新生錄取率與性別)是否具有相關(guān)性的時(shí)候,會(huì)分別對(duì)之進(jìn)行分組研究团驱。然而摸吠,在分組比較中都占優(yōu)勢(shì)的一方,在總評(píng)中有時(shí)反而是失勢(shì)的一方店茶。
下面來(lái)舉一個(gè)很簡(jiǎn)單的例子:
小明的爸爸讓小明去菜市場(chǎng)買蘋果和香蕉一共10斤
蘋果 1 塊錢一斤蜕便, 小明買了 1 斤,花了1 * 1 = 1塊錢
香蕉 2 塊錢一斤贩幻,小明買了 9 斤轿腺, 花了2 * 9 = 18塊錢
如果計(jì)算一下小明所買的水果的平均單價(jià) = 19 / 10 = 1.9 塊/斤
時(shí)光荏苒,歲月如梭丛楚,如今小明已經(jīng)都結(jié)婚生子了族壳。這一天,小明讓小小明也去菜市場(chǎng)買蘋果和香蕉一共10斤趣些。因?yàn)橥ㄘ浥蛎浄戮#O果和香蕉都漲價(jià)了
蘋果 1塊5 一斤,小小明買了 8 斤坏平,花了 1.5 * 8 = 12塊錢
香蕉 2塊5 一斤拢操,小小明買了 2 斤,花了 1.5 * 2 = 5塊錢
水果平均單價(jià)是 17 / 10 = 1.7 塊/斤
小明就納悶了舶替,為什么明明兩種水果都漲價(jià)了令境,總的單價(jià)還降了呢?小小明說(shuō)爸爸你好笨顾瞪,因?yàn)槲叶噘I了便宜的水果舔庶,少買了貴的水果呀!
這就是辛普森悖論的一個(gè)最簡(jiǎn)單也是最常見(jiàn)的應(yīng)用陈醒,在做A/B實(shí)驗(yàn)的時(shí)候惕橙,我們經(jīng)常會(huì)比較實(shí)驗(yàn)組和對(duì)照組的總指標(biāo)(Metrics)變化,而沒(méi)有具體分析每個(gè)類別的變化钉跷,有時(shí)候就會(huì)得出完全相反的結(jié)論弥鹦,變成了笨笨的小明。這種現(xiàn)象一般也叫 Mix-Shift