今天這篇文章桑逝,和大家分享幾個最常見的統(tǒng)計學謬誤棘劣。
(1)辛普森悖論(Simpson's Paradox)
辛普森悖論,指的是在分組比較中都占優(yōu)勢的一方楞遏,在總評中反而成為失勢的一方茬暇。
上圖顯示的是某大學法學院和商學院招生的數據統(tǒng)計。我們可以看到寡喝,法學院男生的錄取比例為8/53=15.1%糙俗,女生錄取的比例為51/152=33.6%。同理预鬓,商學院男生的錄取比例為80.1%巧骚,女生的錄取比例為91.1%。
無論在法學院還是在商學院格二,女生的錄取比例都高于男生劈彪。本文的男性讀者讀到這里,可能會感到一絲不平顶猜。
現在我們把兩個學院錄取的男女生人數相加沧奴,再來做一下統(tǒng)計。
男生錄取的比例為209/304=68.8%长窄。女生錄取的比例為143/253=56.5%扼仲。男生的錄取率要高于女生。這下抄淑,恐怕要輪到女生感到不公了屠凶。
那么問題來了:該大學的招生政策,到底有沒有性別歧視肆资?如果有矗愧,是歧視男生還是女生?
辛普森悖論告訴我們,很多時候唉韭,在分析數據的時候夜涕,不能簡單的將分組數據匯總相加。我們需要仔細觀察分組數據的特征属愤。比如在上面這個例子中女器,法學院的錄取率要遠遠低于商學院,而大多數男生選擇申請商學院住诸。因此即使男生在法學院的申請中被拒率很高驾胆,被拒掉的絕對數量卻不見得多。女生的情況贱呐,則恰恰相反丧诺。
在我們得出任何基于統(tǒng)計分析的結論前,先認真想一想奄薇,該結論是不是符合常識驳阎?有沒有可能被表面的數據掩蓋了背后的真相?這是我們能夠從辛普森悖論中學到的教訓馁蒂。
(2)基本比率謬誤(Base Rate Fallacy)
讓我先用一個簡單的例子幫助大家理解基本比率謬誤這個概念呵晚。
假設小紅熱愛音樂,幾乎每天在家里彈鋼琴沫屡,有時候還友情客串朋友的宴會為大家演奏一曲劣纲。 現在請問,小紅的職業(yè)是什么谁鳍?
在沒有其他信息的前提下,你應該選擇B)會計劫瞳,而非A)琴師倘潜。主要原因在于,從事會計的人口數量志于,要遠遠高于從事琴師工作的人口數涮因。這個數量,就叫做基本比率(Base Rate)伺绽。
再舉個例子养泡。乳房影像檢查(Mammography),在幫助女性排查乳腺癌中應用廣泛奈应。事實上不少機構都鼓勵40歲以上的女性每年在體檢中包括乳房影像檢查澜掩,以確認自己是否患上乳腺癌。
以一個40歲左右的女性為例杖挣〖玳牛基于美國的統(tǒng)計數據,該女性患有乳腺癌的概率大約為1%左右惩妇≈旰海【注意筐乳,這個比率和一位女性一生中查出乳腺癌的概率是兩個概念。根據美國的數據乔妈,到80歲查出乳腺癌的概率為12%左右蝙云。】
如果她選擇通過乳房影像檢查來測試自己是否患上乳腺癌路召,檢查結果出現誤差(即被誤診患上乳腺癌)的概率為9%左右勃刨。
那么問題來了:如果一位女性病人去做了一個乳房影像檢查,測試結果顯示她患上乳腺癌优训。她真正患上乳腺癌的概率是多少朵你?
很多人可能會回答91%,因為乳房影像檢查出現誤診的概率為9%揣非。但這是錯誤的答案抡医。
事實上,她患上乳腺癌的概率僅為9%早敬。計算過程如上圖所示忌傻。由于患上乳腺癌的女性的基本比率(Base Rate)本來就很小,再加上乳房影像檢查自身帶有的誤診率搞监,因此導致最后測試結果為患癌的人群水孩,其實只有9%左右真的患上了乳腺癌。
這個例子告訴我們琐驴,在我們做出任何判斷前俘种,首先需要對基本比率有個大致的認識,否則很容易不小心就陷入統(tǒng)計的陷阱绝淡。
(3)羅杰斯現象(Will Rogers Phenomenon)
羅杰斯現象指的是宙刘,在做數據統(tǒng)計時,如果把一個樣本從一個組移去另一個組牢酵,會同時提升兩個組的平均值悬包。
一些讀者看到這句話,可能會覺得不可思議馍乙。讓我通過一個例子來給大家解釋一下布近。
假設有6個人,分別為40丝格、50撑瞧、60、70显蝌、80季蚂、和90歲。現在將他們分為兩組。第一組包括40歲和50歲的兩人扭屁,因此組平均年齡為45歲算谈。剩下的歸入第二組,因此組平均年齡為75歲料滥。
現在把第二組中的那位60歲的哥們然眼,移去第一組。移過去以后葵腹,第一組的平均年齡變?yōu)?0歲高每,而第二組的平均年齡變?yōu)?0歲。兩組的平均年齡都上升了践宴。
羅杰斯現象鲸匿,導致我們在醫(yī)學領域產生一些容易讓人混淆的,似是而非的結論阻肩。
舉例來說带欢,前列腺特異抗原測試(PSA測試)可以幫助我們診斷前列腺癌。在沒有發(fā)明這項測試前烤惊,很多人患了前列腺癌卻不自知乔煞,因此他們被歸入“健康”人群。而那些被確診前列腺癌的患者柒室,被歸入“患者”人群渡贾。
有了PSA測試這項技術以后,很多人在年紀輕輕時也能通過該測試確診自己是否患上前列腺癌雄右。這部分人空骚,就被移出“健康”人群,歸入“患者”人群擂仍。
由于這個歸類的變化囤屹,導致患上前列腺癌的“患者”人群,以及“健康”人群的平均壽命都得到了提高防楷。因為“健康”人群中被移去一部分癌癥患者,而這些癌癥患者屬于“輕度病患”(前列腺癌的致死率很低)则涯,因此“健康”和“患者”兩個人群的壽命平均值均得到了提升复局,讓人誤以為PSA測試能夠幫助我們延長壽命。
【注:如果你沒有看懂這個例子粟判,可以嘗試回過頭去再讀一遍亿昏,多想想就能明白了〉到福】
(4)伯克森悖論(Berkson's Paradox)
伯克森悖論角钩,指的是兩個本來無關的變量之間體現出貌似強烈的相關關系。
舉個例子來說,假設某學校在招收學生時递礼,要求學生要么學習成績好惨险,要么體育成績好。
所有的報考學生需要參加兩門考試:文化(語數外)脊髓,和體育(跑跳投)辫愉。最后,學校僅錄取在任一考試中考到90分以上的報考學生将硝。
所以能夠被學校錄取的學生恭朗,要么在文化考試中考到90分以上,或者在體育考試中考到90分以上依疼,或者在兩門考試中都考到90分以上痰腮。
現在如果我們分析這些被入取學生的成績分布,會發(fā)現一個學生的學習成績律罢,和體育成績是負相關的膀值。因為那些體育成績最好的學生(比如體育100分),他們的文化平均分為50分(假設他們的文化考試呈現正態(tài)分布)弟翘。而體育成績最差的學生(比如體育成績10分)虫腋,其文化平均成績?yōu)?5分(因為只有超過90分的學生才被錄取)稀余。
因此悦冀,分析人員可能會得出結論:體育越好,文化成績越差睛琳。文化成績越好盒蟆,體育越差。但這個結論顯然是錯誤的师骗。
(5)生日悖論(Birthday Paradox)
先來算一道很簡單的題目:
假設你的班上一共有23位同學历等,其中任何兩位同學生日撞期的概率為多少?
有人可能會這么想:一年有365天辟癌,把這23位同學分布在365天里寒屯,撞期的概率應該很小。大概不到10%吧黍少。
事實上寡夹,23位同學中,生日撞期的概率為1/2厂置。就是說菩掏,有一半的概率,這個班上至少有一對同學的生日相同昵济。
對于這個問題智绸,你可以這么考慮野揪。我們先來算一下23位同學生日不撞期的概率。然后用1減去那個數字瞧栗,就是這些同學生日撞期的概率斯稳。
假設23位同學排隊逐個進入教室。第一個進入教室的同學沼溜,其生日和其他同學不一樣的概率為1平挑。第二位同學,其生日和其他同學不一樣的概率為364/365系草。第三位同學通熄,其生日和前面兩位同學生日不一樣的概率為363/365找都。
以此類推唇辨,所有同學生日不撞期的概率為1 X 364/365 X 363/365 ......
然后用1減去上面的乘積,可以得出能耻,當教室里有23個同學時赏枚,其結果為0.5左右。
總結
統(tǒng)計學是一門非常有用的學科晓猛《龇可以毫不夸張的說,每一位大學生都應該學一點基礎統(tǒng)計學戒职。但是上面的例子也告訴我們栗恩,統(tǒng)計學中有不少陷阱。如果不了解這些誤區(qū)洪燥,我們很可能會被錯誤的統(tǒng)計方法迷惑磕秤,得出不正確的結論。
提高自己的科學知識水平捧韵,保持不斷學習的習慣市咆,是讓自己變得更聰明的唯一途徑。
希望對大家有所幫助再来。