有人說(shuō)窗轩,建造采石場(chǎng)有利于附近房?jī)r(jià)的增長(zhǎng)觉渴。有的人對(duì)此嗤之以鼻介劫,但經(jīng)過(guò)考察發(fā)現(xiàn),建造采石場(chǎng)后案淋,附近的房?jī)r(jià)在五年內(nèi)平均以3%的速度增長(zhǎng)座韵。
我們僅憑常識(shí)便可以判斷,建造采石場(chǎng)有利于附近房?jī)r(jià)的增長(zhǎng)是不成立的哎迄。事實(shí)上回右,在建采石場(chǎng)那年隆圆,整個(gè)城市的房?jī)r(jià)都開(kāi)始增長(zhǎng)。無(wú)論建不建采石場(chǎng)翔烁,房?jī)r(jià)都會(huì)上漲渺氧。
忽略房?jī)r(jià)增長(zhǎng)年份和周?chē)績(jī)r(jià),僅憑房?jī)r(jià)在建采石場(chǎng)后連續(xù)上漲就得這樣的結(jié)論蹬屹,這未免有點(diǎn)草率侣背。說(shuō)話的人混淆兩件事物的相關(guān)性和因果性】看到兩件事物具有相似的發(fā)展趨勢(shì)贩耐,就誤認(rèn)為兩者具有相關(guān)性,甚至認(rèn)為兩者是互為因果關(guān)系厦取。這就犯了統(tǒng)計(jì)學(xué)錯(cuò)誤潮太。
在數(shù)據(jù)泛濫的今天,數(shù)據(jù)代表著說(shuō)服力虾攻。虛假片面的數(shù)據(jù)滿(mǎn)天飛铡买。學(xué)會(huì)一點(diǎn)統(tǒng)計(jì)學(xué)知識(shí)能讓我們識(shí)別隱含在數(shù)據(jù)中的謊言,避免因盲信數(shù)據(jù)而吃虧霎箍。在很多人看來(lái)奇钞,統(tǒng)計(jì)學(xué)是一門(mén)艱深難懂的學(xué)科∑担《簡(jiǎn)單統(tǒng)計(jì)學(xué)》告訴你統(tǒng)計(jì)學(xué)并不晦澀難懂景埃。
《簡(jiǎn)單統(tǒng)計(jì)學(xué)》是一本名副其實(shí)的統(tǒng)計(jì)學(xué)輕松入門(mén)書(shū)。作者加里·史密斯用大量有趣的案例顶别,結(jié)合統(tǒng)計(jì)學(xué)知識(shí)向讀者講述案例的錯(cuò)誤之處谷徙。你會(huì)發(fā)現(xiàn),即使是專(zhuān)業(yè)人士也會(huì)犯一些常識(shí)性錯(cuò)誤筋夏,有些人為了符合假設(shè)理論是如何“篩選”數(shù)據(jù)的蒂胞,一些集團(tuán)為了迷惑消費(fèi)者又如何“歪曲”展現(xiàn)圖像。讀完整本書(shū)条篷,讀者會(huì)連呼受騙骗随,身邊的數(shù)據(jù)陷進(jìn)竟是如此多,在觀察數(shù)據(jù)之前不自覺(jué)地對(duì)其真實(shí)性進(jìn)行思考赴叹。
加里·史密斯曾在耶魯大學(xué)任教鸿染,擅長(zhǎng)結(jié)合生活中的實(shí)例,深入淺出地剖析其中的統(tǒng)計(jì)學(xué)錯(cuò)誤乞巧,也因此兩度獲得耶魯大學(xué)的教學(xué)獎(jiǎng)涨椒。其課程深受學(xué)生歡迎。
《簡(jiǎn)單統(tǒng)計(jì)學(xué)》中糾正的統(tǒng)計(jì)學(xué)錯(cuò)誤包含數(shù)據(jù)收集、數(shù)據(jù)分析蚕冬、數(shù)據(jù)解釋三個(gè)方面免猾。在數(shù)據(jù)收集階段,加里·史密斯著重講幸存者效應(yīng)囤热。他將大量的篇幅用在數(shù)據(jù)分析階段猎提,揭穿一些人是如何從數(shù)據(jù)“推導(dǎo)出”想要的理論。在數(shù)據(jù)處理階段旁蔼,作者又提醒你注意有些人如何“歪曲”圖表來(lái)誤導(dǎo)他人锨苏。在數(shù)據(jù)分析階段,他剖析許多生活現(xiàn)象棺聊,揭露某些人歪曲數(shù)據(jù)本意的方法伞租,給讀者還原各種數(shù)據(jù)真相。
數(shù)據(jù)收集
人們所做的決策依賴(lài)于其對(duì)事物的了解限佩】或許你深究每一數(shù)據(jù)的來(lái)源,一絲不茍地收集信息犀暑,做大量的調(diào)查以保證數(shù)據(jù)的可靠性驯击。但《簡(jiǎn)單統(tǒng)計(jì)學(xué)》提醒你烁兰,再細(xì)致嚴(yán)謹(jǐn)收集到的數(shù)據(jù)也可能是不真實(shí)的耐亏。幸存者偏差和選擇性偏差就是很好的例子。
幸存者偏差是由數(shù)據(jù)收集不完整或者無(wú)法收集完整造成的沪斟。其最著名的一個(gè)例子發(fā)生在二戰(zhàn)時(shí)期广辰。英國(guó)皇家空軍打算在飛機(jī)上安裝厚鋼板。這樣可以幫助飛機(jī)抵抗敵軍攻擊主之。他們對(duì)結(jié)束轟炸任務(wù)的飛機(jī)來(lái)收集彈孔和彈片孔的位置择吊。彈孔集中在機(jī)翼和飛機(jī)尾部,而駕駛艙槽奕、發(fā)動(dòng)機(jī)和油箱幾乎沒(méi)有彈孔几睛。具體的分布如下圖
看到圖片,我們很容易得出需要在機(jī)翼和飛機(jī)尾部加厚鋼板的結(jié)論粤攒。然而所森,亞伯拉罕·瓦爾德意識(shí)到英國(guó)皇家空軍統(tǒng)計(jì)的數(shù)據(jù)存在幸存者偏差。那些駕駛室夯接、發(fā)動(dòng)機(jī)或者油箱中彈的飛機(jī)根本飛不回來(lái)焕济。所以,接受調(diào)查的飛機(jī)中彈孔位置大多在機(jī)翼盔几、飛機(jī)尾部晴弃。人們根據(jù)他的建議將厚鋼板裝在駕駛室、發(fā)動(dòng)機(jī)和油箱。墜落的飛機(jī)果然大大減少上鞠。
數(shù)據(jù)是真實(shí)的际邻。機(jī)翼和飛機(jī)尾部上的確有很多彈孔。但是數(shù)據(jù)是不完整的芍阎。人們忽略了墜毀的飛機(jī)枯怖,也無(wú)法獲取這些飛機(jī)的彈孔分布情況。如果沒(méi)有意識(shí)到幸存者偏差能曾,人們就會(huì)做出一些錯(cuò)誤的決定度硝。
類(lèi)似的還有成功學(xué)、大公司的共同特質(zhì)寿冕、股票賺錢(qián)的法門(mén)等蕊程。人們通過(guò)調(diào)查成功人士的性格、行為習(xí)慣驼唱,大公司的某些方面的特點(diǎn)藻茂,在股票市場(chǎng)中贏很多錢(qián)的人是按何種策略投資的。然后玫恳,總結(jié)出一些共同的特點(diǎn)辨赐,稱(chēng)之為“成功的方法”。社會(huì)和市場(chǎng)千變?nèi)f化京办,成功不只是一個(gè)或幾個(gè)因素導(dǎo)致的掀序。他們對(duì)成功的人或公司進(jìn)行調(diào)查,卻忽略另外一些具有相同特點(diǎn)而沒(méi)有取得成功的人惭婿、公司不恭。
失敗的人和公司有千千萬(wàn)萬(wàn),原因也各有各的不同财饥。失敗的人或公司又難以進(jìn)入人們的視野换吧。這樣一來(lái),人們難以獲得完整的數(shù)據(jù)钥星,基于成功者的調(diào)查而得出的結(jié)論也就不可靠沾瓦。
容易誤導(dǎo)人的數(shù)據(jù)也有可能來(lái)自選擇性偏差。人們自身的選擇會(huì)導(dǎo)致某些行為或者現(xiàn)象有更大的概率發(fā)生谦炒。有人認(rèn)為參與競(jìng)爭(zhēng)性活動(dòng)的孩子更自信贯莺。也許是自信的孩子喜歡參與具有競(jìng)爭(zhēng)性的活動(dòng),所以人們觀察到參加競(jìng)爭(zhēng)性活動(dòng)的孩子往往更自信编饺,而不是參加競(jìng)爭(zhēng)性活動(dòng)能讓孩子更自信乖篷。
數(shù)據(jù)收集是一項(xiàng)繁重的工作,稍不慎就有可能推斷出錯(cuò)誤的結(jié)論透且。萬(wàn)丈高樓平地起撕蔼。如果收集數(shù)據(jù)的基礎(chǔ)不穩(wěn)豁鲤,推導(dǎo)結(jié)論的大廈也不會(huì)可靠。具有統(tǒng)計(jì)學(xué)思維的第一步是要對(duì)數(shù)據(jù)保持敏感和警惕鲸沮,數(shù)據(jù)是會(huì)說(shuō)謊的琳骡。
數(shù)據(jù)處理
數(shù)據(jù)處理是指將數(shù)據(jù)用圖表的形式表現(xiàn)出來(lái)。在這一階段讼溺,有人會(huì)用些小把戲來(lái)誤導(dǎo)人們的判斷楣号。如忽略坐標(biāo)的零點(diǎn),兩張圖形的單位不一致怒坯。下圖是山西省從2010年到2016年度GDP總量的不同表示方法炫狱。(數(shù)據(jù)來(lái)源于國(guó)家統(tǒng)計(jì)局)
可以看出,圖2中的折線走勢(shì)不明顯剔猿,增長(zhǎng)幅度不大视译。而圖3中的折線則是先迅速增長(zhǎng)再進(jìn)行緩慢增長(zhǎng)。造成這種差異的原因在于归敬,圖2中的縱軸坐標(biāo)是從0開(kāi)始的酷含,而圖3的則是從9000開(kāi)始。如果不仔細(xì)看坐標(biāo)軸汪茧,很容易造成不同的感覺(jué)椅亚。一些別有用心的人會(huì)利用這一點(diǎn),引導(dǎo)人們從感性上相信他的觀點(diǎn)舱污。
圖表能夠方便人們處理數(shù)據(jù)呀舔,還原數(shù)據(jù)原本面目,但也能幫助制造者引導(dǎo)讀者的判斷慌闭。在數(shù)據(jù)處理階段别威,我們應(yīng)該反省和警惕圖表是否還原事實(shí)。
數(shù)據(jù)分析
礦藏總是深埋地下驴剔。要從中獲取有意義的信息,必須先對(duì)數(shù)據(jù)進(jìn)行分析才能得出有意義的結(jié)論粥庄。
人們發(fā)現(xiàn)丧失,很多大師在一舉成名之后,在很長(zhǎng)的一段時(shí)間里都沒(méi)有超越成名作的作品出現(xiàn)惜互。因?yàn)槌擅髱?lái)的名利使之浮躁而不能潛心創(chuàng)作布讹?這個(gè)解釋也許是對(duì)的,但還是有點(diǎn)偏主觀因素训堆。從一個(gè)相對(duì)客觀的角度——統(tǒng)計(jì)學(xué)角度來(lái)看描验,這是一種均值回歸現(xiàn)象。
均值回歸常被用于金融領(lǐng)域坑鱼,是指當(dāng)高于或低于均值時(shí)膘流,股票價(jià)格都有很大的概率出現(xiàn)向均值回歸的趨勢(shì)絮缅。
我們可以從測(cè)量能力的角度來(lái)理解均值回歸。如果一個(gè)人的能力值為80呼股,他有可能在空間想象能力上得到98分耕魄,而在邏輯推理能力上得到50分,在其它方面的表現(xiàn)則在80分上下波動(dòng)彭谁。如果只看到98分的高分吸奴,我們應(yīng)該想到他的綜合表現(xiàn)也許沒(méi)那么高。相反缠局,看到50分的低分则奥,我們考慮到他在其它方面的表現(xiàn)并沒(méi)有那么低。當(dāng)我們考察他的綜合能力時(shí)狭园,極強(qiáng)和極弱的兩個(gè)方面都沒(méi)表現(xiàn)出來(lái)逞度。
加里·史密斯在書(shū)中展示了一些美國(guó)職業(yè)棒球大聯(lián)盟選手的擊球率。
從表1中可以看出妙啃,漢密爾頓和岡薩雷斯在2010年的擊球率最高档泽,在此之前和之后的一年其擊球率都比較低。人們?cè)?010看到岡薩雷斯的表現(xiàn)后揖赴,會(huì)期待他下一次有更好的表現(xiàn)馆匿。但是這前一年或者后一年的擊球率都接近職業(yè)生涯的平均水平。偶爾有一次突出的表現(xiàn)燥滑,在此之前或之后的表現(xiàn)都更接近平均水平渐北,體現(xiàn)了均值回歸的趨勢(shì)。
需要注意的是铭拧,均值回歸并沒(méi)有反應(yīng)一個(gè)人的能力變化赃蛛。它表示的是在一段時(shí)間內(nèi)的平均水平,而人們每次表現(xiàn)會(huì)圍著平均水平上下波動(dòng)搀菩,有向均值靠近的趨勢(shì)呕臂。所以,在成名作之后的一段時(shí)間內(nèi)肪跋,某個(gè)大師或者歌手沒(méi)有作品能超越成名作符合了均值回歸的特性歧蒋。他們的下一次表現(xiàn)也許就恢復(fù)之前的水平,而不是繼續(xù)有更優(yōu)秀的作品出現(xiàn)州既。
有時(shí)候人們?cè)诜治鰯?shù)據(jù)時(shí)谜洽,會(huì)出現(xiàn)數(shù)據(jù)矛盾的現(xiàn)象,而數(shù)據(jù)是真實(shí)的吴叶。我們可以通過(guò)一個(gè)例子來(lái)說(shuō)明問(wèn)題阐虚。下表是某大學(xué)四個(gè)系的研究生新生錄取率。
從表2中可以看出蚌卤,每個(gè)系的女性錄取率都高于男性的实束,而總的錄取率卻低于男性錄取率奥秆。這就是辛普森悖論。在分組中占優(yōu)勢(shì)的一方磕洪,在總評(píng)中卻占了劣勢(shì)吭练。雖然就單項(xiàng)而言,女性錄取率高析显,但是在錄取率高的院系中錄取的女性人數(shù)沒(méi)有男性的人數(shù)多鲫咽,所以總體上錄取的男性人數(shù)較多」纫欤總的申請(qǐng)人數(shù)相近的情況下分尸,由于被錄取的男性人數(shù)多,所以男性總的錄取率比女性的高歹嘹。因此箩绍,考慮權(quán)重和混雜因素是數(shù)據(jù)分析階段的重要因素。
除了均值回歸尺上、辛普森悖論材蛛,加里·史密斯還在書(shū)中介紹了很多常見(jiàn)的現(xiàn)象,分析一些很多人在數(shù)據(jù)分析時(shí)會(huì)犯的錯(cuò)誤怎抛。例如卑吭,截取、忽略某些數(shù)據(jù)使其符合某種預(yù)設(shè)的理論马绝,把相關(guān)性當(dāng)做因果性豆赏,由數(shù)據(jù)聚集推導(dǎo)而來(lái)的結(jié)論。
大部分人不需要像統(tǒng)計(jì)學(xué)一樣專(zhuān)業(yè)的知識(shí)富稻。一個(gè)個(gè)精彩的故事掷邦,一幅幅形象的圖表,沒(méi)有公式和計(jì)算椭赋「Ц冢《簡(jiǎn)單統(tǒng)計(jì)學(xué)》揭示了生活中常見(jiàn)的假象和錯(cuò)覺(jué),還原數(shù)據(jù)的真相纹份。遇到數(shù)據(jù)時(shí)苟跪,你會(huì)用新的角度來(lái)看待它,對(duì)其真實(shí)性進(jìn)行評(píng)估蔓涧,不再被數(shù)據(jù)忽悠。