統(tǒng)計(jì)學(xué)下的真相

有人說(shuō)窗轩,建造采石場(chǎng)有利于附近房?jī)r(jià)的增長(zhǎng)觉渴。有的人對(duì)此嗤之以鼻介劫,但經(jīng)過(guò)考察發(fā)現(xiàn),建造采石場(chǎng)后案淋,附近的房?jī)r(jià)在五年內(nèi)平均以3%的速度增長(zhǎng)座韵。

我們僅憑常識(shí)便可以判斷,建造采石場(chǎng)有利于附近房?jī)r(jià)的增長(zhǎng)是不成立的哎迄。事實(shí)上回右,在建采石場(chǎng)那年隆圆,整個(gè)城市的房?jī)r(jià)都開(kāi)始增長(zhǎng)。無(wú)論建不建采石場(chǎng)翔烁,房?jī)r(jià)都會(huì)上漲渺氧。

忽略房?jī)r(jià)增長(zhǎng)年份和周?chē)績(jī)r(jià),僅憑房?jī)r(jià)在建采石場(chǎng)后連續(xù)上漲就得這樣的結(jié)論蹬屹,這未免有點(diǎn)草率侣背。說(shuō)話的人混淆兩件事物的相關(guān)性和因果性】看到兩件事物具有相似的發(fā)展趨勢(shì)贩耐,就誤認(rèn)為兩者具有相關(guān)性,甚至認(rèn)為兩者是互為因果關(guān)系厦取。這就犯了統(tǒng)計(jì)學(xué)錯(cuò)誤潮太。

在數(shù)據(jù)泛濫的今天,數(shù)據(jù)代表著說(shuō)服力虾攻。虛假片面的數(shù)據(jù)滿(mǎn)天飛铡买。學(xué)會(huì)一點(diǎn)統(tǒng)計(jì)學(xué)知識(shí)能讓我們識(shí)別隱含在數(shù)據(jù)中的謊言,避免因盲信數(shù)據(jù)而吃虧霎箍。在很多人看來(lái)奇钞,統(tǒng)計(jì)學(xué)是一門(mén)艱深難懂的學(xué)科∑担《簡(jiǎn)單統(tǒng)計(jì)學(xué)》告訴你統(tǒng)計(jì)學(xué)并不晦澀難懂景埃。

《簡(jiǎn)單統(tǒng)計(jì)學(xué)》是一本名副其實(shí)的統(tǒng)計(jì)學(xué)輕松入門(mén)書(shū)。作者加里·史密斯用大量有趣的案例顶别,結(jié)合統(tǒng)計(jì)學(xué)知識(shí)向讀者講述案例的錯(cuò)誤之處谷徙。你會(huì)發(fā)現(xiàn),即使是專(zhuān)業(yè)人士也會(huì)犯一些常識(shí)性錯(cuò)誤筋夏,有些人為了符合假設(shè)理論是如何“篩選”數(shù)據(jù)的蒂胞,一些集團(tuán)為了迷惑消費(fèi)者又如何“歪曲”展現(xiàn)圖像。讀完整本書(shū)条篷,讀者會(huì)連呼受騙骗随,身邊的數(shù)據(jù)陷進(jìn)竟是如此多,在觀察數(shù)據(jù)之前不自覺(jué)地對(duì)其真實(shí)性進(jìn)行思考赴叹。

加里·史密斯曾在耶魯大學(xué)任教鸿染,擅長(zhǎng)結(jié)合生活中的實(shí)例,深入淺出地剖析其中的統(tǒng)計(jì)學(xué)錯(cuò)誤乞巧,也因此兩度獲得耶魯大學(xué)的教學(xué)獎(jiǎng)涨椒。其課程深受學(xué)生歡迎。

《簡(jiǎn)單統(tǒng)計(jì)學(xué)》中糾正的統(tǒng)計(jì)學(xué)錯(cuò)誤包含數(shù)據(jù)收集、數(shù)據(jù)分析蚕冬、數(shù)據(jù)解釋三個(gè)方面免猾。在數(shù)據(jù)收集階段,加里·史密斯著重講幸存者效應(yīng)囤热。他將大量的篇幅用在數(shù)據(jù)分析階段猎提,揭穿一些人是如何從數(shù)據(jù)“推導(dǎo)出”想要的理論。在數(shù)據(jù)處理階段旁蔼,作者又提醒你注意有些人如何“歪曲”圖表來(lái)誤導(dǎo)他人锨苏。在數(shù)據(jù)分析階段,他剖析許多生活現(xiàn)象棺聊,揭露某些人歪曲數(shù)據(jù)本意的方法伞租,給讀者還原各種數(shù)據(jù)真相。

數(shù)據(jù)收集

人們所做的決策依賴(lài)于其對(duì)事物的了解限佩】或許你深究每一數(shù)據(jù)的來(lái)源,一絲不茍地收集信息犀暑,做大量的調(diào)查以保證數(shù)據(jù)的可靠性驯击。但《簡(jiǎn)單統(tǒng)計(jì)學(xué)》提醒你烁兰,再細(xì)致嚴(yán)謹(jǐn)收集到的數(shù)據(jù)也可能是不真實(shí)的耐亏。幸存者偏差和選擇性偏差就是很好的例子。

幸存者偏差是由數(shù)據(jù)收集不完整或者無(wú)法收集完整造成的沪斟。其最著名的一個(gè)例子發(fā)生在二戰(zhàn)時(shí)期广辰。英國(guó)皇家空軍打算在飛機(jī)上安裝厚鋼板。這樣可以幫助飛機(jī)抵抗敵軍攻擊主之。他們對(duì)結(jié)束轟炸任務(wù)的飛機(jī)來(lái)收集彈孔和彈片孔的位置择吊。彈孔集中在機(jī)翼和飛機(jī)尾部,而駕駛艙槽奕、發(fā)動(dòng)機(jī)和油箱幾乎沒(méi)有彈孔几睛。具體的分布如下圖


圖1 返航飛機(jī)的子彈分布情況??

看到圖片,我們很容易得出需要在機(jī)翼和飛機(jī)尾部加厚鋼板的結(jié)論粤攒。然而所森,亞伯拉罕·瓦爾德意識(shí)到英國(guó)皇家空軍統(tǒng)計(jì)的數(shù)據(jù)存在幸存者偏差。那些駕駛室夯接、發(fā)動(dòng)機(jī)或者油箱中彈的飛機(jī)根本飛不回來(lái)焕济。所以,接受調(diào)查的飛機(jī)中彈孔位置大多在機(jī)翼盔几、飛機(jī)尾部晴弃。人們根據(jù)他的建議將厚鋼板裝在駕駛室、發(fā)動(dòng)機(jī)和油箱。墜落的飛機(jī)果然大大減少上鞠。

數(shù)據(jù)是真實(shí)的际邻。機(jī)翼和飛機(jī)尾部上的確有很多彈孔。但是數(shù)據(jù)是不完整的芍阎。人們忽略了墜毀的飛機(jī)枯怖,也無(wú)法獲取這些飛機(jī)的彈孔分布情況。如果沒(méi)有意識(shí)到幸存者偏差能曾,人們就會(huì)做出一些錯(cuò)誤的決定度硝。

類(lèi)似的還有成功學(xué)、大公司的共同特質(zhì)寿冕、股票賺錢(qián)的法門(mén)等蕊程。人們通過(guò)調(diào)查成功人士的性格、行為習(xí)慣驼唱,大公司的某些方面的特點(diǎn)藻茂,在股票市場(chǎng)中贏很多錢(qián)的人是按何種策略投資的。然后玫恳,總結(jié)出一些共同的特點(diǎn)辨赐,稱(chēng)之為“成功的方法”。社會(huì)和市場(chǎng)千變?nèi)f化京办,成功不只是一個(gè)或幾個(gè)因素導(dǎo)致的掀序。他們對(duì)成功的人或公司進(jìn)行調(diào)查,卻忽略另外一些具有相同特點(diǎn)而沒(méi)有取得成功的人惭婿、公司不恭。

失敗的人和公司有千千萬(wàn)萬(wàn),原因也各有各的不同财饥。失敗的人或公司又難以進(jìn)入人們的視野换吧。這樣一來(lái),人們難以獲得完整的數(shù)據(jù)钥星,基于成功者的調(diào)查而得出的結(jié)論也就不可靠沾瓦。

容易誤導(dǎo)人的數(shù)據(jù)也有可能來(lái)自選擇性偏差。人們自身的選擇會(huì)導(dǎo)致某些行為或者現(xiàn)象有更大的概率發(fā)生谦炒。有人認(rèn)為參與競(jìng)爭(zhēng)性活動(dòng)的孩子更自信贯莺。也許是自信的孩子喜歡參與具有競(jìng)爭(zhēng)性的活動(dòng),所以人們觀察到參加競(jìng)爭(zhēng)性活動(dòng)的孩子往往更自信编饺,而不是參加競(jìng)爭(zhēng)性活動(dòng)能讓孩子更自信乖篷。

數(shù)據(jù)收集是一項(xiàng)繁重的工作,稍不慎就有可能推斷出錯(cuò)誤的結(jié)論透且。萬(wàn)丈高樓平地起撕蔼。如果收集數(shù)據(jù)的基礎(chǔ)不穩(wěn)豁鲤,推導(dǎo)結(jié)論的大廈也不會(huì)可靠。具有統(tǒng)計(jì)學(xué)思維的第一步是要對(duì)數(shù)據(jù)保持敏感和警惕鲸沮,數(shù)據(jù)是會(huì)說(shuō)謊的琳骡。

數(shù)據(jù)處理

數(shù)據(jù)處理是指將數(shù)據(jù)用圖表的形式表現(xiàn)出來(lái)。在這一階段讼溺,有人會(huì)用些小把戲來(lái)誤導(dǎo)人們的判斷楣号。如忽略坐標(biāo)的零點(diǎn),兩張圖形的單位不一致怒坯。下圖是山西省從2010年到2016年度GDP總量的不同表示方法炫狱。(數(shù)據(jù)來(lái)源于國(guó)家統(tǒng)計(jì)局)

圖2 山西省年度GDP折線圖1
圖3 山西省年度GDP折線圖2

可以看出,圖2中的折線走勢(shì)不明顯剔猿,增長(zhǎng)幅度不大视译。而圖3中的折線則是先迅速增長(zhǎng)再進(jìn)行緩慢增長(zhǎng)。造成這種差異的原因在于归敬,圖2中的縱軸坐標(biāo)是從0開(kāi)始的酷含,而圖3的則是從9000開(kāi)始。如果不仔細(xì)看坐標(biāo)軸汪茧,很容易造成不同的感覺(jué)椅亚。一些別有用心的人會(huì)利用這一點(diǎn),引導(dǎo)人們從感性上相信他的觀點(diǎn)舱污。

圖表能夠方便人們處理數(shù)據(jù)呀舔,還原數(shù)據(jù)原本面目,但也能幫助制造者引導(dǎo)讀者的判斷慌闭。在數(shù)據(jù)處理階段别威,我們應(yīng)該反省和警惕圖表是否還原事實(shí)。

數(shù)據(jù)分析

礦藏總是深埋地下驴剔。要從中獲取有意義的信息,必須先對(duì)數(shù)據(jù)進(jìn)行分析才能得出有意義的結(jié)論粥庄。

人們發(fā)現(xiàn)丧失,很多大師在一舉成名之后,在很長(zhǎng)的一段時(shí)間里都沒(méi)有超越成名作的作品出現(xiàn)惜互。因?yàn)槌擅髱?lái)的名利使之浮躁而不能潛心創(chuàng)作布讹?這個(gè)解釋也許是對(duì)的,但還是有點(diǎn)偏主觀因素训堆。從一個(gè)相對(duì)客觀的角度——統(tǒng)計(jì)學(xué)角度來(lái)看描验,這是一種均值回歸現(xiàn)象。

均值回歸常被用于金融領(lǐng)域坑鱼,是指當(dāng)高于或低于均值時(shí)膘流,股票價(jià)格都有很大的概率出現(xiàn)向均值回歸的趨勢(shì)絮缅。

我們可以從測(cè)量能力的角度來(lái)理解均值回歸。如果一個(gè)人的能力值為80呼股,他有可能在空間想象能力上得到98分耕魄,而在邏輯推理能力上得到50分,在其它方面的表現(xiàn)則在80分上下波動(dòng)彭谁。如果只看到98分的高分吸奴,我們應(yīng)該想到他的綜合表現(xiàn)也許沒(méi)那么高。相反缠局,看到50分的低分则奥,我們考慮到他在其它方面的表現(xiàn)并沒(méi)有那么低。當(dāng)我們考察他的綜合能力時(shí)狭园,極強(qiáng)和極弱的兩個(gè)方面都沒(méi)表現(xiàn)出來(lái)逞度。

加里·史密斯在書(shū)中展示了一些美國(guó)職業(yè)棒球大聯(lián)盟選手的擊球率。

表1 一些美國(guó)職業(yè)棒球大聯(lián)盟選手的擊球率

從表1中可以看出妙啃,漢密爾頓和岡薩雷斯在2010年的擊球率最高档泽,在此之前和之后的一年其擊球率都比較低。人們?cè)?010看到岡薩雷斯的表現(xiàn)后揖赴,會(huì)期待他下一次有更好的表現(xiàn)馆匿。但是這前一年或者后一年的擊球率都接近職業(yè)生涯的平均水平。偶爾有一次突出的表現(xiàn)燥滑,在此之前或之后的表現(xiàn)都更接近平均水平渐北,體現(xiàn)了均值回歸的趨勢(shì)。

需要注意的是铭拧,均值回歸并沒(méi)有反應(yīng)一個(gè)人的能力變化赃蛛。它表示的是在一段時(shí)間內(nèi)的平均水平,而人們每次表現(xiàn)會(huì)圍著平均水平上下波動(dòng)搀菩,有向均值靠近的趨勢(shì)呕臂。所以,在成名作之后的一段時(shí)間內(nèi)肪跋,某個(gè)大師或者歌手沒(méi)有作品能超越成名作符合了均值回歸的特性歧蒋。他們的下一次表現(xiàn)也許就恢復(fù)之前的水平,而不是繼續(xù)有更優(yōu)秀的作品出現(xiàn)州既。

有時(shí)候人們?cè)诜治鰯?shù)據(jù)時(shí)谜洽,會(huì)出現(xiàn)數(shù)據(jù)矛盾的現(xiàn)象,而數(shù)據(jù)是真實(shí)的吴叶。我們可以通過(guò)一個(gè)例子來(lái)說(shuō)明問(wèn)題阐虚。下表是某大學(xué)四個(gè)系的研究生新生錄取率。

表2 某大學(xué)中四個(gè)院系錄取情況

從表2中可以看出蚌卤,每個(gè)系的女性錄取率都高于男性的实束,而總的錄取率卻低于男性錄取率奥秆。這就是辛普森悖論。在分組中占優(yōu)勢(shì)的一方磕洪,在總評(píng)中卻占了劣勢(shì)吭练。雖然就單項(xiàng)而言,女性錄取率高析显,但是在錄取率高的院系中錄取的女性人數(shù)沒(méi)有男性的人數(shù)多鲫咽,所以總體上錄取的男性人數(shù)較多」纫欤總的申請(qǐng)人數(shù)相近的情況下分尸,由于被錄取的男性人數(shù)多,所以男性總的錄取率比女性的高歹嘹。因此箩绍,考慮權(quán)重和混雜因素是數(shù)據(jù)分析階段的重要因素。

除了均值回歸尺上、辛普森悖論材蛛,加里·史密斯還在書(shū)中介紹了很多常見(jiàn)的現(xiàn)象,分析一些很多人在數(shù)據(jù)分析時(shí)會(huì)犯的錯(cuò)誤怎抛。例如卑吭,截取、忽略某些數(shù)據(jù)使其符合某種預(yù)設(shè)的理論马绝,把相關(guān)性當(dāng)做因果性豆赏,由數(shù)據(jù)聚集推導(dǎo)而來(lái)的結(jié)論。

大部分人不需要像統(tǒng)計(jì)學(xué)一樣專(zhuān)業(yè)的知識(shí)富稻。一個(gè)個(gè)精彩的故事掷邦,一幅幅形象的圖表,沒(méi)有公式和計(jì)算椭赋「Ц冢《簡(jiǎn)單統(tǒng)計(jì)學(xué)》揭示了生活中常見(jiàn)的假象和錯(cuò)覺(jué),還原數(shù)據(jù)的真相纹份。遇到數(shù)據(jù)時(shí)苟跪,你會(huì)用新的角度來(lái)看待它,對(duì)其真實(shí)性進(jìn)行評(píng)估蔓涧,不再被數(shù)據(jù)忽悠。


?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末笋额,一起剝皮案震驚了整個(gè)濱河市元暴,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌兄猩,老刑警劉巖茉盏,帶你破解...
    沈念sama閱讀 211,639評(píng)論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件鉴未,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡鸠姨,警方通過(guò)查閱死者的電腦和手機(jī)铜秆,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,277評(píng)論 3 385
  • 文/潘曉璐 我一進(jìn)店門(mén),熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)讶迁,“玉大人连茧,你說(shuō)我怎么就攤上這事∥∨矗” “怎么了啸驯?”我有些...
    開(kāi)封第一講書(shū)人閱讀 157,221評(píng)論 0 348
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)祟峦。 經(jīng)常有香客問(wèn)我罚斗,道長(zhǎng),這世上最難降的妖魔是什么宅楞? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 56,474評(píng)論 1 283
  • 正文 為了忘掉前任针姿,我火速辦了婚禮,結(jié)果婚禮上厌衙,老公的妹妹穿的比我還像新娘距淫。我一直安慰自己,他們只是感情好迅箩,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,570評(píng)論 6 386
  • 文/花漫 我一把揭開(kāi)白布溉愁。 她就那樣靜靜地躺著,像睡著了一般饲趋。 火紅的嫁衣襯著肌膚如雪拐揭。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書(shū)人閱讀 49,816評(píng)論 1 290
  • 那天奕塑,我揣著相機(jī)與錄音堂污,去河邊找鬼。 笑死龄砰,一個(gè)胖子當(dāng)著我的面吹牛盟猖,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播换棚,決...
    沈念sama閱讀 38,957評(píng)論 3 408
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼式镐,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了固蚤?” 一聲冷哼從身側(cè)響起娘汞,我...
    開(kāi)封第一講書(shū)人閱讀 37,718評(píng)論 0 266
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎夕玩,沒(méi)想到半個(gè)月后你弦,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體惊豺,經(jīng)...
    沈念sama閱讀 44,176評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,511評(píng)論 2 327
  • 正文 我和宋清朗相戀三年禽作,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了尸昧。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 38,646評(píng)論 1 340
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡旷偿,死狀恐怖烹俗,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情狸捅,我是刑警寧澤衷蜓,帶...
    沈念sama閱讀 34,322評(píng)論 4 330
  • 正文 年R本政府宣布,位于F島的核電站尘喝,受9級(jí)特大地震影響磁浇,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜朽褪,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,934評(píng)論 3 313
  • 文/蒙蒙 一置吓、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧缔赠,春花似錦衍锚、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 30,755評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至踢匣,卻和暖如春告匠,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背离唬。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 31,987評(píng)論 1 266
  • 我被黑心中介騙來(lái)泰國(guó)打工后专, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人输莺。 一個(gè)月前我還...
    沈念sama閱讀 46,358評(píng)論 2 360
  • 正文 我出身青樓戚哎,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親嫂用。 傳聞我的和親對(duì)象是個(gè)殘疾皇子型凳,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,514評(píng)論 2 348

推薦閱讀更多精彩內(nèi)容

  • Android 自定義View的各種姿勢(shì)1 Activity的顯示之ViewRootImpl詳解 Activity...
    passiontim閱讀 171,774評(píng)論 25 707
  • 《數(shù)據(jù)分析的統(tǒng)計(jì)基礎(chǔ)》的讀書(shū)筆記 作 者:經(jīng)管之家、曹正鳳 出版社:電子工業(yè)出版社 版 次:2015年2月第1...
    格式化_001閱讀 9,508評(píng)論 1 58
  • 原文地址 通過(guò)圖片處理我們可以實(shí)現(xiàn)很多很炫的效果嘱函,比如啰脚,修改圖片顏色,混合圖片等实夹。在這兩篇教程里橄浓,我們首先了解一下...
    董二千閱讀 1,100評(píng)論 1 3
  • 說(shuō)實(shí)話,工作將近兩年亮航,很少走出自己的舒適區(qū)荸实。 所謂舒適區(qū),即一個(gè)人習(xí)慣的一些心理模式缴淋;在這個(gè)區(qū)域准给,人會(huì)感到自在、舒...
    阿吉閱讀 1,396評(píng)論 1 7
  • 今天看了個(gè)視頻重抖,現(xiàn)在心里還好難受露氮!一個(gè)學(xué)業(yè)有成,事業(yè)有成的中青年人钟沛,因?yàn)槠綍r(shí)工作太忙畔规,沒(méi)有注意身體,從發(fā)現(xiàn)重疾恨统,到...
    馨雅心向未來(lái)閱讀 179評(píng)論 1 0