用Python進(jìn)行卡方分析

《用十年學(xué)編程》(Teach Yourself Programming in Ten Years by Peter Norvig 原文地址:http://norvig.com/21-days.html) 里說學(xué)習(xí)編程的最好方法就是實(shí)踐噪漾,以任務(wù)為導(dǎo)向的學(xué)習(xí)往往更為高效。本文就是這樣一個(gè)筆記,算不上教程刹帕,只不過是菜鳥在記錄自己的腳步蠢挡。如果你恰好不知道怎么做卡方分析凡辱,不妨來看一看拧簸。


什么是卡方分析

卡方分析有兩個(gè)常見的應(yīng)用——適合度分析和獨(dú)立性分析寺旺。這個(gè)筆記著重于適合度分析组去。從我目前的經(jīng)驗(yàn)來看鞍陨,這也是應(yīng)用十分廣泛的一種統(tǒng)計(jì)分析方式。那么什么是卡方適合度分析呢从隆?且聽我慢慢道來诚撵。

現(xiàn)象1 現(xiàn)象2 現(xiàn)象3
觀測(cè)值 a b c
預(yù)期值 A B C

常見的適合度分析的結(jié)構(gòu)如下,一般有兩組數(shù)據(jù)键闺,一組是你統(tǒng)計(jì)或者觀察到的值寿烟,另一組是理論上的預(yù)期值。如果這兩組值十分接近辛燥,證明觀測(cè)到的結(jié)果很“合適”筛武,如果差距較大,則證明觀測(cè)到的數(shù)據(jù)不夠“合適”挎塌,這就是“適合度分析”名字的含義徘六。

這種統(tǒng)計(jì)分析在科學(xué)研究中是十分常用的,因?yàn)榭茖W(xué)家經(jīng)常按照理論預(yù)期來推測(cè)試驗(yàn)結(jié)果勃蜘,而實(shí)際上由于各種誤差的存在硕噩,實(shí)驗(yàn)數(shù)據(jù)不可能和理論預(yù)期完全一致,這時(shí)卡方檢驗(yàn)就能很好地檢驗(yàn)理論的正確性缭贡。

舉個(gè)栗子

某科學(xué)家預(yù)言拋一個(gè)色子炉擅,各面向上的幾率都相同辉懒。為了驗(yàn)證自己理論的正確性,該科學(xué)家拋了600次硬幣谍失,結(jié)果為一點(diǎn)102次眶俩,二點(diǎn)102次,三點(diǎn)96次快鱼,四點(diǎn)105次颠印,五點(diǎn)95次,六點(diǎn)100次抹竹。顯然這個(gè)結(jié)果和理論預(yù)期并不完全一樣线罕,那么,科學(xué)家的理論有錯(cuò)嗎窃判?我們就用Python來驗(yàn)證一下钞楼。

from scipy import stats
obs = [102, 102, 96, 105, 95, 100]
exp = [100, 100, 100, 100, 100, 100]
stats.chisquare(obs, f_exp = exp)

輸出
(0.73999999999999999, 0.98070147251964801)

從結(jié)果來看,p 值為0.98袄琳,可以認(rèn)為觀測(cè)到的值和預(yù)期值是相近即“合適”的询件。科學(xué)家的理論沒有錯(cuò)唆樊,觀測(cè)值和理論值的不同是由偶然誤差造成的宛琅。(一般 p 值大于0.95即可)

解釋一下

Python中進(jìn)行卡方分析的函數(shù)chisquare()位于scipy的stats模塊中。注意:stats在Python2.7的環(huán)境下使用是十分正常的逗旁,但是在Python3中使用就會(huì)報(bào)錯(cuò)嘿辟。說來慚愧,筆者之前試著在Py3下運(yùn)行痢艺,結(jié)果折騰了大半天都沒成功仓洼,換到Py2.7下介陶,一點(diǎn)問題都沒了堤舒。如果用Python進(jìn)行數(shù)據(jù)分析,個(gè)人感覺還是Py2.7好使哺呜,很多模塊都沒有穩(wěn)定的Py3版啊舌缤。當(dāng)然之前的栗子也要求在Py2.7下運(yùn)行。

scipy.stats.chisquare(f_obs, f_exp=None, ddof=0, axis=0)

參數(shù)解釋如下:
f_obs : 觀測(cè)值某残,為一個(gè)數(shù)列
f_exp : 理論值国撵,為一個(gè)數(shù)列。如果不賦值玻墅,默認(rèn)為所有情況出現(xiàn)的可能相等介牙。所以栗子中可以不賦值

>>> stats.chisquare(obs)
(0.73999999999999999, 0.98070147251964801)

ddof : 即自由度, df = C - 1澳厢,數(shù)值上等于所有可能的情況數(shù)-1环础∏羲疲可以不用賦值,只要obs和exp沒問題线得,程序可以自己算出來饶唤。

輸出的結(jié)果是:
chisq: 即k值
p : p 值,大于0.95即統(tǒng)計(jì)顯著贯钩。


看了這個(gè)簡(jiǎn)單的小筆記募狂,大家應(yīng)該知道如何用Python進(jìn)行適合度檢驗(yàn)了吧。當(dāng)然這只是個(gè)很簡(jiǎn)單的筆記角雷,如果有更多問題祸穷,還是要參考scipy的toturial。如果大家有什么問題或建議勺三,歡迎大家在留言中和我討論粱哼。祝大家在python數(shù)據(jù)分析之路上玩的愉快!

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市灵汪,隨后出現(xiàn)的幾起案子市埋,更是在濱河造成了極大的恐慌,老刑警劉巖绊含,帶你破解...
    沈念sama閱讀 221,695評(píng)論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異炊汹,居然都是意外死亡躬充,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,569評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門讨便,熙熙樓的掌柜王于貴愁眉苦臉地迎上來充甚,“玉大人,你說我怎么就攤上這事霸褒“檎遥” “怎么了?”我有些...
    開封第一講書人閱讀 168,130評(píng)論 0 360
  • 文/不壞的土叔 我叫張陵废菱,是天一觀的道長(zhǎng)技矮。 經(jīng)常有香客問我,道長(zhǎng)殊轴,這世上最難降的妖魔是什么衰倦? 我笑而不...
    開封第一講書人閱讀 59,648評(píng)論 1 297
  • 正文 為了忘掉前任,我火速辦了婚禮旁理,結(jié)果婚禮上樊零,老公的妹妹穿的比我還像新娘。我一直安慰自己孽文,他們只是感情好驻襟,可當(dāng)我...
    茶點(diǎn)故事閱讀 68,655評(píng)論 6 397
  • 文/花漫 我一把揭開白布十性。 她就那樣靜靜地躺著,像睡著了一般塑悼。 火紅的嫁衣襯著肌膚如雪劲适。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 52,268評(píng)論 1 309
  • 那天厢蒜,我揣著相機(jī)與錄音霞势,去河邊找鬼。 笑死斑鸦,一個(gè)胖子當(dāng)著我的面吹牛愕贡,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播巷屿,決...
    沈念sama閱讀 40,835評(píng)論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼固以,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來了嘱巾?” 一聲冷哼從身側(cè)響起憨琳,我...
    開封第一講書人閱讀 39,740評(píng)論 0 276
  • 序言:老撾萬榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎旬昭,沒想到半個(gè)月后篙螟,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,286評(píng)論 1 318
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡问拘,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,375評(píng)論 3 340
  • 正文 我和宋清朗相戀三年遍略,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片骤坐。...
    茶點(diǎn)故事閱讀 40,505評(píng)論 1 352
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡绪杏,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出纽绍,到底是詐尸還是另有隱情蕾久,我是刑警寧澤,帶...
    沈念sama閱讀 36,185評(píng)論 5 350
  • 正文 年R本政府宣布顶岸,位于F島的核電站腔彰,受9級(jí)特大地震影響叫编,放射性物質(zhì)發(fā)生泄漏辖佣。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,873評(píng)論 3 333
  • 文/蒙蒙 一搓逾、第九天 我趴在偏房一處隱蔽的房頂上張望卷谈。 院中可真熱鬧,春花似錦霞篡、人聲如沸世蔗。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,357評(píng)論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽污淋。三九已至顶滩,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間寸爆,已是汗流浹背礁鲁。 一陣腳步聲響...
    開封第一講書人閱讀 33,466評(píng)論 1 272
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留赁豆,地道東北人仅醇。 一個(gè)月前我還...
    沈念sama閱讀 48,921評(píng)論 3 376
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像魔种,于是被迫代替她去往敵國和親析二。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,515評(píng)論 2 359

推薦閱讀更多精彩內(nèi)容