概率值的檢驗(yàn)丨數(shù)析學(xué)院

問(wèn)題

在對(duì)于定類數(shù)據(jù)的分析中成艘,我們有時(shí)需要通過(guò)樣本概率檢驗(yàn)總體概率是否不同于某個(gè)既定的概率值安吁,或是對(duì)比分組數(shù)據(jù)的分布情況未辆,在R中芹壕,該如何處理這類問(wèn)題汇四?

指南

在概率值的檢驗(yàn)中存在兩個(gè)常見的問(wèn)題:

  1. 總體中某一事件出現(xiàn)的概率是否不同于某一個(gè)給定的或是理論上的概率值(例如小明做判斷題是否50%概率答對(duì),50%概率答錯(cuò))踢涌?(擬合優(yōu)度檢驗(yàn))
  2. 某兩組樣本中的某一事件概率是否服從同一分布通孽?(獨(dú)立性檢驗(yàn))

我們通常會(huì)運(yùn)用統(tǒng)計(jì)檢驗(yàn)的方法來(lái)解決上述的問(wèn)題,所用的檢驗(yàn)方法可被分為精確檢驗(yàn)與近似檢驗(yàn)睁壁。


注:精確二項(xiàng)檢驗(yàn)只能適用于僅含有兩個(gè)層級(jí)的變量背苦,而Fisher確切概率法則只能適用于二維列聯(lián)表(例如,我們可以在存在一個(gè)自變量和一個(gè)因變量時(shí)使用它潘明,卻不能在村咋兩個(gè)自變量和一個(gè)因變量時(shí)使用它行剂。)

為了確認(rèn)數(shù)據(jù)中的匹配關(guān)系或是對(duì)象間的影響,這里我們用到了McNemar檢驗(yàn)钉疫。需要說(shuō)明的是硼讽,在我們使用這個(gè)方法之前,必須確保我們有且只有一個(gè)自變量和一個(gè)因變量牲阁,每一個(gè)變量中有且只有兩個(gè)層級(jí)(兩種類別屬性)固阁。

通過(guò)重復(fù)測(cè)量的方法我們可以對(duì)兩個(gè)變量間的獨(dú)立性進(jìn)行檢驗(yàn),這其中用到了Cochran-Mantel-Haenszel檢驗(yàn)城菊。

假設(shè)下面就是我們的數(shù)據(jù)备燃,其中每一條記錄行代表一個(gè)樣本:

通常情況下,我們可能不會(huì)愿意對(duì)這樣的樣本記錄列表進(jìn)行直接的處理凌唬,相比而言并齐,一個(gè)變量組合情況的計(jì)數(shù)表或是一個(gè)列聯(lián)表更容易被數(shù)據(jù)分析工作者所接受。在此客税,我們必須將它轉(zhuǎn)化為一個(gè)列聯(lián)表的形式况褪,具體的方法我們?cè)凇癛語(yǔ)言行動(dòng)指南-38 數(shù)據(jù)框與列聯(lián)表的轉(zhuǎn)換”中做過(guò)介紹。

擬合優(yōu)度檢驗(yàn)(基于一個(gè)給定的預(yù)期概率)

卡方檢驗(yàn)

我們的目標(biāo)為檢驗(yàn)原假設(shè)——反應(yīng)結(jié)果的兩種數(shù)值(0和1更耻,不考慮condition)在總體中出現(xiàn)的概率是均等(各為50%)的:


在對(duì)一個(gè)非均等概率的假設(shè)進(jìn)行檢驗(yàn)時(shí)测垛,我么需要對(duì)chisq.test函數(shù)的參數(shù)p進(jìn)行設(shè)置(下面的例子是假設(shè)概率為0.75:0.25的情況):

如果你想從檢驗(yàn)的結(jié)果中提取信息的話,你可以將其儲(chǔ)存為一個(gè)變量秧均,并用str()函數(shù)對(duì)其進(jìn)行查看食侮,最后從中篩選出你想要的信息号涯,如下所示:

精確二項(xiàng)檢驗(yàn)

精確二項(xiàng)檢驗(yàn)只能適用于我們的數(shù)據(jù)中僅有一個(gè)二元變量的情況,比如說(shuō)下面的例子锯七。


如果你想從檢驗(yàn)的結(jié)果中提取信息的話链快,你可以將其儲(chǔ)存為一個(gè)變量,并用str()函數(shù)對(duì)其進(jìn)行查看眉尸,最后從中篩選出你想要的信息域蜗,如下所示:


獨(dú)立性檢驗(yàn)(兩個(gè)數(shù)據(jù)組的對(duì)比)

卡方檢驗(yàn)

為了檢驗(yàn)控制組(control)與實(shí)驗(yàn)組(treatment)是否存在顯著的概率差異,我們需要用到二維的列聯(lián)表結(jié)構(gòu)噪猾。

對(duì)于2x2的列聯(lián)表地消,函數(shù)會(huì)默認(rèn)采用Yates連續(xù)性校準(zhǔn)的方法對(duì)其中的統(tǒng)計(jì)樞軸量進(jìn)行調(diào)整,這一方法再檢驗(yàn)樣本規(guī)模較小的數(shù)據(jù)時(shí)較為保守畏妖。當(dāng)我們?cè)O(shè)置參數(shù)correct=FALSE時(shí),函數(shù)將會(huì)直接使用一般的Pearson卡方統(tǒng)計(jì)量作為樞軸量而不會(huì)去調(diào)整它疼阔。

Fisher確切概率法

對(duì)于樣本規(guī)模小的數(shù)據(jù)戒劫,在概率檢驗(yàn)時(shí)Fisher確切概率法也許會(huì)顯得更為適用。這一方法普遍運(yùn)用于2x2列聯(lián)表即小樣本數(shù)據(jù)集的原因是婆廊,當(dāng)面對(duì)復(fù)雜一些的表格(例如2x3列聯(lián)表)或樣本量更大的數(shù)據(jù)集時(shí)迅细,它需要十分巨大的計(jì)算量。但在R中淘邻,計(jì)算量的問(wèn)題得到了解決茵典,我們同樣可以將它應(yīng)用于對(duì)某些大樣本數(shù)據(jù)的處理中。

Cochran-Mantel-Haenszel檢驗(yàn)

Cochran-Mantel-Haenszel檢驗(yàn)(CHM檢驗(yàn)宾舅,或稱Mantel-Haenszel檢驗(yàn))用于檢驗(yàn)兩組重復(fù)測(cè)量得到的二分變量之間的獨(dú)立性统阿。該方法的運(yùn)算通常基于2x2xK的列聯(lián)表筹我,其中K為測(cè)量值的類別數(shù)扶平。例如,我們想要研究一下某一激勵(lì)或?qū)嶒?yàn)(吃藥vs.沒(méi)吃藥)是否對(duì)醫(yī)患的康復(fù)率(康復(fù)或沒(méi)康復(fù))產(chǎn)生顯著的影響蔬蕊,現(xiàn)在假設(shè)這一激勵(lì)發(fā)生于每天的三個(gè)時(shí)間段:早上结澄、下午、晚上——我們?cè)谶M(jìn)行檢驗(yàn)時(shí)必須控制這些變量岸夯。此時(shí)我們的CHM檢驗(yàn)將會(huì)基于一個(gè)2x2x3的列聯(lián)表麻献,其中第三個(gè)變量就是我們所要控制的時(shí)間段變量。

實(shí)際上猜扮,在R中的CHM檢驗(yàn)可以處理的數(shù)據(jù)維度不局限于2x2xK勉吻,你也可以用這一方法去檢驗(yàn)一個(gè)3x3xK的列聯(lián)表數(shù)據(jù)。

在下面的例子(引用于McDonald的《Handbook of Biological Statistics》)中破镰,我們可以看到三個(gè)變量:Location餐曼,Allele压储,以及Habitat。我們的目標(biāo)為在將Location作為控制變量的情況下源譬,檢驗(yàn)Allele (94或non-94)和Habitat (marine 或estuarine)是否相互獨(dú)立集惋。

我們需要注意的是,上列數(shù)據(jù)是以一個(gè)變量組合計(jì)數(shù)表的形式作為輸入的踩娘,而不是我們之前所見的樣本記錄列表刮刑。所以在這里我們要使用xtabs()函數(shù)將其轉(zhuǎn)換為列聯(lián)表形式,而非之前的table()函數(shù)养渴。


通過(guò)上述檢驗(yàn)我們可以發(fā)現(xiàn)雷绢,在以Location為控制變量的條件下,變量Allele和變量Habitat之間存在顯著的相互影響理卑,p=.025翘紊。

這里需要我們注意的是,在上述方法中藐唠,列聯(lián)表內(nèi)的頭兩個(gè)變量處于對(duì)等的地位關(guān)系(所以我們可以任意改變它們之間的次序而不會(huì)影響到檢驗(yàn)的最終結(jié)果)帆疟,而最后一個(gè)變量的地位則和它們不同,下面的例子將進(jìn)一步說(shuō)明它宇立。

McNemar檢驗(yàn)

McNemar檢驗(yàn)從概念上來(lái)說(shuō)很像是對(duì)于概率數(shù)據(jù)的組內(nèi)檢驗(yàn)踪宠。例如,現(xiàn)在我們要研究某一個(gè)激勵(lì)是否顯著增加了一個(gè)人在某個(gè)問(wèn)題上回答“yes”的可能性妈嘹,而對(duì)于每一個(gè)志愿者我們都進(jìn)行了激勵(lì)前的先驗(yàn)調(diào)查與激勵(lì)后的后驗(yàn)調(diào)查柳琢,并記錄下了他們的回答。在這個(gè)案例中润脸,傳統(tǒng)的卡方檢驗(yàn)并不適用柬脸,因?yàn)榭ǚ綑z驗(yàn)本身假設(shè)樣本之間的相互獨(dú)立,但事實(shí)并非如此毙驯。此時(shí)肖粮,McNemar檢驗(yàn)就可以大顯身手了,并且這種方法只能適用于對(duì)同一個(gè)二分變量進(jìn)行兩次測(cè)量的情況尔苦。對(duì)于一個(gè)2x2的列聯(lián)表涩馆,McNemar檢驗(yàn)在結(jié)果上也許會(huì)與“一般”的卡方檢驗(yàn)幾乎近似,但從方法的結(jié)構(gòu)上來(lái)看允坚,二者截然不同魂那。

假設(shè)下面便是我們的數(shù)據(jù)吧雹,每一個(gè)對(duì)象樣本都對(duì)應(yīng)著一組激勵(lì)前與激勵(lì)后的數(shù)據(jù)颊糜。


如上所示吨岭,如果我們的數(shù)據(jù)不屬于寬數(shù)據(jù)南吮,那么我應(yīng)該先將它轉(zhuǎn)換為寬型。

接著顶别,根據(jù)變量post和變量pre構(gòu)建列聯(lián)表:

再構(gòu)建了合適的列聯(lián)表之后审编,調(diào)用函數(shù)進(jìn)行檢驗(yàn):

對(duì)于小樣本數(shù)據(jù)剪决,McNemar檢驗(yàn)的過(guò)程中用到了連續(xù)性校對(duì),如果我們不需要這樣的調(diào)整過(guò)程蔗候,我們也可以通過(guò)調(diào)用exact2x2包怒允,來(lái)使用一個(gè)精確版本的McNemar檢驗(yàn)。


復(fù)制鏈接锈遥,通過(guò)電腦學(xué)習(xí)效果最佳:http://datacademy.io/lesson/66

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末纫事,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子所灸,更是在濱河造成了極大的恐慌丽惶,老刑警劉巖,帶你破解...
    沈念sama閱讀 206,126評(píng)論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件爬立,死亡現(xiàn)場(chǎng)離奇詭異钾唬,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)侠驯,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,254評(píng)論 2 382
  • 文/潘曉璐 我一進(jìn)店門知纷,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人陵霉,你說(shuō)我怎么就攤上這事∥樯” “怎么了踊挠?”我有些...
    開封第一講書人閱讀 152,445評(píng)論 0 341
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)冲杀。 經(jīng)常有香客問(wèn)我效床,道長(zhǎng),這世上最難降的妖魔是什么权谁? 我笑而不...
    開封第一講書人閱讀 55,185評(píng)論 1 278
  • 正文 為了忘掉前任剩檀,我火速辦了婚禮,結(jié)果婚禮上旺芽,老公的妹妹穿的比我還像新娘沪猴。我一直安慰自己,他們只是感情好采章,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,178評(píng)論 5 371
  • 文/花漫 我一把揭開白布运嗜。 她就那樣靜靜地躺著,像睡著了一般悯舟。 火紅的嫁衣襯著肌膚如雪担租。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 48,970評(píng)論 1 284
  • 那天抵怎,我揣著相機(jī)與錄音奋救,去河邊找鬼岭参。 笑死,一個(gè)胖子當(dāng)著我的面吹牛尝艘,可吹牛的內(nèi)容都是我干的演侯。 我是一名探鬼主播,決...
    沈念sama閱讀 38,276評(píng)論 3 399
  • 文/蒼蘭香墨 我猛地睜開眼利耍,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼蚌本!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起隘梨,我...
    開封第一講書人閱讀 36,927評(píng)論 0 259
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤程癌,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后轴猎,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體嵌莉,經(jīng)...
    沈念sama閱讀 43,400評(píng)論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 35,883評(píng)論 2 323
  • 正文 我和宋清朗相戀三年捻脖,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了锐峭。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 37,997評(píng)論 1 333
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡可婶,死狀恐怖沿癞,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情矛渴,我是刑警寧澤椎扬,帶...
    沈念sama閱讀 33,646評(píng)論 4 322
  • 正文 年R本政府宣布,位于F島的核電站具温,受9級(jí)特大地震影響蚕涤,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜铣猩,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,213評(píng)論 3 307
  • 文/蒙蒙 一揖铜、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧达皿,春花似錦天吓、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,204評(píng)論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至们何,卻和暖如春萄焦,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,423評(píng)論 1 260
  • 我被黑心中介騙來(lái)泰國(guó)打工拂封, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留茬射,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 45,423評(píng)論 2 352
  • 正文 我出身青樓冒签,卻偏偏與公主長(zhǎng)得像在抛,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子萧恕,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,722評(píng)論 2 345

推薦閱讀更多精彩內(nèi)容