假設檢驗:
一般步驟:
1.設定假設后需要驗證:假設0一般都是“處理組和對照組無區(qū)別”
2.構(gòu)建檢驗統(tǒng)計量:根據(jù)樣本數(shù)據(jù)計算統(tǒng)計量和檢驗統(tǒng)計量
3.設定置信區(qū)間:根據(jù)檢驗統(tǒng)計量的分布,計算假設發(fā)生的概率P
# 分布的意義在于劃定誤差分布讹俊,即劃定真實世界的隨機誤差范圍
# 小概率事件的發(fā)生概率幾乎為零垦沉,但是為了滿足我們的現(xiàn)實需求,我們一般可以設定P>0.05即認定假設為真仍劈,即發(fā)生假設情況的概率為5%以上時厕倍,即認定假設為真。P<0.05時贩疙,即認定假設為假讹弯,即處理組和對照組有區(qū)別。
# 但在真實世界里这溅,真實事件的概率可能會達到99.9%组民,而不只是95%。所以我們可能會將原本為真的情況悲靴,誤判為假臭胜,即發(fā)生一類錯誤。
# 反過來說,當假設為假時庇楞,我們會認定處理組和對照組有區(qū)別榜配,但其實有一定概率是“原本沒有區(qū)別,但是被我們誤判為假”的情況吕晌。
為了降低發(fā)生一類錯誤的概率蛋褥,我們可以降低置信區(qū)間,相應的P值范圍也會改變睛驳。多重檢驗校正便是通過設定一些規(guī)則改變P值范圍來降低犯錯的概率烙心。
多重檢驗校正:
隨著假設檢驗的次數(shù)增高,犯錯誤的概率就不斷增大乏沸,這時候就需要進一步調(diào)整P淫茵,從而保證最終結(jié)果的可靠性。
比較基礎的有Bonferroni校正和Benjamini and Hochberg校正
基本定義:
FWER(Family-Wise Error Rate):初現(xiàn)至少一次一類錯誤(原本為真蹬跃,判定為假)的概率
FDR(False Discovery Rate):所有判為假的結(jié)論中(陽性結(jié)果)匙瘪,即發(fā)生一類錯誤的概率
Bonferroni校正:
基本原理是控制FWER
adj.P= α/m
# 其中α 為原定顯著性,m 為檢驗次數(shù)蝶缀;
# 舉例:原α=0.05丹喻,檢驗m= 10000次,則adj.P= 0.000005翁都。假設全部結(jié)果都是假(陽性結(jié)果)碍论,并且全部都是一類錯誤,則發(fā)生一類錯誤的次數(shù) n= adj.P*m= 0.05< 1
Benjamini and Hochberg校正:
基本原理是對FDR設限柄慰,如1%鳍悠,一百個陽性結(jié)果,有一個是一類錯誤坐搔。但是也可以根據(jù)α來設定FDR藏研,即BH校正。
將所有檢驗P值進行由低到高排序概行,找到一個最大正整數(shù)k蠢挡,使得
P(k)<= α* (k/m)
# m為總檢驗次數(shù)
# 1~k均為陽性結(jié)果
#該策略假設的是假陽性與真陽性雖然都是陽性,但假陽性與真陽性本質(zhì)截然不同占锯,故從假陽性到真陽性是斜率陡然上升的袒哥。
除了BH外,還可以直接設定FDR消略。
總結(jié):
adj.P其實就是q value堡称;
各種校正其實只是設定q value的標準不同,核心思想都是一樣的艺演;
以上兩個校正策略却紧,用得較多的是第二個桐臊。因為第一個太嚴格了,很容易將真陽性結(jié)果篩掉晓殊。