在A/B實(shí)驗(yàn)設(shè)計(jì)——如何避免多重檢驗(yàn)錯(cuò)誤中花吟，介紹了什么是多重檢驗(yàn)巩检，并且介紹了Bonferroni correction耿芹、Holm–Bonferroni method烛占。本篇將更深入討論應(yīng)對(duì)多重檢驗(yàn)的策略嚎于。
符號(hào)定義
- m：總檢驗(yàn)假設(shè)數(shù)
- m0：零假設(shè)正確的數(shù)量泵额，我們無(wú)法得知
- m - m0：備擇假設(shè)正確的數(shù)量
- V：假陽(yáng)性結(jié)論數(shù)量
- S：真陽(yáng)性數(shù)量
- T：假陰性數(shù)量
- U：真陰性數(shù)量
- R = V + S：拒絕零假設(shè)數(shù)量
在m個(gè)假設(shè)檢驗(yàn)中涮母，m0個(gè)零假設(shè)為真谆趾，R是觀察到的顯著情況的隨機(jī)變量，S叛本、T沪蓬、U、V都是不可觀測(cè)的隨機(jī)變量来候。
FWER(Family-wise error rate)
代表一系列檢驗(yàn)中跷叉，至少存在一個(gè)假陽(yáng)性的概率：
控制過(guò)程
無(wú)論檢驗(yàn)間是否獨(dú)立的，都成立营搅。
利用這個(gè)不等式云挟，可以通過(guò)Bonferroni correction、Holm–Bonferroni method來(lái)對(duì)FWER進(jìn)行控制转质。
缺點(diǎn)
由于FWER限制過(guò)于嚴(yán)格园欣，會(huì)導(dǎo)致power相對(duì)比較低，容易錯(cuò)失正確的決策機(jī)會(huì)休蟹。
例如當(dāng)兩個(gè)比較是完全相關(guān)沸枯，多次比較并不會(huì)增加假陽(yáng)性水平，但是矯正后卻增加了假陰性赂弓。
FDR(False discovery rate)
發(fā)現(xiàn)中假陽(yáng)性錯(cuò)誤的比例期望：
控制過(guò)程
Benjamini–Hochberg procedure(BH step-up procedure)
- 將多重比較的P值排序绑榴，找到滿足
的最大的
；
- 拒絕1 ~ k對(duì)應(yīng)的原假設(shè)盈魁。
檢驗(yàn)間獨(dú)立或者正相關(guān)情況下翔怎，HB過(guò)程控制結(jié)果滿足：
如何理解？
- 設(shè)共有
個(gè)假設(shè)备埃，
個(gè)零假設(shè)為真姓惑，它們的P值為均勻分布褐奴，顯著水平為
，則期望的假陽(yáng)性數(shù)量為
;
- 紅線的斜率為
于毙，紅線下方最大的P值對(duì)應(yīng)的序號(hào)為
敦冬；
- 拒絕零假設(shè)中，期望的假陽(yáng)性數(shù)為
唯沮，因此:
HB過(guò)程在每次比較獨(dú)立或者正相關(guān)時(shí)是有效的脖旱。
Benjamini–Yekutieli procedure
此過(guò)程在任意情況下，都能控制假陽(yáng)性介蛉。方式為在BH過(guò)程中萌庆，引入?yún)?shù)c，找到最大滿足
币旧。
- 如果檢驗(yàn)間獨(dú)立或者正相關(guān)践险，
；
- 其他情況吹菱，
巍虫。
缺點(diǎn)
相對(duì)于FWER，有較高的假陽(yáng)性率鳍刷。
FCR(False coverage rate)
錯(cuò)誤覆蓋率占遥。FWER、FDR用于控制P值输瓜，F(xiàn)CR用于控制置信區(qū)間瓦胎。
控制過(guò)程
BH過(guò)程對(duì)應(yīng)的置信區(qū)間修正
- 將多重比較的P值排序，找到滿足
- 拒絕1 ~ k對(duì)應(yīng)的原假設(shè)搔啊；
- 為每個(gè)比較中的參數(shù)，構(gòu)建
水平的置信區(qū)間芹缔。
結(jié)語(yǔ)
我認(rèn)為需要根據(jù)不同情況坯癣，選擇適合自己的標(biāo)準(zhǔn)與方法。
目的明確最欠，決策指標(biāo)明確示罗，測(cè)試干預(yù)是否有效，也許FWER來(lái)進(jìn)行控制比較合適芝硬；探索性實(shí)驗(yàn)蚜点，指標(biāo)很多的情況下，可能FDR會(huì)更適合拌阴。
