多因素ANOVA中的多重比较校正

多重比较校正是研究中常见地用来控制假阳性的一个方法。这几年关于这个问题最值得一说的,肯定是三文鱼实验的海报。正是这个研究,神经成像领域基本上开始重视多重比较校正的问题。

心理学的学生,基本上都学习过多重比较的问题。在我的印象中,应该是在事后检验(post-hoc test)中提到这个问题。比如 one-way ANOVA中,有三个水平,如果ANOVA的效应是显著的,那么后续的三个t-test中,不能使用0.05作为alpha的水平,而应该是0.05/3=0.017 (Boferroni校正)。

但是,很少有心理学研究者注意到,多因素ANOVA中也存在这个问题。而Lakens最近的博客就是提到了这个问题。在博客中,他以2*2*2的ANOVA为例进行了说明。2*2*2的ANOVA,有三个主效应和4个交互作用,共有7个效应。这7个效应中任何一个显著的比例也不是0.05,而是大约30%左右了!

SNAG-0005

博客中还提到了Cramer等人最近在arvix上的论文,对多因素ANOVA中的校正问题进行了比较系统的说明,同样值得一看。这个论文还对主流心理学杂志进行了一个抽样的调查,发现大约50%的论文使用了多因素ANOVA(一点也不奇怪,大家都希望用一个实验多检验几个效应),而几乎没有用过多重比较校正。这里面提到了一些校正的方法,其中原理其实都差不多,都是FWE,FDR两种校正。关于这些原理,可以看刘嘉老师实验室在《心理科学进展》上的文章:全基因组关联研究中的多重校正方法比较

当然,提出问题还得有个解决方案。在上述的这个论文中,指出了几种解决方案,可以去看看论文。而在Lakens的博客中,提到了最简单粗暴的一种:

“I’ve used the mutoss package in R in my simulations to check a wide range of corrections, and came to the conclusion that unless the number of tests is huge, we don’t need anything more fancy than the Holm-Bonferroni (or sequential Bonferroni) correction (please correct me if I’m wrong in the comments!)”

也就是说,使用Holm-Bonferroni校正够用了,这一点比神经成像还是简单一些。作为业界良心的代表(他之前提供过效应量计算的excel表格!),Lakens提供了Excel表格用来校正P值,这里是链接:http://www.staff.amu.edu.pl/~kleka/_uploads/Holms-correction-calculator.xlsx。

最最关键的问题:指出这个问题并不是让大家一定要做校正,而是了解多因素ANOVA存在过高假阳性的可能性,大家需要根据自己研究的情况,在充分理解背后原因的情况下,选择是否校正,如何校正。

心理学最近在方法上不断地改进,说实话,让人感觉有些吃力。但用一句鸡汤的话说,感觉吃力表明我们在走上坡路。好好把方法搞严谨了,避免false positive psychology。

Cramer, A. O. J., Ravenzwaaij, D. v., Matzke, D., Steingroever, H., Wetzels, R., Grasman, R. P. P. P., . . . Wagenmakers, E.-J. (2016). Hidden Multiplicity in Exploratory Multiway ANOVA: Prevalence and Remedies. http://arxiv.org/abs/1412.3416

Leave a Reply

Your email address will not be published. Required fields are marked *