解答疑问 | 在心理学实验中，当最终实验结果数据不显著时，研究者们通常会怎么做？

最近有读者留言问：我收集了一批数据，结果缺不显著，应该怎么办？

这个问题之前在知乎上出现过，而我正好回答过这个问题，因此搬运过来，让更多的小伙伴看到，也欢迎大家继续讨论。---- hcp4715

       假定数据本身质量是比较符合要求的，也就是说：第一、实验设计上没有重大缺陷（比如对混淆变量的控制是合理的、操纵检查都是符合预期的）；第二、数据收集过程没有大问题（如实验程序没问题，被试比较认真且真实地反映，实验环境比较理想等）。

       在满足这两个假设的前提下，数据会不显著有两种可能性。

可能性1：没有效应

       也就是你所研究的问题确实没有效应。这种情况很常见，尤其研究问题来自于2012年以前的心理学文献，因为之前要求不那么严格，有许多研究确实没有效应。这种情况下，通过各种方法来让数据看起来显著，很明显，就成了假阳性。而这些让数据看起来显著的方法，现在被称为p-hacking。这些做法正在被国际主流心理学界所否定，因为这会根本上让整个领域的论文变得越来越不靠谱！

可能性2：有效应，但是没有检测出来

       这种情况很正常。假如你研究的统计检验力（或者叫统计功效, statistical power)是80%，那么一次实验你也有20%的可能无法得到显著的结果。但考虑到国内大部分研究不会在实验前做power analysis，而是通常采用20~40个案 ，那么统计检验力极可能是非常低的。按照Ioannidis他们对神经科学领域文献的power的分析，大部分研究的power在20%左右。这就意味着：即使存在真实的效应，这些实验有80%左右的可能性无法得到显著的结果。进一步讲那么一次实验不显著就太正常了。

       与这个情况相关的，如果同一个研究问题做了3个实验，其中有1个实验的结果不显著，这就更加正常。假定每个实验的power是80%，三个实验都显著的可能性为：80%*80%*80% = 0.512，所以差不多也只有一半的可能性实验结果全部显著。如果考虑到许多实验没有80%的power，那这个比例会更加惨淡。

       如果看到了不显著的结果，应该如何更加科学和客观地判断是效应不存在呢，还是效应存在但当前的实验没有检测出来？

       一个比较可取的方法（或者说目前心理学界推荐的方法）：使用提前注册的方式进行重复实验。由于已经进行过一次实验，所以实验的流程、假设、数据分析方法、数据排除标准等都是非常成熟的。你需要的是把这个研究方案进行提前注册（见专栏文章：https://zhuanlan.zhihu.com/p/24775841 或本公众号文章 如何预注册（Pre-register）你的研究？），然后进行一次重复。当然，在注册的过程中，会被问及如何进行power analysis或者如何选择样本量大小，这时你可以根据当前实验的效应量或者先前研究中的效应进行样本量的选择（见文 How to Justify Your Sample Size：https://zhuanlan.zhihu.com/p/30456056）。

       重复完自己的实验之后，可能会得到比较奇怪的结果。不要方，这就是你的数据和你的研究问题。这时，也许你可以再通过一个小的元分析，来更加准确地估计你研究问题的效应量是到底有多大，见：

       当然，要注意，我上述的回答是在假定实验设计与数据收集过程本身没有毛病的情况下。但实际上，心理学的实验中，实验设计与数据收集本身很可能会有问题。认真反思实验设计与数据收集的过程，往往是许多研究小组第一反应。

       万一，你的实验设计和数据收集都没毛病，你也进行了严格的重复实验，你还是没有得到显著的结果。那么恭喜你！你可能开始证伪心理学中的某些理论了！要知道，心理学虽然自称科学，但基本上不使用证伪的科学哲学作为指导，论文中基本上都是证实的文章。这可能也是心理学理论的一个特点：任何的一个效应，都可能找到”理论”的依据，但是却个个都不是那么稳定（有人称心理学为不死理论的坟场, Ferguson & Heene, 2012）。如果你的数据能够证伪某个理论，对心理学研究的贡献也是非常大的。

参考文献

Button, K. S., Ioannidis, J. P. A., Mokrysz, C., Nosek, B. A., Flint, J., Robinson, E. S. J., & Munafo, M. R. (2013). Power failure: why small sample size undermines the reliability of neuroscience. Nat Rev Neurosci, 14(5), 365-376. doi:10.1038/nrn3475

Ferguson, C. J., & Heene, M. (2012). A vast graveyard of undead theories: publication bias and psychological science’s aversion to the null. Perspectives on Psychological Science, 7(6), 555–561. doi:10.1177/1745691612459059