统计知识 | Mini Meta-analysis或单论文中的元分析

(图片来源：http://blogs.plos.org/absolutely-maybe/2016/07/05/psychologys-meta-analysis-problem/)

本文的主要目的是在于分享一个可以用在单个论文中进行的元分析（meta-analysis）技巧。最初的原因是2017年6月，本人在北京大学《决策与神经经济学博士生研讨会》上报告自己的研究时，展示了对自己博士期间系列实验进行的一个元分析。报告结束之后，有同学对这个元分析非常感兴趣，问起这个事情来。当时感觉似乎不少小伙伴对这个方法不太熟悉，因此做了一个非常简短的介绍，要使用的话，可能需要参考本文提到的文献进一步了解细节。

首先，元分析(meta-analysis)，从本质上讲就是采用统计的方法将多个研究中的数据结果综合起来，从而对研究的效应进行一个量化的总结。元分析最早可能是用来证明吸烟与肺癌之间的关系（《The Emperor of All Maladies》中提及，细节记不清楚了，如有错误请指正）。当时烟草企业要极力否认这种关系，人类研究无法进行因果推断，动物研究无法直接用到人类身上。在这种情况下，统计学家们使用元分析的方法综合了各种证据，指出吸烟与肺癌之间的关系是不可否认的，才有了后来烟草包装上的提示。

正因为元分析是对研究的量化总结，因为，从某种意义上讲，只要有2个及以上的实验/研究，就可以做元分析。

在心理学中的可重复性问题受到广泛关注时，La Trobe University的 Geoff Cumming在psychological science上发表了一篇名为《The New Statistics: Why and How》的文章，在这个文章中，专门讲了元分析的知识，并且在给研究的25条建议中，提倡使用元分析：

Use small- or large-scale meta-analysis whenever that helps build a cumulative discipline.

那么，随后，有一些研究者专门提出了使用小规模的元分析，帮助作者来对自己的研究现象达到一个更加精确的效应量估计。主要有如下三篇文献：

1

Goh, J. X., Hall, J. A., & Rosenthal, R. (2016). Mini Meta-Analysis of Your Own Studies: Some Arguments on Why and a Primer on How. Social and Personality Psychology Compass, 10(10), 535-549. doi:10.1111/spc3.12267

这个文章的一作是华人，他们提供了一个在线的excel工具，可以使用。

2

McShane, B. B., & Böckenholt, U. (2017). Single-Paper Meta-Analysis: Benefits for Study Summary, Theory Testing, and Replicability. Journal of Consumer Research, 43(6), 1048-1063. doi:10.1093/jcr/ucw085

这个文章也提供了一个在线的工具，直接搜索文章的名字可以找到。

3

Ueno, T., Fastrich, G. M., & Murayama, K. (2016). Meta-Analysis to Integrate Effect Sizes Within an Article: Possible Misuse and Type I Error Inflation. Journal of Experimental Psychology: General, 145(5), 643-654. doi:10.1037/xge0000159

这个文章主要是提供使用这种mini meta-analysis的时候要注意的事项。

这里需要提一下另一篇JEPG的文章：

Tuk, M. A., Zhang, K., & Sweldens, S. (2015). The propagation of self-control: Self-control in one domain simultaneously improves self-control in other domains. Journal of Experimental Psychology: General, 144(3), 639–354. doi:10.1037/xge0000065

这篇文章是JEPG的副主编 Michael Inzlicht处理的，他自己后来说这个审稿过程非常有意义：Guest Post: A Tale of Two Papers。我引用了关键的几处：

To illustrate, let me tell you the story of two papers I edited. The first paper contained 7 experiments, often with outliers removed and covariates included, and reported effect sizes in the medium to large range all supporting the main hypothesis. The second paper contained 18 experiments, didn’t exclude anyone or add any covariates, and reported small effect sizes that sometimes were contrary to the hypothesis. The first paper found 7 out of 7 significant results; the second paper contained 2 significant effects out of 18.

These were not two papers. They were two versions of the same paper.

......

Despite high marks from reviewers enthralled with the topic, I decided to reject the first paper because of signs of non-robustness.

...

I invited the authors to submit this second paper and after a few rounds of revision, the paper was accepted. Their meta-analytic effect, unlike almost all others in the field, is based on a body of data that is not warped by the file drawer. Clearly, we now know that all data warrant independent replication; but to me, these data are trustworthy.

所以，如果你有多个研究，有的显著，有的不显著。现在也许你可以考虑做一个元分析来让你的研究更加可靠。

如果说非要我提供一些具有可操作性的做法的话，我推荐这个使用R的网页：When Study 1 & Study 2 Disagree: Practical Recommendations for Researchers（https://scienceofpsych.wordpress.com/2015/08/07/when-study-1-and-study-2-disagree-practical-recommendations-for-researchers/）。

作者：胡传鹏

校对：王薇薇

排版：赵加伟

Open Science Club

Make psychology open and trustworthy!

ID：OpenScience

欢迎关注与投稿

[e-mail]