评估心理学中错误发现的风险
评估心理学中错误发现的风险
上一节最后的内容，很容易估计最大的错误发现风险。应用这种方法的唯一问题是，心理学上的发现率在很大程度上是未知的，因为心理学家只公布了显著性结果，而没有提供关于获得这些显著性结果尝试次数的信息。
Brunner和Schimmack (2018)开发了z曲线，这种统计方法基于已发表的显著性结果的检验统计量估计缺失的非显著性结果的百分比。
在Rosenthal (1979)之后，这些缺失的研究被称为抽屉文件。将z曲线应用到社会心理学家著名的焦点测试中，每公布一个显著性结果，就会在文件抽屉中得到5项研究的估计值。这意味着发现率是17% (1 /(5 + 1))。在表格中查找错误发现风险表明多达30个已公布的结果可能是错误阳性(下图中55%的估计是基于错误阳性的不同定义)。
以上内容解释了p值的含义，以及如何将它们解释为获得假阳性结果的最大概率。然而，重要的是不要混淆误报率和误发现风险。一个百分比是FP / k，另一个是FP / (FP + TP)。
以上内容还展示了我们如何根据alpha值和发现率(即，表示显著结果的百分比)。这更有意义，但是这些信息通常是不可用的。正如Sterling(1959)所指出的，如果只公布显著性结果，那么这些结果就变得毫无意义，因为错误发现的风险是未知的。因此，心理学家必须开始报告他们为使实证结果有意义所做的尝试的数量。
虽然心理学期刊只发表显著性结果的论文，但统计估计是评估心理学错误发现风险的唯一方法。举一个例子，如何估计发现率以及这个估计对社会心理学中的错误发现风险有什么影响，在社会心理学中错误发现风险被估计为30%。
重要的是要认识到错误的发现是建立在错误定义的基础上的。在正确的方向上，较小效应量结果被认为是真正的阳性结果。因此，即使30%的错误发现率并不意味着70%的已发表结果具有实际意义，也不意味着70%的已发表结果可以被复制。Brunner和Schimmack正在研究另一种方法，这种方法将把具有真实效应的极低效力研究视为错误的发现。这种方法为杰出的社会心理学家提供了55%的错误发现。
Ioannidis(2005)声称大多数发表的结果是错误时，他的主张是建立在不现实的假想情景之上的。目前的估计是基于实际数据，并表明错误发现的风险小于50%。当然，即使是30%的错误发现风险也高得令人无法接受，但Ioannidis在没有经验支持的情况下，对错误结果提出了强有力的主张。我们展示了如何验证这一说法，并展示了表明其错误的数据。此外，社会心理学是心理学中最糟糕的学科。因此，对其它心理学领域的估计可能会更低。这就意味着大多数发表在《心理学》杂志上的研究结果都不是错误的，因为他们报告的结果都是假阳性。
更重要的是，它证明了我们不需要对假设是对还是错的先验概率做出假设，就能对错误发现风险做出断言。我们需要的是alpha和发现率。
在社会科学中关于p值及其解释的无休止争论的背景下。心理学不需要新的统计数据，它需要关于心理学发现率的可信信息。为此，我们需要结束只报告显著性结果的风气。
来源：https://replicationindex.com/2019/01/12/false-discovery-risk/
声明：部分文章和信息来源于互联网，如转载内容涉及版权等问题，请立即与小编联系，我们将迅速采取适当的措施。
感谢您抽出
更多精彩请点击下列分类文章
↓↓↓
透露自己对患者的性的感受，对治疗很少会有用。