你对自己的研究结果有多大信心？打个分吧
原文作者：Steven N. Goodman，斯坦福大学医学和流行病学教授
Steven N. Goodman认为，任何科学家都应该以概率量化他们对自己所发表的论断的信心。
想象一下，如果天气预报说“明天下雨的可能性在统计学上并不显著”，而不是“下雨概率为60%”，我们会有多疑惑。又或者佛罗里达州居民听到的是“塔拉哈西会被飓风正面袭击，P = 0.03”，而不是“ 塔拉哈西被飓风迈克尔正面袭击的概率是85%”，他们该做何感想。
Steven N. Goodman
在面临高风险时，我们需要准确易懂的风险评估以做出明智的决策。我们要求天气预报明确播报降雨或飓风的可能性，因为我们的生命和生活会受到它们的威胁。这就是为什么天气预报会将极其复杂的模型化解为一个简单的数字。
科学家也应该这样做。
应当要求所有在研究中提出某论断的研究人员同时阐明他们这一论断为真的概率——我称之为信心指数。比如研究人员提出 “这种药物与心脏病发作风险增高相关，相对危险度（RR）= 2.4，P = 0.03”，那么他们还必须加以补充说明，比如“这种药物有80%的可能性增加心脏病发作风险，而该风险至少翻倍的可能性为60%”。
用贝叶斯统计方法分析某假设为真的概率在一定程度上与信心指数类似。例如，2017年的一项研究计算显示，即使实验组和对照组没有统计学差异，诱导低温也有76%的概率使那些因缺氧而发生脑损伤的新生儿受益。根据我的计算，这项研究的P值为0.6（A. R. Laptook et al. J. Am. Med. Assoc. 318, 1550–1560; 2017）。
信心指数可以包含两个部分，一部分是之前相关证据的影响（如某些贝叶斯分析所做的那样），另一部分是研究人员对论断所给解释的合理性的判断。非常重要的一点是，信心指数应当反映所指研究的局限性，也就是目前尚只是定性描述的部分。 即便研究人员计算了置信区间（另一个评价指标），信心指数也仍然适用。
许多科学家认为P值就是信心指数；一个普遍的错误观念是P值小于0.05意味着效应出现的概率为0.95，甚至更高。但P值并不能反映零假设为真的概率。这种根深蒂固的错误观念让美国统计协会深感苦恼，于是协会在2016年发布了一份罕见的公开声明，希望可以消除这一错误观念，并且不鼓励研究人员使用“明线”P值阈值（通常为0.05）来证明论断的合理性。他们提出用更多地依赖置信区间作为补救措施，但是这些做法同样被用作“明线”标准，而且存在许多和P值相似的缺点。最重要的一点是，一项可靠的研究的置信区间和一项我们完全不相信的研究可能会出现相同的置信区间。
通常情况下，论断的传达非常模糊，以至于我们不知道如何解读它们。若结果具有统计显著性，科研人员就斩钉截铁地宣称两者存在关系，譬如“纤维摄入使癌症风险降低18%（置信区间：2%- 34%），P = 0.02”。若结果没有统计显著性，那么研究人员会有各种各样的说法，从“没有差异......”到“有某种趋势......”，再到其它各种委婉的说法。
这种模糊不清使得科学家们之间的沟通变得很困难，更不要说其他想要获得相关信息的人，譬如记者、医生、政策制定者，乃至公众。
有些人会说他们无法将研究的所有细节转化为一个简单的数字，但事实上我们有很对类似的先例。政府间气候变化专门委员会对其每一条声明标注置信级别。众包技术，譬如预测市场（让人们对结果押注），已经被用来估计科学研究的可重复性，而且具有可观的准确性。有些人提议科学家们将自己的钱押在他们的论断上，在一定程度上也是为了避免对论断过度自信或不自信以及其它一些认知误区。
此外，信心指数还有别的益处。一些研究人员通过操纵分析或有选择性地报告结果来获得统计显著性（这个过程被称为P值操控），因为只有具有统计显著性的研究才最有可能得到发表、认可和资助。
2018年，一项覆盖390名生物统计学家的调查发现，他们中至少有20%的人曾被合作者要求操纵数据或分析以夸大研究结果的重要性（M. Q. Wang et al. Ann. Intern. Med. 169, 554–558; 2018）。有了信心指数，因为没有“明线”可以瞄准，研究人员可能就没有动力去操纵它，取而代之的是有动力去准确完成研究。
当然，研究人员也应当明确说明计算信心指数的推论过程和具体方法。这些方法的基础已经存在——贝叶斯统计，敏感性分析等，当然还需要在此基础上进一步加以拓展。另外关于科学判断：与文字背后所做的判断一样。但数字总是比文字更让人信服，是时候将文字转换成含义更加清楚的数字了。
纸上谈兵并不难，但倘若要真正落实就意味着对整个科学和统计实践进行深刻的改革。然而我们无法忽视研究中的可重复性危机和可信度危机。危机即机遇，不应该被浪费；倘若你问变革的时机，那就是现在。
原文以How sure are you of your result? Put a number on it为标题
发布在2018年12月4日的《自然》环球观点上
ⓝ
Nature|doi:10.1038/d41586-018-07589-2
点击“阅读原文”阅读英文原文
热门文章
点击图片阅读：P值争议新一季：我们是否需要一个统一的P值阈值？
点击图片阅读：P<0.005让你害怕？粒子物理学家投来嘲讽的眼神
点击图片阅读：有多少圆满研究，是科学家骗到了自己
版权声明：
本文由施普林格·自然上海办公室负责翻译。中文内容仅供参考，一切内容以英文原版为准。欢迎转发至朋友圈，如需转载，请邮件China@nature.com。未经授权的翻译是侵权行为，版权方将保留追究法律责任的权利。
© 2019 Springer Nature Limited. All Rights Reserved