为了让论文看起来更有价值,竟玩这些套路?!
前几天,医咖会公众号推送了一篇文章:“P接近0.05,可以有100种英文描述方法?!”,讲述了作者们是如何在文字上做文章,让无统计学意义的结果看起来更有趣。例如:slightly missed the margin of significance (p=0.051);a possible trend toward significance (p=0.052)。
今天又看到了一些有意思的研究,和大家分享。
1974-2014年PubMed文章中
阳性和阴性词语使用是怎么变化的
这是BMJ在2015年底发表的一项研究[1]。作者提前定义了三种类别的词语:阳性、阴性和中性,每种类别包含25个词(表1),为了排除选词偏移,作者又从Ogden基础英语850个核心词中随机选取了50个名词和50个形容词。查看这些词语在PubMed数据库里标题和摘要中出现的频次,时间限定在1974年1月1日到2014年12月31日。
为了确保PubMed摘要中词语的使用趋势仅限于科学领域,并非社会用词的普遍趋势造成,研究者们还对1975年到2009年出版书籍中的上述词语进行了量化。此外,研究还专门分析了高影响因子期刊的情况。
结果显示,1974年到1980年,1.7-2.3%的PubMed标题或摘要中至少包含一个阳性词语,到2014年,上升到了17.5%,相对增长880%(图1)。增加最多的词语为:“robust”、“novel”,“innovative”,“unprecedented”,相对增加了2500%到15000%。1975年到2009年同样的阳性词语在出版书籍中上升了46%。
图1
在研究者们挑选出的高影响因子期刊中,阳性词语的使用比例从1.1%上升到了8.9%(相对增加674%)。但是,在检索时间范围内的最后10年中,高影响因子期刊中阳性词语的增加情况显著低于所有期刊的整体增加情况(图1)。
对于阴性词语的使用,可以看到类似但不太明显的增加趋势,从1974-1980年的1.3%上升到2014年的3.2%,相对增加257%,如果限定为高影响因子期刊,相对增加199%。中性词语的使用没有增加,随机词语的使用只有轻微增加(图1)。
上述情况的出现,可能说明研究者们采用了越来越乐观的写作方式,对研究发现的热情更大,但另外一个原因或许更能解释这一现象:研究者们假定,文章想更容易发表,需要去夸大结果及其影响。高估研究结果会直接有损科学发现的能力,导致对研究成果市场化的过度关注。这种夸张形式的后果令人担忧,因为会让研究变成了适者生存:最有能力销售其结果的人,可能才是最成功的人。学术界应该奖励研究质量而非数量,鼓励研究人员尊重客观性原则。
RCT主要结局为阴性,
多少作者会进行歪曲性解释
1. 先看一篇早期的JAMA文章
2010年,JAMA杂志曾发表文章[2],调查在主要结局为阴性的RCT中,作者们是否进行了歪曲性解释或倾向性陈述(Spin:一种特别的报告策略,尽管主要结局未得出统计学意义,仍强调治疗方法的益处;或者分散读者对阴性结果的关注。见表2)。
研究调查了2006年12月发表的616篇RCT,最后纳入72篇主要结局无统计学意义的RCT。结果发现,有13篇(18.0%)文章的标题存在“Spin”,摘要的结果和结论部分分别有27篇(37.5%)和42篇(58.3%),其中结论部分有17篇只说治疗的益处。正文的结果、讨论和结论部分分别有21(29.2%)、31(43.1%)和36篇(50.0%)文章存在上述情况。
2. 再看一篇近期的文章,调查高影响因子的外科杂志
《Ann Surg》近期发表了一项研究[3],调查了2013年7月到2015年7月期间,影响因子最高的10个外科杂志中主要结局为阴性的RCT。110篇RCT纳入分析,其中8篇(7%)文章的标题出现“Spin”,44篇(40%)文章的摘要和39篇(35%)文章的正文出现这一情况。25篇文章(23%)中,尽管主要结局为阴性,依然声称干预措施有益处。
研究发现,团队中是否有统计学家与存在“Spin”无相关性;有无商业资助的研究之间无差异;干预类型(手术技术,器械,药物等)、研究分期与存在“Spin”也无相关性。
参考文献:
1. BMJ. 2015 Dec 14;351:h6467.
2. JAMA. 2010; 303 :2058-64.
3. Ann Surg. 2017 Jun; 265(6):1141-5.
(有需要上述文献全文的伙伴,请在文章下方留言~)
精彩回顾
关注医咖会,关注研究设计和统计学
有临床研究设计或统计学方面的难题?快加小咖个人微信(xys2016ykf),加入医咖会统计讨论群,和小伙伴们一起交流学习吧。我们诚邀各位小伙伴加入我们,一起创作有价值的内容,将知识共享给更多人!
点击左下角“阅读原文”,看看医咖会既往推送了哪些研究设计或统计学文章。