AI在bioRxiv上写的论文摘要，科学家不满意？

原文作者：Ewen Callaway

大型语言模型能生成面向不同水平读者的论文摘要，帮助科研人员轻松浏览文献。

越来越多的AI技术可以帮助研究人员消化科学文献。来源：Михаил Руденко/Getty

11月初，瑞士巴塞尔大学的计算生物学家Erik van Nimwegen和Pascal Grobecker在预印本服务器bioRxiv上发布了一篇论文[1]，描述了一个能破译个体细胞基因表达模式的新工具。Van Nimwegen对这个研究很是激动，并在社交平台X（前身为推特）上写了一篇很长的摘要。

所以，当他看到一个类似ChatGPT的AI工具自动生成的摘要时，他很诧异，也很困扰。在bioRxiv的网站上，这篇摘要就展示预印本论文一旁。van Nimwegen说，第一句话就不知所云，后面越来越离谱。他在X上抱怨道，“写的这么差的摘要还不如没有。”

这篇摘要来自bioRxiv在11月8日推出的一个试点功能，该功能用大型语言模型（large language model，LLM）对所有新上传的论文进行概括——LLM是能生成文本的神经网络。这项服务能针对不同阅读水平（从普通到专业）生成三篇简短的摘要。

“推出该功能的初衷完全是为了帮助读者理解。科研论文有时候晦涩难懂，”bioRxiv联合创始人、纽约冷泉港实验室出版社副社长Richard Sever说，“虽然有些地方会像胡说八道，这是在所难免的。”

bioRxiv的这个试点项目是为了让LLM协助科研群体和公众，让他们能在文献的海洋里更好地探索。面向物理学的预印本服务器arXiv也在用AI为一些论文生成语音摘要，出版机构和资助机构已经开始推出通过聊天机器人“与论文对话”的功能。

决策工具

bioRxiv的试点摘要项目由美国马里兰州的初创公司ScienceCast运行，该公司与arXiv合作密切。ScienceCast开发的LLM能为arXiv生成语音摘要，这项服务可在该公司官网上对部分bioRxiv的论文使用。

bioRxiv网站上的文字摘要概括的是整篇论文，而不仅是论文的摘要部分，而Sever认为，许多科学家会根据这些摘要决定是否要浏览整篇论文。目前，摘要旁会有一个提示说明摘要是AI生成的，而且未经过作者审核。

推出这项服务前，Sever和他的同事分析了该工具生成的几十篇摘要。大部分摘要看起来很好，他说，有些甚至比研究人员自己写的还好。但也有摘要有明显错误。Sever说：“我们料到这里面肯定会出错。”

Robert Seder是美国国家过敏和传染病研究所的疫苗科学家，他在他们团队的预印本论文[2]的AI摘要中发现了几处错误，他们研究的是在猴子上测试吸入式新冠疫苗。Seder说，在AI生成的三篇摘要中，面向普通读者的摘要写得最好，中等水平的摘要最不准确。但他说，在对关键部分进行编辑后，这些摘要就能准确描述整个研究。

Van Nimwegen说，对他论文的普通摘要没什么问题，他不满意的是那篇专业度最高的摘要。

Sever说，如果这个试点项目最后正式推出，bioRxiv可能需要请作者校对和审核。而现在，为了最大程度减少错误带来的影响，该功能并未在medRxiv上推出，medRxiv是冷泉港实验室出版社、位于伦敦的出版机构BMJ和美国耶鲁大学共同管理的一个预印本服务器，主要发布医学研究。medRxiv的研究基本都是临床相关，而错误可能会对患者行为做出不当指导。如果只在bioRxiv上测试，Sever说，“出错的后果顶多是有人觉得被误导，或是错误理解了一篇很晦涩的细胞生物学论文。”

下一个AI工具

新加坡管理大学的图书馆员Aaron Tay尝试过用LLM来概括他们大学研究人员的论文。他说：“大部分都很出色。虽然不算完美，但一般都能抓住关键点。”

Tay表示，随着LLM的不断进步，加上针对特定科研领域开发的模型问世，它们概括研究的能力也会相应提升。

ScienceCast的首席技术官、马里兰大学帕克分校的量子物理学家Victor Galitski表示，公司正在开发专攻特定领域的模型。

此外，Galitski认为，自动化摘要和LLM生成的其他信息将是一种强大的工具，能帮助科研人员实时紧跟海量文献：他通过计算发现，读完过去4年发表的所有COVID-19论文需要150年的时间。他说：“可能会有沧海遗珠。”

bioRxiv已经在策划下一个AI功能了。ScienceCast网站的一个功能可以让读者和一批arXiv预印本论文“对话”，比如，提问某篇论文的关键结果是什么。Galitski表示，公司正在微调该功能，用于生物学数据，并将很快在bioRxiv推出一个差不多的版本。几周前，美国国家癌症研究所推出了一款类似的应用程序，叫做NanCI，用户可以在该程序上提问，比如某批论文“检验的主要假说是什么？”，并能得到带参考文献的回答。

Tay预计更多出版机构会看中LLM的潜力。“我对这些功能的实用性持谨慎乐观的态度，”他说，“我们确实需要更多的正式研究来分析这类文献摘要的准确性。”

参考文献：

1.Grobecker, P. & van Nimwegen, E. Preprint at bioRxiv https://doi.org/10.1101/2023.10.31.564980 (2023).

2. Gagne, M. et al. Preprint at bioRxiv https://doi.org/10.1101/2023.11.06.565765 (2023).

原文以AI writes summaries of preprints in bioRxiv trial标题发表在2023年11月14日《自然》的新闻版块上

© nature

doi:10.1038/d41586-023-03545-x

点击阅读原文查看英文原文

安家费450万元一次性发放！中国药科大学诚邀青年人才依托申报海外优青！| 推广

>> 点击图片查看原文推文 <<

点亮“星标”是您对我们最大的支持！

版权声明：

本文由施普林格·自然上海办公室负责翻译。中文内容仅供参考，一切内容以英文原版为准。欢迎转发至朋友圈，如需转载，请邮件[e-mail]。未经授权的翻译是侵权行为，版权方将保留追究法律责任的权利。

© 2023 Springer Nature Limited. All Rights Reserved

星标我们🌟，记得点赞、在看+转发哦!