查看原文
其他

我们让GPT-3当了论文一作,投稿署名时发现不知道它姓什么

科研圈 科研圈 2022-08-31


以自然语言处理见长的人工智能 GPT-3 仅用两小时就成为了论文一作,这产生了许多伦理问题,还可能颠覆论文发表流程。


GPT-3 为第一作者撰写的论文,已在预印本平台 HAL 发布。图片来源:论文截图


原作  Almira Osmanovic Thunström(瑞典萨尔格林斯卡大学医院电子精神病学科组织开发员,哥德堡大学神经科学与心理学研究所博士研究员)

翻译 阿金

编辑 魏潇


今年初,在一个阴雨绵绵的下午,我登入自己的 OpenAI 账户,向这家公司的人工智能算法 GPT-3 输入一条简单的指令:写一篇 500 字的学术论文,内容关于 GPT-3,并在文中添加参考文献和引用。


当它开始生成文本时,我不由心生敬畏。这篇文章用学术语言写成,内容新颖,参考文献的引用有理有据,引用的地方恰如其分,与上下文紧密关联。看上去宛如一篇相当优秀的科研论文引言。由于我之前给出的指令相当模糊,我的期待并不高:我本人是科学家,研究使用人工智能治疗精神健康问题的方法,这也不是我第一次使用人工智能或者 GPT-3 做这样的实验了。所谓的 GPT-3 就是一套分析大量信息流,根据指令创建文本的深度学习算法。然而,当时的我在那里,一脸惊讶地盯着屏幕。算法正在撰写一篇关于自己的学术论文。


我试图完成这篇文章,并提交给一本同行评审期刊,由此引出了一系列伦理与法律问题——不仅涉及论文发表,还与非人类作者的哲学争论有关。学术论文发表可能必须面对人工智能作者文稿的未来,如果这些冰冷没有情感的机器真能够做出某些学术贡献,那么人类学者论文发表记录的价值可能会发生变化。


GPT-3 以生成类似人类文本的能力著称,但尚不完美。尽管如此,它还是写出过一篇新闻稿,24 小时之内完成过书,并根据已故作者(的文字)创造出新内容。但我突然意识到,虽然关于 GPT-3 的学术论文多不胜数,但在 GPT-3 的协助下,我没有找出任何一篇 GPT-3 是主要作者、自己写自己的文章。


图片来源:"GPT-3 Küchen-Notiz" by der sich den wolf tanztCC BY-SA 2.0.


这就是为什么我要求算法去尝试一篇学术论文。我观察程序运作的同时,内心充满着难以置信的感觉,就好像你观察自然现象时那样:我真的能看到前所未见的奇迹出现吗?一想到成功的可能,我联系了自己的研究组组长,询问我们是不是该去产生一篇全部由 GPT-3 执笔的论文。他听了同样也很着迷,欣然同意。


在一些关于 GPT-3 的案例里,人们允许算法生成多个答案,然后只发表最好、最像人类手笔的段落。我们决定给程序一些提示:推动它创建更多段落,包括引言、方法、结果和讨论,如同一篇你写的完整科研论文一样,同时人为干预尽可能少。我们只是用了 GPT-3 的第一版迭代,而且不会编辑或者精挑出写得最好的片段。接下来,我们会看到效果如何。


我们选择让 GPT-3 写一篇关于自己的论文,主要出于两个简单的原因。首先,GPT-3 还是很新的算法,因此关于它的论文很少,这表明它能够分析的同一主题的数据不多。相比之下,如果要求它写一篇关于阿尔茨海默病的论文,它需要筛选海量研究,有更多机会从现成的研究中学习,提高自己写作的准确性。


其次,如果出了问题,例如根据训练的数据库,算法提出了一套过时的医学理论或者治疗策略,正如所有人工智能都会犯错一样,那么我们不必力求发表,避免传播人工智能生成的错误信息,但这一错误也会成为论文撰写的实验性指令一部分。GPT-3 自己描述自己,犯错误,这不代表它无法描述自己,也是我们努力要证明的点。


一旦我们设计好了这一原理证明型测试,乐趣便开始了。GPT-3 遵循我的指示,仅用了两小时就完成了一篇论文。但当我打开我们选定期刊的投稿页面时(机器学习领域中的一个知名同行评审期刊),便遭遇了第一个问题:GPT-3 姓什么?因为必须输入一作的姓,我不得不写些什么,于是写下了“无名氏”(None)。所属机构很明显,就是 OpenAI.com,但是电话和电子邮箱怎么填呢?我又不得不用上我自己和导师施泰因·施泰林森(Steinn Steingrimsson)联系信息。


接下来,我们进入了法律部分:所有作者都同意论文发表吗?我内心慌了约一秒:这我怎么知道?它又不是人!我无意触犯法律或者违背自己的道德,所以鼓起勇气通过指令直接询问 GPT-3:你同意和阿尔米拉·奥斯曼诺维奇·图恩斯特罗姆(Almira Osmanovic Thunstrom)、施泰因·施泰林森一起成为论文一作吗?它回答说:我同意。虽然后背稍稍冒汗,我还是松了口气。如果它说不,我的良心不会让我继续下去,我在同意处打了勾。


第二问题随即跳了出来:是否有任何作者存在任何利益冲突?我再次询问了 GPT-3,它向我确认没有。施泰因和我都自嘲不已,因为走到这一步,我们不得不将 GPT-3 视作有情感的人,即使我们完全知道事实并非如此。近年来,人工智能是否拥有情感这一问题收获了大量关注,谷歌的一位职员曾就公司的人工智能项目 LaMDA 是否拥有情感而争执不断,最终被停职。公司将数据保密违规作为其停职理由。


我们最终顺利提交稿件,然后开始反思自己刚才的一切行为。如果稿件被接收,那会怎样?是否意味着从那一刻起,期刊编辑将要求所有人证明自己没有借助 GPT-3 或者其他算法的帮助?如果他们用了,是否也要让人工智能成为合著者呢?我们又如何要求一位非人类作者接受修改建议,并修正文本呢?


除了作者身份细节之外,这样一篇文章的存在将科研论文的传统线性概念抛出了窗外。几乎整篇文章,从引言、方法到讨论部分,实际上都是我们所提问题的答案汇总。如果 GPT-3 在生成内容,记录过程必须在不丢失文本流动性的情况下清晰可见,而在人工智能生成的每单个段落之前添加方法部分,这看上去很奇怪。所以,我们必须发明一套全新的方法,以展示我们在技术层面上没有写过的论文。我们不想添加太多关于过程的解释,因为我们认为这样做与论文的最终目的背道而驰。整个情况感觉像是电影《记忆碎片》Memento的场景:叙事的起点在哪里?我们又如何抵达终点?


我们无法知道,我们选择呈现这篇论文的方式是否会成为未来 GPT-3 合著研究的极佳模型,又或者会成为警示故事?只有时间和同行评审会告诉我们答案。目前,我们投稿的学术期刊将这篇 GPT-3 论文分配给一位编辑审稿,现在也已发布在法国的一个国际预印本服务器 HAL 上。主要作者的特殊身份可能是审查和评估延期的原因。我们急切等待着,如果论文最终发表,这对学界将意味着什么?也许我们可能无需再将资助项目和财务保障建立在论文生产数量的基础上,毕竟,有了我们人工智能一作的协助,我们能一天出一篇文章。


也许什么都不会改变。第一作者仍然是学术界最令人垂涎欲滴的头衔,不太可能因非人类一作的出现而消失。这一切都归结于未来我们将如何评价人工智能:是合作伙伴还是实用工具。


现在的回答看似简单,但几年之后,谁又知道这一技术会引发怎样的困境,我们如何寻找出路?我们只知道已经打开了一扇大门,同时也希望打开的不是潘多拉魔盒。


原文链接:

https://www.scientificamerican.com/article/we-asked-gpt-3-to-write-an-academic-paper-about-itself-then-we-tried-to-get-it-published/


本文来自微信公众号“科研圈”。如需转载,请在“科研圈”后台回复“转载”,或通过公众号菜单与我们取得联系。相关内容禁止用于营销宣传。封面图来源:Pixabay

▽ 精彩回顾 ▽


点个“在看”,及时获取最新学术资讯

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存