萨姆·奥特曼：关于通用人工智能，我是这样想的……

加星标，才能不错过每日推送！方法见文末动图

2022年年底，OpenAI正式推出全新对话式AI模型ChatGPT。人工智能发展史留下浓墨重彩之时，OpenAI也迎来了属于它的时代。近日，其推出的Sora又吸引了全世界的关注，有人惊呼其由文本生成的视频效果又可以“替代”一批视频创制行家。OpenAI研制的AI产品接连冲击人类对它的认知，当然有人欢喜有人忧。本文编译了2023年2月奥特曼本人对通用人工智能发展的短期考虑和长期展望，以窥OpenAI开发人工智能的初心，网络上也有称之为“AGI路线图”（Planning for AGI and beyond ）。

编译 | 西岸

OpenAI：我们的使命是确保通用人工智能（AGI）——总体上比人类更聪明的人工智能系统——造福全人类。

如果通用人工智能最终被成功创造出来，这项科技将会帮助我们建设更加富足繁荣的社会，促使全球经济高速发展，并催生一些突破性的科学知识，从而推动人类的发展。
通用人工智能将使每个人拥有不可思议的新能力。我们可以想象一下，在这个世界里，所有人有机会在任何认知活动中做出贡献，人类的聪明才智和创造力将因此倍增。
另一方面，通用人工智能也会带来技术滥用、严重事故和社会混乱的风险。但因为通用人工智能的好处如此显著，我们认为社会不可能也不希望永远停止它的发展，相反，社会和通用人工智能的开发者们要为它找到正确的发展方法。
尽管我们无法准确预测将来会发生什么，甚至我们在发展过程中还可能遭遇瓶颈，但我们可以阐述几条我们最关注的原则：
1. 我们希望通用人工智能促使人类文明在宇宙中最大程度地发展。我们不奢望人类的未来是一个绝对的乌托邦，而是能够趋利避害，让通用人工智能成为人类文明繁盛的助推器。
2. 我们希望通用人工智能的使用和管理能够实现广泛的共享、公平的获益。
3. 我们想成功地应对重大风险。在面对这些风险时，我们承认，理论上看似正确的事情在实践中往往以意想不到的方式偏离预期。我们相信，通过持续不断地学习，不断升级技术版本，尽量避免“一劳永逸”的想法。
短期来说，为了迎接通用人工智能的到来，我认为有几件重要的事情需要做好准备。
首先，随着更强版本的不断推出，我们会通过在现实世界中部署和运行来积累经验。我们相信，这是谨慎管理通用人工智能的最佳方式——逐步过渡到拥有通用人工智能的世界，而不是突然转变。我们当然希望强大的人工智能可以加快世界的发展速度，但最好能循序渐进地来。
逐步过渡的方式可以使大众、政策制定者以及机构有时间去理解正在发生的事情，亲身体验这些系统所带来的好处和坏处，从而可以调整经济结构，制定监管政策。并且也可以让社会随同人工智能一起进化，在风险相对较低的阶段，让大众共同决定他们到底想要什么。我们目前认为，为了成功应对人工智能所带来的挑战，部署的最佳方式是建立一个包含快速学习和谨慎迭代的紧密反馈闭环。社会将面临一些重大问题，例如，如何限制人工智能的应用边界；如何解决算法偏见；如何处理工作岗位被取代等等。对于这些问题，最佳的决策将取决于这项技术的发展方向，与任何新领域一样，迄今为止，大多数专家的预言都是错误的。而我知道凭空规划异常困难。
总体而言，我们认为在世界上更广泛地应用人工智能将会带来好的结果，因此我们希望推广这项技术（通过将模型嵌入API、开放源代码等）。
我们相信全民应用会促进更多、更好的研究，避免权力集中，带来更多好处，一定有更多人来进一步贡献新的想法。
随着我们的系统越来越接近通用人工智能，我们在创建和部署我们的模型时，变得越来越谨慎。比通常社会在面对新科技时更加谨慎，也比许多用户所希望的更谨慎。人工智能领域的一些人认为通用人工智能（及其后续系统）带来的风险只是杞人忧天，但愿事实证明他们是对的，但我们仍假设这些风险是存在的并谨慎应对。
某个时间点，部署这项技术所带来的正面和负面影响之间的平衡可能会变化（比如，授权恶意行为、造成社会经济的动荡、加剧不安全的竞争等），那么我们将会对部署计划进行重大调整。
其次，我们正在努力创建更加一致和可控的模型。我们的模型从第一版的GPT-3进化到InstructGPT再到ChatGPT，就是一个早期的例子。

特别是，我们认为，全社会在人工智能应用的边界这个问题上达成共识很重要，但在此边界内，个人用户应有很大的自由裁量权。
我们最终的希望是，世界各地的机构就这些宽泛边界达成一致。近期，我们计划开展一些试验，听取外部的意见。世界各地的机构需要进一步提高能力并完善经验积累，为有关通用人工智能的复杂决策做好准备。
我们产品的“默认设置”可能会受到很大限制，但我们计划让用户可以方便地改变他们正在使用的人工智能的行为。我们希望给用户自主决策的权力，并且坚信思想多样性的内在力量。
随着我们的模型变得更加强大，我们将需要开发新的对齐技术（以及相关测试来了解我们当前的技术何时失效）。我们短期的计划是利用人工智能去评估更多复杂模型的输出并监测复杂的系统；从长远来看，我们可以利用人工智能来帮助我们获得新的想法，以实现更好的对齐技术。（“对齐技术”指的是人工智能系统的目标要与人类价值观和利益保持一致。）
重要的是，我们认为，人工智能的安全性与功能性常常需要一并发展。将其安全性和功能性割裂开来讨论是错误的，它们在很多方面都是互相关联的。
我们最好的安全成果来自于我们功能性最强大的模型。也就是说，安全性增长和功能性增长之间相辅相成很重要。
第三，我们希望就3个关键问题开展全球讨论：如何管理这些系统？如何公平分配这些系统所带来的利益？如何合理分配使用权？
除了这三个问题之外，我们试图建立一个激励机制与良性结果相一致的组织架构。我们的公司章程中有一条规定，在通用人工智能开发的后期，我们要帮助其他组织提高其安全性，而不是与之竞争。我们给股东的回报设置了上限，这样我们就不会过度追逐效益并部署一些可能带来灾难的危险系统（当然这也是与社会分享利益的一种方式）。我们由一个非营利机构管理，我们运营的宗旨是提升人类福祉（并且这一点凌驾于任何经营利益之上）——包括出于安全考虑可以不用履行我们对股东的股权责任——并赞助全民基本收入实验（UBI）。

注：UBI实验是指政府给所有公民或居民提供一笔固定且无条件的现金收入，以保障他们的基本生活水平，这个概念已经在欧洲、非洲、印度、美国等地有过不同程度和范围的尝试，但目前世界上还没有任何一个国家将其列为一项正式制度。

我们认为，在通用人工智能项目中——何时停止训练运行、何时安全发布模型以及何时将模型从生产应用中退出——公共标准也非常重要。
最后，我们认为也很重要的是，大国政府部门应该对一定规模以上的人工智能训练有洞察力。
长期来看，人类的未来应该由人类共同决定，与公众分享技术进展很重要。任何通用人工智能开发项目都应该接受严格的审查，并就重大决策进行公开咨询。
第一个通用人工智能将只是智能技术持续发展过程中的一个节点。我们认为，从这个节点开始，在未来很长一段时间内，发展速度很可能会保持与过去十年相同。如果果真如此，那么未来的世界将会变得与现在大不相同，其所带来的风险也可能是巨大的。一个没有正确对齐的超级通用人工智能会对世界造成严重破坏，而一个被超级智能武装的专制政权也会对世界造成严重破坏。









那种可以加快科学发展的人工智能是一个值得我们深思的特殊案例，它也许比其他任何技术都更有影响力。由于通用人工智能有能力自我进化，因此可能会以惊人的速度催生重大变革（即使这样的过渡开始比较缓慢，但我们预计在后期速度会非常快）。我们认为起步慢一点更有利于确保安全，并且通用人工智能项目之间要能够互相协作，在关键时刻能把速度降下来，这一点可能很重要（即使在一个不需要这样做来解决技术对齐问题的世界里，放慢速度也很重要，可以给社会足够的时间来适应）。
成功过渡到一个拥有超级智能的世界可能是人类历史上最重要的、最有希望也最可怕的转变。我们无法保证会成功，但其中的利害关系（无限的不利影响和无限的有利影响）有望将我们所有人团结起来。
我们可以憧憬这样一个世界，在这个世界里，人类文明的繁荣程度可能是我们现在所有人都无法完全想象到的。我们希望实现这样的通用人工智能。
本文经授权转载自微信公众号“世界科学”，资料来源：https://openai.com/blog/planning-for-agi-and-beyond。

相关阅读

近期推荐

特 别 提 示

1. 进入『返朴』微信公众号底部菜单“精品专栏“，可查阅不同主题系列科普文章。

2. 『返朴』提供按月检索文章功能。关注公众号，回复四位数组成的年份+月份，如“1903”，可获取2019年3月的文章索引，以此类推。

找不到《返朴》了？快加星标！！

长按下方图片关注「返朴」，查看更多历史文章

微信实行乱序推送，常点“在看”，可防失联