OpenAI CEO MIT访谈实录：卷模型规模很难，但垂直微调不是下个风口

《AI未来指北》栏目由腾讯新闻推出，邀约全球业内专家、创业者、投资人，探讨AI领域的技术发展、商业模式、应用场景、伦理及版权争议。

编者导语：

在四月中旬，OpenAI CEO 山姆奥特曼在参加MIT的一场名为“想象行动“的活动中曾经提到“我们现在已经接近巨大模型时代的尾声”，引发了AI产业的一系列讨论和怀疑。这家在大模型训练上最成功的公司对模型规模再进一步的否定对于目前摩拳擦掌，要靠卷参数量级卷出一片天的大公司来说都是当头一棒。

但奥特曼说这句话到底是意思？它的上下文和语境是什么？因为没有第一现场的实录，而且在这之后长达一个月的时间里，奥特曼都在专注监管相关的讨论未再发言。这个疑问一直都未解开。

直到5月8日，主办方终于姗姗来迟的放出了这场讨论的全程视频。在这里我们看到的是一个更完整的思维链路，一个正在纠结的奥特曼：他一方面觉得模型规模因为成本，因为基建很难再快速扩张了；另一方面又相信基础模型能力增长带来的效果优于人工微调带来的改变。所以他对于垂直微调的发展基本上没有什么明确的想法和预期。

他不认为模型规模一定能带来最佳的效果。他相信模型能力才是最重要的结果。但目前的能力涌现主要来自于模型规模的现实沉重的摆在这里，下一步应该怎么做，是他，也是所有有志于AI创业的创业者所需要思考的难题。

丨划重点

① 参数规模不成比例地增长，已经接近这些巨大模型时代的尾声。我们需要通过通过其他方式改进基础模型的能力，但基础模型的创建投资金额，可能比1亿美元这样的规模要多得多。

②人工微调规模相较于模型参数规模而言提升的较慢，但随着模型越来越好，对微调的需求也越来越小，你可以在上下文中做越来越多的事情。对于LLM模型的进化，他更寄望于范式性的转化。

③如何制定商业策略？Sam认为需要一次又一次地进行非常长期的、资本密集型的、困难技术相关的投资。但如何利用像OpenAI这样的平台，构建一个新的、快速增长、有防御能力的消费者企业公司，他还没有想好。

④关于“暂停AI发展6个月”的公开信，Sam表示随着AI能力变得越来越强大，安全标准必须提高，但遗憾的是，这封信对于在哪里需要暂停的技术细节是缺失的。此外，OpenAI在距离训练GPT-5还有一段时间。

作者 | web3天空之城

编辑｜腾讯新闻 郝博阳

以下是对谈全文

主持人：

Sam，我知道你正在全球范围内努力控制（AI带来的）火热形势，GPT-4和ChatGPT已经开始（燃起这份火热）了。这个会议可能与其他很多会议有些不同。这个房间里的大多数人要么正在创建公司，要么正在制定计划，创建基于ChatGPT触发生态的公司。

Sam：

我们是同一类人， 我希望能在现场。

主持人:

是的，我也希望你在这里。他们正是你喜欢的那类人。而且我知道这里（的参会者）的部分使命是让世界变得更美好，同时也要在你创建的平台上发展。显然你是有意识地走到了生活中的这个位置的，你是帮助他们的完美人选。所以我们会尽量聊的专注些，以便尽可能地帮助这个会议里的900人创造成功的公司。

第一件事我想问的是，如果AGI即将到来，那么我们现在正处于一个拐点。人类历史在AGI出现之是一个段落，然后，从这里开始显然有一个完全不同的历史。所以在我看来，无论事态如何发展，你都将成为历史书中的焦点。你认为是这样吗？

Sam：

你说的“这样”是指什么？

主持人：

关于历史将如何描述这个时刻，这个时刻是（人工智能）这个领域里的创新之年。

Sam：

我希望这会成为历史书中的一页或一章，但我认为在接下来的几十亿年里会发生如此多不可思议的事情，以至于这将只是其中的一个小部分。所以我认为，在我们面前会有更多新的、更大的、更令人兴奋的机遇和挑战。

主持人：

很多人在问的一个问题是，在GPT的早期开源版本中，有很多种方式来利用源代码，并将其变成一个垂直公司或一个相邻公司（所需要的能力），比如通过联邦学习或类似的东西；而在这些公司的未来版本中，可以从一个高度可调节的闭源API开始。你能否给出关于刚创业的公司一些快速建议，需要从一开始就做出哪些决定；从哪里开始；如何让它在任何特定的垂直用例中发挥作用，等等。

Sam：

你知道，我认为关于如何打造一家好公司，总是有更多的东西保持不变，而不是发生变化。很多人在遇到类似新平台转换时，仅仅因为他们在使用新的平台，就认为这会指导商业策略。但是，没有什么能超过你为用户打造一个他们喜爱的产品的责任。你要非常了解你的用户，满足他们的需求，考虑长期可持续的商业策略。在平台转换期间，这实际上可能变得更加重要，而不是变得不那么重要。

回想一下应用商店的推出，这可能是最近类似的例子，有很多公司用非常轻量级的东西构建了具有掠夺性机制的产品，但这并不是什么持久之计。这样的公司经历了令人难以置信的流星般的兴衰。而那些真正按照正常步骤去打造伟大企业的公司在过去15年里持续发展。所以你肯定希望成为后者。

技术只是一个新的推动器，但你作为公司需要做的是建立一个具有长期复合战略优势的优秀公司。

主持人：

让我们开始谈谈基础大模型。

回顾过去两年，开始的最好方法之一是采用现有的基础模型，添加一些层，然后针对垂直领域重新训练它。

现在基础模型可能有一万亿个参数，规模要大得多。但是，在不重新训练的情况下对其进行操作的能力也要灵活得多。我认为现在基本模型中有50,000个可用的令牌（注：token，即GPT的输入长度） 是吧？

Sam:

最大的模型中大约有32,000个，基础模型中有8,000个。

主持人：

那么，基础模型未来会如何迭代？这应该相当快就会被推出了。

Sam

我们仍在努力弄清楚，开发者在模型定制方面到底需要什么。我们愿意在这里做很多事情，我们也把开发者当作我们的用户。因此，我们的目标是让开发者非常满意，弄清楚他们需要什么。

我们原以为这将是一个更精细的调整（fine tuning）的故事，我们一直在思考如何以不同的方式提供这种服务。

但是，人们似乎更喜欢使用基础模型来完成一些非常了不起的事情，所以我们正在积极地重新考虑，要优先考虑哪些定制。

因为用户需要的东西似乎在模型变得越来越好的情况下，也在不断改进。随着模型越来越好，对微调的需求也越来越小，你可以在上下文中做越来越多的事情。

主持人：

当你说微调时，你是指改变参数权重。

Sam：

是的。我们肯定会在GPT里提供一些修改参数权重的功能，但就目前来看，与提供非常便宜的上下文能力相比，可能调整参数权重的使用频率会较低，如果我们能解决（可输入）100万个token的问题的话。

主持人：

我们来稍微深入了解一下。

无论具体细节如何， 趋势似乎是，随着模型变得越来越大，从一万亿到10万亿个参数，prompt提示工程的能力规模以及token规模数量，都与模型参数规模不成比例地增长（disproportionately to the model size）， 这听起来对吗？

Sam：

从参数规模的角度，不成比例地增长，是的。但我认为我们现在已经接近这些巨大模型时代的尾声。我们将通过其他方式改进它们。我想说的是，它们和模型能力成比例地增长。

主持人：

关于基础模型的创建投资，在训练过程中可能需要5000万至1亿美元的规模？

Sam：

我们没有透露过具体金额，但实际上比这个数字要多得多。

主持人：

随着时间的推移，投资也在增加。那么，试图从零开始的人需要迎头赶上，他们可能要追赶一个巨大的差距。

Sam：

也许我们都很愚蠢，错过了一个重要的想法，所有这些或许并不像我们想象的那么困难或昂贵，可能将有一个完全新的范例取代我们。

这对世界来说是好事，尽管对我们来说可能不是。（观众笑）

主持人：

让我听听你对这些事情的看法。

保罗·格雷厄姆称，你是他见过的最伟大的商业策略家。在场所有这些人都在努力应对他们的商业策略，思考到底要建立什么和在哪里建立。

所以我一直在问你一些问题，这些问题或多或少地涉及到在GPT-4、ChatGPT以及即将到来的GPT-5等基础之上的垂直应用案例。但是，还有许多与之相邻的商业模式，如联合学习、数据调节或部署等。

如果你只是投资于这个生态系统中的一类公司，那些也是有趣的商业模式。关于哪里有更高回报、哪里有更快增长的商业模式，你有什么想法？

Sam：

我不认为保罗·格雷厄姆（Paul Graham PG）真的那样说过。我知道他说过类似的话，但无论如何，我不认为这是真的。

我觉得有些人是难以置信的商业策略家，而我不是其中之一。所以我在这里犹豫不决地给建议。

我唯一懂得如何制定策略的方法就是，一次又一次地进行非常长期的、资本密集型的、困难技术相关的投资。而且我甚至不认为我在这方面特别擅长。我只是觉得没有太多人尝试这些，所以竞争很小，这种策略我认为没有太多竞争。（观众大笑）

但要利用像OpenAI这样的平台，构建一个新的、快速增长、有防御能力的消费者企业公司，我几乎一无所知。我知道所有的理论，但不了解实践。我会去寻找那些做过这些事情的人，并向他们寻求实践建议。

主持人：

好的，谢谢你的建议。

关于底层技术平台，我有几个问题。

自从参数数量还不到100万时，我就一直在自己构建神经网络。实际上，它们在许多商业应用中非常有用。

然后我看着它们的参数数量增长到十亿，GPT-2大约是15亿个参数，接着是GPT-3，现在是GPT-4。

我们不知道当前的参数数量，但我认为GPT-3中是1250亿。与GPT-2相比，它的差距简直令人难以置信，然后GPT-4更是让人难以置信地不同。

听了英伟达的预测，参数数量似乎处于上升趋势，从1万亿到10万亿，然后英伟达说未来十年将达到10千兆。你认为这个数字是正确的吗？

Sam：

我认为对参数数量的关注度过高。

参数数量肯定会上升，但这让我想起了90年代和21世纪初芯片中的兆赫兹竞赛。每个人都试图指向一个很大的数字，然后最后，你可能连自己的iPhone上有多少兆赫都不知道，但它很快。我们实际上关心的是能力。

我认为重要的是去关注能力的快速提高。如果有什么原因使得参数数量应该随着时间的推移而减少，或者我们应该让多个较小的模型共同工作，我们也会这样做。

我们想为世界提供最有能力、最有用、最安全的模型。我们不是为了炫耀参数数量而存在。（观众笑，鼓掌）

主持人：

是的，我们可以引用你的话。好吧，无论如何，这都会被引用，谢谢你的回答。

但这类算法与我以前见过的任何算法相比，有一个绝对独特的地方，无论你是用参数数量还是其他方式来衡量，它都会让你惊讶于它的原始性能，它利用了规模的优势。

今天早上我举的例子是，如果你有一个电子表格，你将其编码并在一台速度提高了10,000倍的计算机上运行，它不会让你感到惊讶；它反应很好，但它仍然是一个电子表格。

而这类算法在纯粹提高性能方面做了以前无法做到的事情（注：这里指的是AI大模型的智能涌现）。

实际上我们风险投资基金的一位合伙人用GPT-2写了一本书。你可以在亚马逊上购买，书名叫《从这里开始》或《从这里开始：浪漫》 ，我想大概卖了10本，我买了其中的一本，所以可能只卖了9本。如果你读这本书，你会发现这本书并不好 (观众笑）

这只是4年前。仅仅4年，从GPT-2,3到4，现在它已经从质量不怎么好，到有些合理，到现在有可能写出一本真正优秀的书。

你还是要先给它一个框架，还是要有效地写出概念，但它在填充单词上做得非常漂亮。所以作为一个作者，这可能是一种十倍、一百倍的能力放大器，使作者更强大。

所以，如果底层基础设施越来越快，这类算法将在相对较短的时间范围内做出令人惊讶的事情。

因此，我认为在座的各位需要预测的是，下一个真正对社会有益的用例会在这个（AI增长的）曲线上达到临界点。你能给我们什么启示，关于什么是可能的，而在一年前或两年前是不可能的？

Sam：

好吧，我没有商业策略建议，我只是想到了一些新领域。其中一种正确的方法是让战术成为策略，而不是相反。

我有我的想法，我相信你们也有你们的想法。可能我们大部分都是正确的，但在某些方面我们会犯错；甚至关于我们是如何正确的细节，我们也会犯错。

但我认为，永远不要失去对愿景和长期目标的关注，要有非常紧密的反馈循环，关注哪些有效果，哪些无效果；做更多有效果的事情，少做无效果的事情。非常非常仔细的用户观察可以让我们走得很远。

所以，我可以猜测想法，你们都可以猜测想法，但没有什么比把产品放出去，真正深入了解发生了什么，并且对其做出及时响应更有价值。

主持人：

关于下一个问题。Sam 你什么时候知道你的ChatGPT非常特别？是什么让你实现了其他人无法实现的事情？

但是先等等， 到目前为止谁喜欢Sam？（观众都举手了）

好吧，如果Sam在招聘，你会考虑加入他的团队吗？好吧，我们有很多举手。

Sam：

太好了。真的，来吧。我们真的需要帮助，这将是一个非常令人兴奋的未来几年。

我们已经为此努力了很长时间，我们逐渐更有信心地知道这真的会奏效。这个公司已经成立了7年，事情需要很长时间。

关于为什么其他人没有成功时我们却成功了，就是因为我们一直在努力工作，长时间关注每一个细节，大多数人不愿意这么做。

至于我们什么时候知道，ChatGPT特别是作为一款消费者产品会火起来的，大概是在发布后的48小时左右。（观众笑）

主持人:

我们在MIT，这里与Max Tegmark等人发起制定了一个"关于暂停AI发展6个月"的公开信。

关于这封公开信，你有什么想法？

Sam：

其中有一部分我非常赞同。我们在发布GPT-4之前，已经花了超过6个月的时间研究模型的安全性，以及让外部审计和红队进行检查。花时间真正研究一个模型的安全性，尽可能地消除风险是很重要的。

自从我们发布了GPT-4以来，很多人都说，哇，这不仅是OpenAI发布的最有能力的模型，而且是最安全、最有目标的模型。除非我尝试让它做坏事，否则它不会这样做。

所以，我们完全同意（以上这点）。

我还同意，随着AI能力变得越来越强大，安全标准也必须提高。但不幸的是，我认为这封信缺乏关于哪里需要暂停的技术细节。

事实上，在信的早期版本中宣称我们OpenAI正在训练GPT-5，但事实并非如此。我们还需要一段时间。从这个意义上说，这封信有点可笑。

我们正在GPT-4之上做一些其他事情，我认为有很多安全问题需要解决，而这封信却完全忽略了这些问题。

所以，我认为谨慎行事，增加对安全问题的严格性非常重要，但这封信并不是解决问题的最佳途径。

主持人：

你一直非常开放，进行很多对话，非常诚实，而且OpenAI也是如此，而其他公司就相对封闭得多。

这背后的理念是什么？你打算继续这样做吗？

Sam：

我们当然打算继续这样做。

我们权衡的是，有时候我们会说一些愚蠢的话，说出一些事实上是错误的东西。我想很多其他公司在确定某件事是正确之前都不想说出来。

但是，我们认为这项技术将对我们所有人产生如此深远的影响，因此我们相信，让每个人参与讨论、将这些系统推向世界。尽管它们在当前状态下有很多不完美之处，但是让人们体验它们、思考它们，了解它们的优缺点是值得的。

即使我们有时候在公开场合会感到尴尬，不得不根据新数据改变想法，我们还是会继续这样做，因为我们认为这比任何替代方案都要好。

OpenAI的一个重要目标是让世界参与其中，思考这个问题，逐步更新和建立新的制度，或者调整我们现有的制度，以便能够找出我们都希望建立的未来，这就是我们在这里的原因。

主持人：

我们只剩下几分钟了。我必须问你一个自从我13岁以来一直萦绕在我心头的问题。

如果读过Ray Kurzweil或者这个领域的任何杰出人物的书籍，（都明白）在算法开始编写改进算法的代码的那一天，就是一个关键的日子，这将使世界加速发展，直至无穷大。

如今，很多我投资或者参与创立的公司开始使用AI模型进行代码生成。这些代码生成的提升范围相当广泛，从大约5%到20倍不等。这取决于你要做什么，要编写什么类型的代码，以及它需要多少上下文等等，很多与调整系统有关。

所以问题有两个：首先，在OpenAI中，你们在创建下一代代码时已经看到了多少效果倍增？

接下来的问题是，从现在开始，几个月后、一年后、两年后的情况是什么样的？我们是否接近那个日子，即算法迅速自我改进，达到某个临界点？

Sam：

这是一个很好的问题。

我认为，到达自我改进的边界会变得更加模糊。我认为会发生的是，越来越多的改进循环将由AI辅助，但人类仍然是驱动力。这种情况将持续很长时间。

我从未相信过在一天或一个月内实现突破的想法。原因之一就是建立新的数据中心和更大的数据中心需要很长时间。即使我们现在知道如何做，等待混凝土干燥、将电力引入建筑物等等都需要一段时间。

但是我认为会发生的是，人类将越来越多地得到AI的增强，并能够在世界上更快地完成各种事情。这不会像科幻小说中描绘的那样发展，大多数事情都不会按照科幻小说中的方式发展，这也不例外。

但是，从现在开始，随着人类获得越来越好的工具，世界变化的速度将永远加快。

（本文由腾讯科技联合Web3天空之城独家联合出品，如有转载需要请联系腾讯新闻或Web3天空之城）

RECOMMEND

推荐阅读