Claude AI创始人Dario Amodei 大胆预测：下一代千亿参数AI模型智力将媲美诺奖得主，引发大量岗位消失

（关注公众号并设为🌟标，获取最新人工智能资讯和产品）

全文约16,000 字，阅读约需35分钟

最近，Anthropic 的Claude AI联合创始人兼首席执行官 Dario Amodei 接受了经济学家 Noah Smith 的采访。他们就 AI 发展的经济学、安全性以及对社会的影响展开讨论。

采访中， Dario Amodei 描绘了一幅 AI 能力随模型规模增长的图景:百万参数的模型堪比优秀大学新生，十亿参数相当于优秀本科生，百亿参数可比肩顶尖研究生，而千亿参数模型的能力或可媲美诺贝尔奖得主。这种规模的 AI 系统有潜力在各行各业发挥重要作用,最终可能占据经济的很大一部分。

然而,如此庞大的市场也带来了分配问题。他也认为,随着模型规模和成本的增加,可能只有少数几家公司和国家机构能够参与最大规模模型的开发,形成寡头垄断的局面。虽然开源模型可能对此有所缓解,但推理成本的差异仍可能带来重大竞争优势。

本次采访涉及的核心要点：

1. AI的技术和商业发展

• AI发展中的关键发明：Dario讨论了深度学习和Transformer模型的重要性，并将谷歌比作AI时代的贝尔实验室，产生了诸多创新，但在商业化方面存在挑战。

• 规模化假说：AI规模化的假说，即随着模型变得更大、更强，AI能达到前所未有的能力，如替代高级人类专家，从而取代大部分工作岗位。Dario认为，如果这个假说成立，AI将成为经济中极其重要的组成部分。

2. AI的经济影响

• 商业模式的护城河：Dario解释了AI公司如何建立护城河，特别是在规模化假说成立的情况下。他提到即使AI带来巨大经济利益，如何分配这些利益仍然是一个关键问题。

• 与太阳能行业的类比：主持人提出了AI行业与太阳能行业的类比，探讨了尽管技术进步显著，但是否能真正实现利润最大化。

3. AI对劳动力市场的影响

• 技能压缩效应：生成式AI在提高低技能劳动力方面的潜力，同时也压缩了高技能劳动力的优势，造成大面积失业。Dario认为，这种效应可能会暂时减少不平等，但随着AI能力的进一步提升，情况可能会发生变化。

• 比较优势的持久性：Dario认为，即使AI能接管大部分任务，比较优势仍将在一定时间内存在，特别是在人类能够继续主导某些任务的情况下。

4. AI与国际竞争

• 中美之间的AI竞赛：AI在中美之间的竞争，特别是AI在国家安全中的作用。Dario指出，如果AI技术继续快速发展，国家与国家之间的竞争将成为关键问题。

• 国际协调的挑战：Dario强调了国际协调在AI发展中的难度，尤其是在确保AI技术不会被滥用的情况下。

5. AI的安全性和监管

• AI安全风险：Dario讨论了AI自主性和滥用的潜在风险，并介绍了Anthropic在安全性测试和责任规划方面的努力。

• SB 1047 法案：他们最后讨论了加州的SB 1047法案，该法案旨在规范AI的发展，Dario认为经过修订的法案在促进安全与创新之间找到了平衡。

 Dario Amodei 最后表示,AI 能力的尺度定律（Scaling Law)虽然目前仍在持续,但并非物理定律,可能随时停止。这种不确定性为 AI 发展的未来蒙上了一层神秘面纱,也为我们思考 AI 对经济和社会的深远影响提供了契机。

视频时间轴

( 04:18 ) 谷歌是人工智能领域“贝尔实验室”

( 07:48 ) 人工智能的经济护城河

( 10:13 ) 扩展假设和人工智能的未来

( 18:14 ) 人工智能对商业模式的影响

( 29:23 ) 人工智能科技巨头竞赛

( 33:41 ) 人工智能对劳动力和技能分配的影响

( 39:06 ) 人工智能的未来和超大规模世界

( 47:14 ) 人工智能安全与不平等

( 51:23 ) 加州人工智能监管法案SB 1047 辩论

文稿整理

主持人 欢迎来到《Econ 102》播客。在这里，我和经济学家Noah Smith一起，通过经济学的视角，帮助大家理解新闻、科技、商业及其他领域的动态。让我们直接开始吧。我们的嘉宾呢？他们马上就来了，我正准备让他们进来。

嘉宾Dario Amodei：你好，你好。

主持人  嘿，Dario，怎么样？

Dario Amodei： 还好，挺好的。很久没见了，Noah。我记得我们很多年前见过面，但不记得具体是什么时候了。

主持人 是的，我们在疫情前见过几次，但自那以后就再没见过面了。那已经是好几年前的事了。因为我不得不放弃平时用的设备，办公室里的网络信号不好，所以我得找个中继器。不过在找到之前，我只能从沙发上录制播客。我们在Anthropic有个常用的笑话，事实上是我之前在其他公司也用过的：我们会在解决视频会议问题之前，先解决通用人工智能问题。我觉得这可能真的是事实，而不仅仅是个笑话。

Dario Amodei： 也许通用人工智能（AGI）可以告诉我们如何解决视频会议的问题，但AGI可能会先到来。

主持人：  Dario，我们还没有面对面见过面，但我和Spark的Yasmin是非常好的朋友，她多年来一直在称赞你，早在几年之前就让我知道Anthropic会有多大成就，很高兴今天能和你聊聊。

Dario Amodei： 是的，Yasmin是个很棒的投资者，她一直非常支持我们。很高兴能够开始这次对话。我的妹妹兼联合创始人听到你在播客中提到过，希望能邀请我参加，于是你召唤了我，所以我就来了。

1、个人学习经历

主持人： 我们真的把你召唤出来了。或许我们可以从这里开始，Dario，我们或许可以先聊聊你的智力成长历程，因为它非常有趣。你能简要描述一下你的智力进化历程，以及为什么你会出现在一个经济学播客上，这和经济学有什么关系呢？

Dario Amodei： 好吧，如果要从头开始说，我想在我参与人工智能之前，我一直在思考最有趣和最有影响力的工作是什么。所以我本科是学物理的，我记得Noah也是。后来我考虑了很多方向，实际上也考虑过读经济学研究生，但最终没有选择这条路，而是去读了计算神经科学和生物物理学的研究生。当时我对AI也有兴趣，但那时我觉得当时的AI并没有解决智能方面的重要问题，也没有取得多大进展，所以我决定研究我们已知的宇宙中至少有时是智能的那个对象——人类大脑。于是我就研究生物神经网络，试图理解其中发生了什么，这是一项非常困难的任务，因为光是获取生物数据和物理测量数据就已经非常困难，更别说分析了。我花了大部分时间在这上面，但只取得了很小的进展。后来我在斯坦福做了博士后，研究蛋白质组学。然后大约在2014年左右，深度学习革命开始了，我看到了AlexNet和Q-Net的工作，于是决定参与这个领域。我在百度与吴恩达合作了一年，然后在Google工作了一年。之后，我在OpenAI工作了五年左右，在那期间发展了很多关于Scaling Laws（尺度定律）的想法，帮助构建了早期GPT模型，并与他人一起发明了人类反馈强化学习（RL from Human Feedback）的方法，最终被用于开发商业聊天机器人。然后在2020年底，我离开了OpenAI，创办了Anthropic，并一直运营至今。

主持人： 在这个经济学播客中，我们通常更关注经济方面的问题，而不是纯粹的技术问题。那么你怎么看，Google是人工智能时代的贝尔实验室吗？他们开发了现代深度学习和Transformer等技术，但并没有很好地将其商业化，就像贝尔实验室一样。而且他们的资金也来自垄断行业，这点也类似贝尔实验室。然后，有很多有趣的人在那工作，然后又去创业，就像当年贝尔实验室的人去了Fairchild那样。你觉得这个类比恰当吗？

Dario Amodei： 是的，虽然没有什么类比是完全完美的，但我确实认为这里有一些相似之处。当我在谷歌的时候，许多人把它视为他们学术生涯的一种延续，这和贝尔实验室很相似。贝尔实验室是一个工业环境，但它有很多与学术环境相似的地方，除了它有更多的资源来实现目标。因此，大家在那里做了很多事情，比如Transformer，这个推动了整个领域发展的关键发明之一，但实际上它只是当时正在进行的上百个项目中的一个。如果你在公司中足够高的位置，可能根本无法区分这些项目的优先级。在那段时间里，我开始产生一些关于扩展假设的想法，也就是我们需要将这些创新大规模化并整合在一起。理论上，谷歌是做这些事情的最佳场所，他们拥有世界上最大的计算集群，还有大量的优秀工程师，他们具备了所有的要素。但是，谷歌的组织结构是为了做搜索优化而设计的，我认为它并没有被设计成去整合这些不同的要素，去大规模地做一些与之前完全不同的事情。就像贝尔实验室也不是为了发明计算机并普及计算机而设立的，它是为了连接每个人的电话。

主持人： 对，确实，贝尔实验室是一个电话公司。所以你觉得谷歌的情况也是这样吗？

Dario Amodei： 我不能对谷歌现在的情况发表意见，但显然，除了发明这些了不起的东西，他们现在也是拥有前沿模型的四家公司之一。他们既是我们的合作伙伴也是竞争对手，我认识那里很多非常聪明的人。但我认为你说得对，有一段时间，如果他们能够以正确的方式整合这些要素，他们可能会成为唯一的“游戏玩家”。但由于某种原因，事情并没有那样发展。

2、初创AI公司护城河

主持人： 这就引出了我们想讨论的另一个话题。其实我们邀请你来的想法是源于我们在另一档播客节目中讨论互联网企业经济学时，Eric提到了一些关于AI商业模式的悲观想法。他质疑AI公司究竟能有多少护城河。这对于Anthropic和其他我们称为“初创公司”的大公司来说都非常相关。你怎么看AI公司护城河？

Dario Amodei： 好吧，我打算把这个问题分成两个部分来回答。首先，我想说将扩展假设的某些想法与商业问题区分开来是有点困难的。假设扩展假设在某种程度上是真实的，那么我们可以考虑这个假设成立的强形式情况和不成立的情况。在这个假设成立的强形式情况下，我可能在其他地方已经阐述过了。这个假设认为，如果你训练了一个现在规模为百万的模型，它的能力大致相当于一个好的大学新生。如果你训练了一个规模为十亿的模型，它的能力大致相当于一个优秀的本科生。训练一个百亿规模的模型，它可能和一个顶尖的研究生一样聪明。当你训练一个千亿规模的模型时，它的能力可能相当于一个诺贝尔奖得主。然后你把这个模型投入到工作中，它就会成为每个人的同事，成为他们的个人助手，帮助解决国家安全问题，帮助推进生物学研究。在这种情况下，这个系统和基于这个系统的产品将占据经济的很大一部分。

当然，仍然存在一个问题：收益到底流向哪里？是流向NVIDIA，还是流向AI公司，或者是流向下游应用？在这个假设下，整个蛋糕是如此之大，以至于我的回答是，这些收益会流向所有这些地方。

主持人： 但请考虑一下太阳能。太阳能显然将成为未来能源的重要组成部分，我们需要的能源越多，太阳能的需求就越大。然而，我很难说出一家在这个行业中赚大钱的太阳能公司。尽管这个行业涉及大量创新，但它仍然是一个高度商品化的产品。没有品牌效应，没有网络效应，没有锁定效应，这使得任何一家太阳能公司都很难在这个正在改变世界的行业中获取利润。那么，我并不完全确定，尽管AI领域一片繁荣，但这是否必然会导致公司获取巨额利润。我愿意接受这个想法，但我想知道你为什么认为AI行业的情况会与太阳能不同？

Dario Amodei： 我想在这里说两点，然后再回到你提出的问题，因为我认为这是一个很重要的问题。首先，如果扩展假设是正确的，这个事情就会变得非常非常大。即使只有10%的利润流向供应链的某个部分，或者流向另一个部分，这仍然会是一个非常庞大的市场。如果把蛋糕做得足够大，这就会成为最有趣的问题。当然，对于那些决定如何分配收益的人来说，究竟是1万亿流向这里，还是10万亿流向那里，这将会是一个非常重要的问题。但让我们回到你的问题上，因为无论在什么样的世界里，这都是重要的，只是问题的关键在于你正在分配的蛋糕有多大。首先，我认为在模型方面，这取决于扩展假设。如果我们真的在构建10亿或100亿美元的模型，那么可能不会有超过四五家实体，可能还包括一些国家运营的机构，会参与构建这些模型。因此，我们可能看到的是一种更接近寡头垄断的局面，而不是垄断或完全商品化的局面。

当然，也有一个问题是，会不会有人发布一个10亿或100亿美元的开源模型？对此我持怀疑态度，我不认为有足够的决心去做这种事情。即使真的发布了这样一个模型，我认为这些大模型在推理过程中实际上是非常昂贵的，推理的成本才是主要部分，而不是模型的训练。因此，如果你能找到一个更好的推理方法，比如提高10%、20%或30%的效率，这可能就能抵消开源模型的影响。所以经济学在这里有些奇怪。虽然有巨大的固定成本需要摊销，但每单位推理的成本也非常关键，任何小的差异都可能带来很大的影响。

主持人：  这其实有点类似于重工业的经济学，比如钢铁制造的经济学。

Dario Amodei： 是的，有一点相似。我要说的另一点是，在这些少数模型中，我们已经开始看到模型有不同的“个性”。商品化是一种可能性，我确实看到一些情况下，即使在寡头垄断中，一些特定的模型部署方式可能会被商品化，尽管我不确定。但是，抵制这种商品化的一个力量是，模型开始在某些方面表现出差异化。比如说，我做了一个非常擅长编码的模型，你做了一个非常擅长创意写作的模型，第三个人做了一个非常擅长吸引和娱乐的模型。这些都是选择，一旦你开始做出这些选择，就会开始围绕它们构建基础设施，这似乎为一些差异化创造了条件。我认为另一个可能导致差异化的因素是基于模型构建的产品。理论上，你可以将模型层与产品层分开，但在实践中，它们是相互关联的，跨组织协作可能会有一些挑战。虽然模型的构建方向相对单一，许多公司都在朝着相同的方向前进，比如多模态的加入、提升模型的智能化、加快推理速度等，似乎有一种共识。但在产品层面，差异性非常大。例如，我们做了一个名为“Artifacts”的产品，可以实时可视化模型编写的代码。我们这样做，OpenAI有他们自己的方式，谷歌也有他们自己的做法。我认为这也是公司之间差异化的来源之一。

主持人： 此外，我们已经发现，在模型之上出售应用程序的经济学，即使这些应用程序相对薄弱，但随着它们变得越来越复杂，其经济学与仅仅通过API提供模型的经济学是完全不同的。如果扩展定律成立，事情会像我们预期的那样变得庞大，你认为这些公司会在某个时候被国家化吗？这会不会成为另一个护城河？你怎么看？

Dario Amodei： 是的，我的意思是，这不是人们通常讨论“护城河”时谈论的内容。但确实涉及到国家安全问题。我们可以将讨论分为两种情况：一种是扩展定律是正确的，另一种是扩展定律是错误的，最终发展停滞不前。如果发展停滞不前，那么这就只是一项技术，就像互联网或太阳能等其他技术一样，可能比大多数技术更大，但并不是前所未有的。我不认为它会被国家化，我认为关于谁获得价值的这些问题会变得非常重要。但如果扩展定律是正确的，我们正在构建的模型相当于诺贝尔奖得主水平的生物学家、行业顶尖的程序员甚至更高水平的模型，那么国家竞争的问题、滥用问题以及模型的自主性问题将会变得非常重要。我在其他地方也提到过，我不确定是否会出现真正的国家化，但我认为政府可能会在其中扮演重要角色。我们可能会达到这样的程度，这些模型成为美国及其盟友最有价值的国防资产之一，我们会非常关注它们是否会被对手窃取，对手能否跟上我们的步伐，以及我们是否能比对手更快地部署这些模型。我想象一个能够整合美国或其盟友所收到的所有情报信息，或协调我们的所有军事或后勤行动的模型，这听起来非常强大。

3、AI对商业模式

主持人： 你认为Leopold在讨论中描述得很好吗？他在关于中美竞争的文章中提出了一些观点。

Dario Amodei： 是的，我认为Leopold的文章非常有趣，其中很多观点我都同意。也许他更倾向于国家化和国家安全的角度，而这比我可能会走的方向更远一些。但我的看法并没有与他的观点相去甚远。我确实认为，当一项技术变得足够强大时，让四五家公司自主操作并做他们想做的事情，这种方式似乎不会带来好的结果。作为其中一家公司的负责人，我对此深有体会。出于国家安全原因，政府参与工业的模式有很多种，比如SpaceX的公共合同、公私合作伙伴关系，或者像国家实验室那样的模式，甚至还有真正的国家化。我认为在某个时候会有一个合理的模式出现。我现在还不知道具体是什么模式，也不知道什么时候是实施的合适时机。我怀疑现在不是合适的时机，可能不是今年，但如果尺度定律是正确的，事情可能会非常快地发生变化。

主持人：  这与我多年来关于互联网公司的写作观点非常吻合，最终它们会与政府合作。我有一个关于AI对商业模式影响的问题。

Dario Amodei： 当然可以。

主持人： 我的大致观点是，电力的故事非常有趣。最初，当他们最初使用电力发电机时，制造商们试图直接用电力替换蒸汽动力系统。这种方法效率很低，因为他们保持了工厂的原有结构，而没有改变，结果反而亏损。但后来有人发现，可以将电力并行运行到多个工作站上，于是他们改变了制造业的运作方式，不再是从一个大型流水线工作，而是让人们在不同的小工作站上完成工作。这样一来，几十年来带来了巨大的生产力提升。所以我一直怀疑，AI可能也会有类似的发展。我其实觉得互联网也是类似的，但我认为AI尤其类似。起初，每个人似乎都在把AI当作一个“人”来看待，甚至有人真的在谈论AI的数量与人类员工的数量挂钩，这对我来说毫无意义，因为AI不是可以分成个体的。当然，你可以创建一个基于代理的系统，使其表现得像个体，但为什么要这样做呢？不过，我的观点是，大家现在都在思考如何直接用AI取代人类。我预测，这只是第一阶段，就像当初用电力直接替代蒸汽锅炉的想法并不是一个好主意一样。我认为人们可能会有些失望，因为只有少数情况下这种替代方式真的有效，比如客户服务或者一些定义明确的工作。然而，只有少数情况下这种直接替代人类的方式真的可行。然后我们可能会经历一个Gartner炒作周期的破灭阶段，人们会觉得“好吧，这不奏效，AI就是一个大骗局，谁需要它呢？”接着一些有创意的企业家会意识到，与其仅仅用AI来做一个人类的替代品，我们可以以一些更具创意的方式使用AI。当然，我无法告诉你那是什么方式，因为如果我知道，我可能已经成为亿万富翁了。但我相信人们会找到一些创造性的方式来使用AI，以超越人类员工的能力，接管一些人类的任务，或者补充其他人类任务，创造全新的商业模式。然后我们会看到一个复兴的繁荣。这是我的预测，我的Gartner风格的预测。我是不是疯了？

Dario Amodei： 这有点像是我同意的观点和我可能不同意的观点的混合，或者说，这些观点可能都是真实的，但似乎存在一些冲突。首先，我基本同意，如果我们将当前模型的质量停止在现有水平，那么你所说的都是正确的。我们在商业活动中确实观察到了类似的情况。我们既提供了可以直接与之对话的“Claude”模型，也通过API向许多客户提供模型。人们确实花了很长时间才弄清楚如何最好地使用这个模型。你知道，我们是把它做成一个聊天机器人，还是说它的可靠性问题总是困扰着我们，比如说，我有一个模型，95%的时间它都能给出正确的答案，比如提供财务信息或分析法律合同。也许这个准确率比人类还高，但用户或公司对剩下5%的错误不知道如何处理。它并不总是以人类会犯错的方式给出错误答案，如何检测这些情况，如何进行错误处理，这些在理论上有用的东西在实践中可能会有很大的不同。

早期我们有了Claude，可以让它写一些代码，然后你把代码粘贴到编译器或解释器中，它就可以制作你的JavaScript视频游戏。然后某些地方可能会出错，你再去问模型如何修正。关闭这个循环带来了很大的不同。我们还看到了大模型协调小模型的现象。这与将模型视为一个单独的人有很大的不同。我们有更大、更强大的模型，也有更快、更便宜但不太聪明的小模型。一些客户的模式是，大模型负责一项大任务，然后它会分发一百个小模型的副本，让它们去执行任务，再向大模型汇报结果。所以这更像是一种“蜂群”在执行任务，而不是人类的方式。总的来说，我们还在探索使用模型的最佳方式，有很多不同的使用模型的方法。但我也认为，随着模型变得越来越智能，它们会更好地解决这些问题。当它们变得更智能时，我们会更擅长将它们转化为代理，完成端到端的任务，减少人类的介入。因此，这一切又回到了扩展定律是否会继续。如果它们继续，就像你描述的一系列过程。如果它们停止，创新停止，那么你描述的过程就会发生。

主持人： 所以你认为尺度定律会带回我所认为的那种“愚蠢的用例”吗？因为你知道，像你说的那样，对我来说，使用ChatGPT做的最愚蠢的事情就是像这样：“嘿，帮我写一篇关于某某话题的文章，用以前Noah Smith文章的风格。” 现在它还做不到这一点，甚至离做到这一点还差得很远。但如果我们继续扩展，最终我们会达到这样的程度，只要我说：“嘿，帮我写一篇Noah Smith风格的文章。” 然后我就能掌控世界，因为我可以无限量地生成高质量的Noah Smith风格的内容，甚至比自然生成的质量还要高。

Dario Amodei： 基本上，每个人整天都在阅读Noah的文章，因为我和我的AI会主宰你的思想领域。我已经花了相当多的时间在阅读你的文章，我必须承认，如果有无限多的文章，那将会非常有力量。（邪恶的笑声）

主持人： 哈哈，是的，我明白这个想法，这确实很有趣，因为这意味着随着技术创新的进展，商业模式创新的重要性会逐渐减弱，因为你可以按下按钮，轻松完成一切。

Dario Amodei： 这有点像界面和业务流程创新，它几乎是一种对模型智能的替代物。你有的其中一方面越多，另一种需求就越少。所以这就创造了一个有趣的动态，其中每一个重叠的革命都比之前的更快推向市场，但也许在某个时刻音乐会停止，我们无法确定。我一直说，关于尺度定律，没有人应该相信它会一直持续下去，这并不是某种基本的物理定律，它只是一个经验观察，它可能随时停止。我已经观察了它十年，我的猜测是它不会停止，但这只是基于我观察它的时间长度。这只是一个60-40，或者最多70-30的概率。

主持人： 正如人们所说：“趋势是你的朋友，直到最后的拐点”

Dario Amodei： 我从没听过这个短语，但这确实是正确的。

主持人： 那么是什么会改变你的看法呢？是什么会改变你的概率呢？

Dario Amodei： 是什么会改变我的概率？我想，首先，如果我们训练了一个模型，然后尝试下一个规模的模型，结果它表现得非常糟糕，然后我们尝试了几次都没能解决问题，那时我可能会觉得趋势正在停止。如果我们面临数据枯竭的问题，无法生成足够的合成数据来继续这一过程，那么我可能会觉得这确实变得很难，至少趋势会暂停，可能会停止，也可能不会。但这可能就是事情的发展方向。我还是认为这些情况不会发生，但这确实是一个非常不容易回答的问题。

主持人： 你对军备竞赛有多担忧？它们在你的整体AI愿景中占据了多大的比重？你更担心的是美中之间的竞争，还是公司之间的竞争？

Dario Amodei： 是的，我不确定，因为没有什么规则规定我们必须找到一个唯一正确的答案或好的答案。关于这个问题，我有不同的担忧。首先，我担心的是所谓的“安全性”，虽然这个术语有点奇怪。我把它分为两部分：一部分是AI系统的自主行为，我认为这目前还不是一个大问题，但一旦我们开始制造自主的代理和系统，并且它们变得更聪明时，我会更加担心。随着尺度定律的发展，这可能会很快发生。另外一部分是模型的滥用，可能是分散的滥用或扩散的滥用，这就指出了我们需要小心处理的方向。我们必须确保有正确的检查点，衡量风险，不能太快推进。这对我们来说非常重要。我可以谈谈我们的“负责任的扩展计划”，这是我们在考虑这些风险的同时继续扩展模型的方法。另一方面，还有一些事情是我认为Noah写了很多的，就是美中之间的竞争加剧。我读过你关于“冷战二”的文章，作为对当前局势的描述，我认为它非常准确，无论我们是否希望这种情况发生，它似乎都在发生。如果我们认真对待AI模型可能具有的强大能力，那么它们可能足够强大，甚至可能单方面改变国际舞台上的力量平衡。然后我们必须思考，在这种规模的模型被构建之后，是美国国家还是其他国家将在国际舞台上占据优势。我认为我们不应该只担心AI的安全风险，尽管我对此非常担忧。我们还应该担心的是，即使我们能够解决所有这些问题，不用担心AI本身、恐怖分子或小规模的扩散性行为者滥用AI，我们仍然需要确保某些价值观能够得以保留甚至获胜。如果你仔细思考，一个依靠AGI的国家将是一个非常可怕的事情，这是我们绝对不想看到的。因此，我们需要同时兼顾这两个方面，虽然两者之间经常存在紧张关系。

我认为有一些政策可以同时解决这两个问题，而有些政策可能会导致两者之间的紧张关系。我非常喜欢的一项政策是美国在芯片和半导体设备方面的做法。我认为遏制其他国家是一种有效的策略，因为它实现了两件事：首先，它给了我们一个优势；其次，它为我们争取了更多的时间来应对风险。它基本上给了我们一些喘息的空间，而在其他情况下，这两者之间可能存在一个艰难的权衡。我感觉到，除了国家之间的竞争外，企业之间也在竞争。如果情况变得足够严重，企业可以被纳入一个共同的法律框架下。我们可以讨论什么样的监管是合适的。如果确实出现了足够的证据，证明这些技术在滥用或自主性方面具有危险性，那么协调问题是可以解决的。这就是政府和监管的作用。但国际协调问题则极其困难，因为我们生活在一个国际无政府状态的世界中。我们希望能够签署裁军条约，我们肯定应该努力争取合作，但目前没有机制来强制执行这些条约。因此，尽管我认为成功的机会不大，但我仍然支持尝试。

4、AI对工作影响

主持人： 好的，我想我们可以换个话题，谈谈AI对劳动力的影响，这显然是另一个重要的问题。每个人在谈论AI时都喜欢提到Eric Ben-Olson的这个观点，我基本上同意他的看法，他认为至少到目前为止，生成式AI压缩了技能差异。我们可以看到，比如在GitHub Co-pilot、呼叫中心或大学论文写作等常规任务中，AI的应用使那些原本不擅长的人表现得更好，而那些本来就擅长的人提升的幅度很小，而那些顶尖的人则几乎没有什么提升。结果是，顶尖人才的技能变得不那么有价值了，因为底层的人可以更接近顶尖的人。对我来说，这是一个有希望的发现，因为这意味着一个时代的到来，就像在早期的工业革命时期，工厂工人能够与工匠竞争一样。那时，机器工具的出现使得一位来自英国北部小村庄的普通工人能够制造出与最好的工匠一样好的布料，至少有90%的质量，但价格只有10%。于是，你压缩了技能回报的分布，这也许可以对抗不平等。你对此有什么看法吗？

Dario Amodei： 是的，我认为，就目前我们所看到的情况而言，我的看法完全符合这一观点。比如说，随着编程模型的不断改进，一些我以前合作过的最顶尖的程序员表示，这对他们的帮助不大，现在还不是特别有用。但最终，当他们使用Claude 3.5或未来来自其他公司的模型时，他们开始偶尔发现这些模型有更多的用途。我确实认为，像GitHub Co-pilot这样的工具起到了平衡作用，我也同意这是一件好事。如果我们看看互联网时代，它有一种聚合效应，让一切都变成全球化的新闻、音乐、写作等，最终使得超级明星的回报变得非常高，这虽然推动了增长，但也带来了很多不平等。因此，我认为这种平衡效应是好的。不幸的是，随着扩展定律的继续，这可能只是一个时代，可能会有另一个时代，AI模型开始能够完成每个人都能做的事情，实际上，它们也可能成为一种平衡器。我同意你最近说的一个观点，Noah，那就是比较优势仍然会非常重要。

我认为，即使我们拥有了像Co-pilot这样的工具，AI在编程或生物学方面的表现远远超过人类，即使某些小部分任务仍然由人类完成，但令人惊讶的是，人类和经济体会迅速围绕人类仍然能够完成的任务重新调整自己。即使90%的代码是由AI编写的，人类也会变得非常擅长处理剩下的10%。即使100%的代码都是AI编写的，你仍然需要进行设计规范，仍然需要将其与其他系统连接，仍然需要编写产品说明等等。令人惊讶的是，有很多事情仍然需要人类来完成。所以我认为比较优势会比人们预想的持续更久。我不认为它会永远持续下去，但如果这种趋势继续下去，并且一些互补的东西被建立起来，那么没有理由认为它不能继续存在或成为一个长期的重要因素。但我认为，它会持续得比人们想象的更久。

主持人： 关于比较优势，我之前写了一篇文章，引起了很多关注，但我认为我本来可以更清楚地表达一个观点：在一个AI的上游约束和人类的上游约束相同的世界中，即使有比较优势，我们也会陷入困境。简单来说，如果数据中心消耗了过多的能源，导致粮食生产减少，粮食价格上涨，人们就会生气，这对人类不利。但如果上游约束不同，那么我认为我们是可以的。大多数人考虑的是下游的能力，比如互补性和替代性，但我在谈的是生产要素的互补性和替代性。例如，如果AI的主要瓶颈不是能源，而是制造足够计算能力的能力，那么我们就没问题。我的例子是，马克·安德烈森有一个，而马克·安德烈森的执行助理也只有一个，这两个生产要素的瓶颈是不同的。因此，我认为如果AI的资源瓶颈更多在于计算能力而不是能源，那么比较优势对我们来说会更有利。我应该更明确地表达这一点，你基本上同意这个观点吗？你怎么看？

Dario Amodei： 是的，我认为这很有道理。你说的是，如果AI的生产过程和人类非常相似，比如说，就像在《太空堡垒卡拉狄加》（Battlestar Galactica）中的赛昂（Cylon）一样，那么我们就会有麻烦。但如果它只是一个数据中心，输入完全不同，那么我们就没问题。我没有深入思考过这个问题，但听起来这是一个很合理的观点，至少从表面上看是如此。当然，如果我们进入了一个AI重新塑造世界的时代，经济的运作方式也随之改变，那可能又是另一回事。但如果经济学的基本规则仍然适用，我认为这个观点很有道理。

主持人： 另外，关于超级规模化的世界，我可以给你看一篇论文，基本上它展示了所有这些模型，结果与我们的直觉非常接近。确实存在一个扩展能力的世界，这些模型确实按照你所想的方式工作。我的另一个问题是，是否有必要考虑一个极度丰裕的世界，在这个世界中，AI如此强大，以至于让生物学、制造业等一切都变得惊人地好，所有我们想要的东西都提升了10倍、100倍，但人类本身却变得贫困不堪。我们是否需要担心在极度丰裕的世界中人类彻底贫困化的情况？

Dario Amodei： 是的，让我分开来谈这两个部分。关于极度丰裕的世界，我想这是我们所希望的对吧？我经常谈论风险，无论是自主性还是国家安全方面的滥用，有时候人们因此认为我是一位悲观主义者，觉得我认为所有这些坏事都会发生。其实并不是这样，我的看法是，我认为如果一切按常理发展，真的会有非常伟大的事情发生。而我痴迷于这些坏事，是因为它们是阻碍这些伟大事情发生的唯一障碍。所以我完全专注于找到这些障碍并消除它们。首先，关于极度丰裕的世界，我经常思考生物学，因为我以前是一名生物学家。我认为我们真的低估了AI在生物学领域的潜力。人们在看待AI与生物学的结合时，往往低估了可能性。大约十年前，当我还在这个领域时，普遍的态度是，生物学数据的质量是值得怀疑的，我们能够获得的数据也有限，实验往往受到混淆变量的影响。当然，更多的数据分析、大数据和AI是好的，但它们最多只起到辅助作用。也许AlphaFold的出现改变了一些看法，但我的看法是，AI模型可以扮演生物学家的角色，或者是与生物学家并肩作战的角色。

如果我们考虑到什么是先进的生物学，实际上，它在很大程度上依赖于一些关键技术，比如基因测序——这种能够读取基因组的能力对现代生物学至关重要。最近的CRISPR技术——能够编辑基因组——对许多实验来说是不可或缺的，尤其是在动物实验中，并且正在逐步对制药和疾病治疗产生重要影响。虽然还有很长的路要走，需要更高的可靠性和其他技术的支持，但如果我们能正确地运用AI，它可能会将我们发明这些技术的速度提高10倍，甚至100倍。例如，CRISPR技术的发现涉及细菌免疫系统，这种机制已经被人类了解了30年，但将其与基因编辑技术联系起来，并找到正确的应用方法，花费了整整30年的时间。我认为，如果我们能大大加快这一发现的速度，我们也可以大大加快治愈疾病的速度。我的想法是，我们是否可以压缩21世纪的生物学进程？通过AI加速，我们是否可以在五到十年内取得本应在21世纪完成的所有生物学进展？对我来说，这是一个非常巨大的潜力，甚至可能让我们治愈困扰人类数千年的疾病。当然，这也会极大地提高生产力，扩大经济蛋糕，延长人类寿命。这一切都非常棒，这是我所希望的，也是我们所有人所希望的。

至于人类最终陷入贫困的情况，我想最容易出现的坏情况可能是，虽然创造了巨大的财富，比如发达国家的GDP增长达到两位数，但这些财富的回报却主要流向开发这些技术的公司及其员工，以及与之相关的配套资产生产者。而普通人却无法分享这些财富，尤其是发展中国家的人们可能被排除在外。我认为这是一个更为现实的担忧。在经济增长的过程中，更多的人被排除在外通常发生在不同国家之间，而不是在同一个国家内，尽管在国家内部也有这种情况发生。在国家内部，历史上我们有分配财富的先例，但我们在像撒哈拉以南非洲这样的地区进行再分配的效果并不好，因为没有一个有管辖权的政府实体可以执行这一任务。我认为这也是一个问题，人们没有深入思考这些对其他国家的影响。当然，这可能会让我们讨论得太远了。

5、AI安全和不平等

主持人： 我有一个问题，涉及AI安全和不平等的两个方面。有些人说，由于我们无法真正理解人类大脑的运作，所以我们应该担心AI可能会发展出意识或自主性，因为我们甚至无法理解自己的编程，又如何能够编程或理解AI呢？这是安全担忧的一方面。而另一方面，AI驱动的监控国家也引发了担忧。我很好奇能否进一步探讨这些风险。

Dario Amodei： 好的，我认为在安全性方面，这里涉及多个方面。首先，我认为我们不了解人类大脑的运作，这一点本身不应该让我们对AI系统感到太多安慰。世界上有些人类的行为确实很糟糕，对吧？比如说，当我看着一个两岁的孩子时，我无法预测这个孩子将来是会成为甘地、希特勒，还是介于两者之间的人物。我们真的没有什么办法可以准确预测这些事情。也许我们可以做出一些猜测，但这真的很难，所以你不知道你得到的是什么。我认为这对AI系统也是如此。

另一方面，这并不意味着这些系统必然无法控制。我们有教育人类的方式，我们也有创造权力平衡的手段。因此，这既不是一个完全令人放心的信息，也不是一个完全令人恐惧的信息。事实上，这表明我们过去在人类对齐问题上遇到的一些老问题，可能也会在AI身上重现。不过，如果我们能够理解AI的内部机制，这将极大地改善这一情况。自Anthropic成立以来，我们团队就一直在研究可解释性，试图理解模型为什么会做出某些决策。根据我的经验，这在研究人脑时非常困难，但在软件中要容易得多。虽然依然存在算法复杂性的问题，但我们可以面对这种复杂性，而不必担心如何深入到大脑中而不会破坏其中的生命体。因此，我们应该尽可能多地进行这种研究。如果我们能把这项工作做得很好，那么情况可能会比我们对人类行为的预测还要好。

另一方面，我们对人类了解很多，但对AI了解很少。所以如果我要做个比喻的话，我们已经看到当我们部署AI系统时，它们有时会做出一些令人难以理解的错误决策。它们能够解决一些人类无法解决的问题，但有时也会犯一些人类永远不会犯的错误。我认为这是从安全角度来说需要关注的一个原因。所以我认为Anthropic通常持有的观点是平衡的，这也是我们对安全性的看法。至于俄罗斯和伊朗的情况，我会回到出口管制这个问题上。我们目前没有有效的全球治理机制来控制这些国家的行动。虽然我们在这里关于安全问题进行了很多辩论，但我很高兴看到其他国家也有一些人正在思考同样的问题。不过，我们没有机制来确保他们能正确处理这些问题。因此，我认为，当它们在某些方面领先时，这通常不是一个好消息，原因有很多。如果我们在速度上面临赶超它们的压力，同时又要考虑安全性，但有些事情我们可以做，这些事情对两者都有利。我认为我们应该努力找到更多这样的事情，并付诸行动。

6、加州人工智能监管法案

主持人： 我们还有两分钟时间，你对 SB 1047有什么看法吗？Elon刚刚表示支持，有些人担心它可能会影响我们对监管的看法。你对此有什么简短的看法吗？

Dario Amodei： 是的，Anthropic就这个问题写了两封信，第一封是针对最初的法案草案，我们当时表达了一些担忧，认为草案有点过于强硬。法案的提出者实际上解决了我们约60%的担忧，虽然不是全部，但做出了不少改进。经过这些修改后，我们对法案的态度变得更加积极。我们在表达观点时倾向于基于分析，我们有丰富的经验来运行安全流程和测试模型的安全性，因此我们觉得，通过提供信息和建议，我们可以在生态系统中发挥更有用的作用，而不是简单地站队或加入政治联盟。所以在法案修改后，我们整体上比之前更为正面地看待它。根据我们现有的信息和分析，我们认为它的平衡性还算不错。

我们对原始法案草案的主要担忧在于所谓的“预先执行”。法案的工作机制与RSPS（负责任的扩展计划）非常相似，这是我们、OpenAI、谷歌和其他公司共同开发的一种自愿机制，要求每次开发出更强大的模型时，必须运行这些测试，包括自主行为的测试、生物武器的滥用测试、网络攻击测试、核信息测试等等。如果将这些要求纳入法律，有两种实施方式：一种是由政府部门执行，由政府来规定需要进行哪些测试和采取哪些安全措施。如果模型足够智能通过了测试，那么就由行政机构来编写相关的规则。我们对这种方式的担忧在于，这些测试目前还很新，并且几乎所有的灾难性事件都尚未发生。所以，我们有点担心这些测试可能会失效，或者更糟的是，它们可能会被别有用心的人重新利用于政治目的。另一种方式，我们认为可能更优雅，尤其适合这个快速发展的领域，是我们称之为“威慑”的方式，即每家公司都必须制定自己的安全和保障计划，决定自己如何进行测试。如果发生了不好的事情，比如AI接管世界，或者只是一次普通的网络攻击，那么法院会审查你的计划，判断你是否采取了所有可能的措施来防止灾难发生。

这种方法的希望在于，它能够促使公司之间进行“上行竞争”，避免成为最慢的“斑马”，避免成为灾难发生时被追责的对象。意见各不相同，很多人仍然反对这个新法案，我能理解他们的立场。这是一项新技术，还没有看到真正的灾难性事件发生，也没有被之前的法规监管过。但我们觉得它在一定程度上找到了平衡点。时间会证明它是否会通过，即使不通过，这可能也不是我们最后一次看到类似的监管提案。我们之所以选择参与这次对话，是因为我们认为有必要指出法案的优缺点，并且我们认为，经过修改后，优点大于缺点。

主持人： 这种法案不会导致你们将业务搬出加州吧？

Dario Amodei： 这确实是我觉得最令人困惑的地方。有些公司在讨论将业务搬出加州，但事实上，这个法案适用于在加州开展业务或部署模型的公司。搬迁公司总部并不会改变你在加州的业务地位或签证状态。所以，说实话，我很惊讶反对者没有提到这一点。其实，我们真正想确保的是，法案的好处是否超过了成本，而我们确实认为是这样的。至于那些说要搬出加州的言论，我觉得那只是谈判的手段，和法案的实际内容并没有关系。

主持人： 明白了，那我能再问一个问题吗？我们还有时间吗？

Dario Amodei： 好的，我很乐意继续聊。

主持人： 我还有一个问题，关于对齐问题。大多数人都在思考如何让一个基于AI的世界对人类有利，对人类有好处。而我经常思考的是，如何让一个基于AI的世界对兔子有利，因为我真的很喜欢兔子，它们在这个世界上遭遇了很多不公平的待遇。你知道，在野外的兔子平均只能活1.5年，但在圈养环境下的兔子可以舒适地活10到14年。那么，除了把兔子作为Anthropic的官方吉祥物（这是我确实认为应该做的事情，Kipley会和我一起推动这件事），我们还能做些什么来创造一个在超级AI世界中对兔子友好的世界？

Dario Amodei： 嗯，我不太确定，但我也曾思考过类似的问题。我有一匹马，我会形容马就像巨大的兔子一样，无论是在行为上还是其他方面。它们是猎物动物，但你真的会想要保护它们，它们真的会激发你内心的保护欲望，你想确保它们有一个好的生活。我想，如果我们正确地设计AI，希望我们能创造出一种普遍的原则，即我们应该善待那些力量较弱的生物。这意味着，人类应该善待兔子和马，AI应该善待人类，希望AI本身也会善待兔子和马，把这作为一种普遍化的原则。也就是说，AI和人类共同的意识形态或世界观应该基于某种对这些生物的保护。我有点怀疑，如果我们真的构建了强大的善意AI，它们可能会像我们看待兔子和马那样看待我们。我们有点无助，有点可爱，需要被保护。

主持人： 是的，我确实认为需要更多关注兔子的对齐问题。其实，我写过的一篇唯一的科幻短篇小说就是关于未来AI决定要保护兔子和其他小型毛茸茸动物的故事，它们偶尔会攻击那些可能威胁到它们的人类。它们会警告你：“你离兔子太近了，这是最后一次警告，否则空间激光会来找你。”

确实如此，这种事情真的发生了。法案的好处是否超过了成本， 很高兴再次见到你。

Dario Amodei： 是的，很高兴再次见到你。我非常喜欢你的文章，尤其是关于国际和安全局势的分析。我基本上和你有相同的观点，事实上，我认为这些问题更加重要。如果我对尺度定律的预测是正确的，那就意味着我们正处于一场巨大的技术变革之中。这有点像二战期间制造原子弹的感觉，虽然可能这是个过于戏剧化的比喻，但我认为它突显了这些问题的重要性，并制造了一些我们必须应对的紧张局势。我对此非常担忧，而你的分析对我理解这些问题非常有帮助。

主持人： 非常感谢。

---

对了，喜欢就别忘了点赞、收藏、转发支持一下！期待在评论区听到你的观点和看法!

往期回顾

---

我们旨在将先进科技与创新想法完美融合!

想要掌握人工智能，但不知从何开始？告诉我们你的需求，学习AI让你抓住这波浪潮

告别昂贵服务和缺人烦恼,再见漫长交付周期

无限创意,快速生成专业级产品

感受 AI 带来的全新工作体验！

欢迎各大品牌方、媒体、企业和个人等

请联系负责人微信：Milo-1101

--END--

未经许可不得转载，务必保留公众号原文链接和公众号按钮