谷歌前 CEO：「盗用内容也不是不行」
前几天，Google 前 CEO Eric 做客斯坦福，全程演讲放飞自我，并告诫学生：这场会议是保密的，内容千万不要外传。比如：
你的产品如果没火，盗用了所有内容也无所谓
如果火了，就雇律师给你擦屁股
当然，不要引用我的话
但他没想到...这场演讲被直播了。虽然后面内容被从 Youtube 下掉了，但无奈好些网友提前做了缓存，于是也就有了这篇。本次演讲的主角，是两位艾瑞克：
Eric Schmidt，谷歌前 CEO
Erik Brynjolfsson，斯坦福老师
当然，还有一些斯坦福学生，提了许多不错的问题。
感谢宝玉老师
宝玉老师在 AI 领域非常有洞见，献了极多高质量的内容以及实践思路，比如「二步翻译法」和「直译反思意译三步翻译法」。很荣幸，「赛博禅心」邀请到了宝玉老师，一起进行内容创作，将带来更多的优质内容，比如本篇。
顺便预告下，明天的内容也宝玉老师提供的，原创
顺道说下，本篇使用我搓的「带带弟弟 AI 排版器」进行排版
回复：「SampleCSV」，获得排版器
第零部份：划重点
阑夕老师对 Eric 和 Erik 的发言做了总结
来源：阑夕老师的推特
第一部份
斯坦福老师
今天的嘉宾其实无需过多介绍。我记得大约25年前第一次见到Eric，那时他作为Novell的首席执行官来访斯坦福商学院。从那时起，他做了很多事情，他在Google（大概是从2001年开始）和Schmidt Futures（从2017年开始）做了很多事情，还有很多其他的事情你们可以查询了解。但他只能待到下午5点15分，所以我想我们直接进入问题环节。我知道你们也有一些问题。我这里有一些我写下的问题，但我们在楼上刚刚谈论的内容更有趣。所以我想从那开始，Eric，如果你不介意的话。
话题：AI 的未来发展
斯坦福老师
那就是，你预见AI在短期内，我认为你定义的是未来一两年，会有怎样的发展？
Eric
事情变化得如此之快，我感觉我每六个月都需要做一次新的演讲，讲述即将发生的事情。
斯坦福老师
在座的有没有人，一群计算机科学家在这里，有没有人可以解释一下什么是百万token的上下文窗口，为其他同学解释一下？
学生
在这里。基本上，它允许你用百万个token或者百万个词进行提示。所以你可以提出一个上百万词的问题。我了解到，这是当前通识教育关注的一个重要方向。
Eric
不，他们的目标是10个一百万。
学生
对，一千万？没错。
Eric
接着，Anthropic现在是20万，他们的目标是100万，以此类推。你可以设想OpenAI也有类似的目标。
斯坦福老师
谁能给出AI智能体的技术定义？
学生
AI智能体基本上是执行某种活动的实体。这可能涉及在网上，代表你处理一些事情，可能是许多不同的事项，类似这些。所以，一个智能体就是执行某种任务的实体。另一个定义是，它是一个大语言模型，具有状态和记忆功能。
斯坦福老师
"再来一次，计算机科学家，你们中有谁能解释什么是""将文本转化为行动""？"
学生
就是把文本转变成行动。而不是把文本转化成更多的文本。
Eric
另一个定义是，将语言转化为Python代码。这是我一直不想看到的编程语言。然而，目前所有的AI工作都是在使用Python进行的。有一种新的语言叫Mojo，刚刚出现，看起来他们终于解决了AI编程的问题。但我们还要看，这是否能在Python的主导地位下生存下来。
话题：技术和市场的动态
斯坦福老师
再来一个技术问题。为什么NVIDIA的价值和地位如此之高，而其他公司却在挣扎呢？
Eric
我认为，这主要是因为，大量的代码需要在CUDA优化下运行，而这是只有NVIDIA的GPU才支持的，所以，其他公司可以制造他们想要的任何东西，但是如果他们没有10年的软件开发经验，就不可能有机器学习优化。我个人喜欢把CUDA想象成GPU的C语言，对吗？这就是我喜欢的看法。它成立于2008年。我一直觉得它是一种糟糕的编程语言，然而，它却成为了市场主导。还有一点值得注意。有一套开源库，它们针对CUDA进行了高度优化，而对其他平台的优化却很少。每个构建所有这些堆栈的人——这在任何讨论中都被完全忽视了。这在技术上被称为VLLM以及其他一大堆类似的库。它们都是专门为CUDA而优化的，对于竞争对手来说，很难复制这个。
斯坦福老师
那么，这些观点对我们来说有何影响或意义呢？
Eric
"在接下来的一年里，我们将看到非常大的上下文窗口、智能体和""文本转行动""等新技术的兴起，当它们能够大规模应用时将对世界产生的影响将超出我们目前的理解范围。这种影响将远超过社交媒体所带来的影响，我个人是这样认为的。以下是我的原因。在一个上下文窗口中，你基本上可以将其作为短期记忆。我对上下文窗口能达到如此之长感到惊讶。这主要由于它的计算和处理难度很高。短期记忆的有趣之处在于，当你输入信息，比如你问一个问题，""读了20本书，你输入这些书的文本作为查询，然后你说，'告诉我它们说了什么。'""它会忘记中间的部分，这与人类大脑的工作方式相似。对吗？这就是我们现在的状况。"
斯坦福老师
关于智能体呢？
Eric
"关于智能体，现在有人正在开发基于大语言模型的智能体，他们的做法是阅读一些像化学一样的学科，发现其内在原理，然后进行测试。然后他们将这些知识融入到他们的理解中。这是非常强大的。我提到的第三个要点是""文本转行动""。那么，我来举个例子，政府正在尝试禁止TikTok，我们拭目以待看结果如何。如果TikTok被禁，我建议你们每个人都这样做，告诉你的大语言模型，接下去的操作。复制一份TikTok。获取所有用户信息。获取所有音乐资源。加入我的个性化设置。在接下来的30秒内编制这个程序。然后发布出去。如果一小时内它没有迅速传播开来，那就沿着同样的思路尝试另一种方式。这就是命令。一步接一步，就这样。明白了吗？你知道这有多强大吗？如果你能从任意自然语言转换为任意数字命令，这在这个情况下就相当于Python，试想一下，如果地球上的每个人都有属于自己的程序员，他们会真正按照你的要求去做事，而不是像我手下的那些程序员那样并不总是按照我说的去做。明白了吗？在场的程序员都明白我在说什么。所以，想象一下，有一位既不自大，又会真正按照你的要求去做事的程序员，你甚至不需要付他一大笔工资。而且这样的程序无穷无尽。"
斯坦福老师
这一切都将在未来一两年内实现？
Eric
马上就要到来。这三件事，我深信只有结合这三件事，下一波浪潮才会到来。那么，你问的是接下来会发生什么。我的观点每六个月会有所改变，这就像一个周期性的摆动。比如说，现在，那些前沿模型（只有三个，我待会会详细介绍）与其他所有人之间的差距，我感觉正在变大。六个月前，我坚信这个差距正在缩小。于是我在一些小公司投入了大量的资金。但现在，我对此已不再那么确定了。我现在正在和大公司们交谈，他们告诉我他们需要投入100亿、200亿、500亿甚至1000亿。比如说，Stargate的投入就达到了1000亿，对吧？这确实非常困难。
话题：AI 投资与国家安全
Eric
Sam Altman是我的密友。他认为这可能需要投入高达3000亿，甚至更多。我向他指出，我已经计算出了这需要的能源量。然后，在完全公开的精神下，我上周五去了白宫，告诉他们我们需要与加拿大建立最紧密的关系。因为加拿大有非常好的人，参与了人工智能的发明，还有大量的水力发电资源。因为我们国家没有足够的能源来完成这件事。另一个选择就是让阿拉伯人来资助。我个人非常喜欢阿拉伯人。我在那里待过很久，对吧？但他们不会遵守我们的国家安全规则，而加拿大和美国是共同遵守安全规则的三方联盟（或三国集团）的一部分。因此，对于这些价值3000亿美元的数据中心来说，电力开始变得稀缺。顺便说一下，如果你沿着这个逻辑走下去，我为什么要讨论CUDA和NVIDIA呢？如果有3000亿美元都要流向NVIDIA，你应该知道在股市里应该怎么做。这不是股票推荐，我并不是许可证发放者。（观众笑）部分原因是，我们需要更多的芯片，但英特尔正在从美国政府和AMD那里得到大笔资金，他们正准备在韩国建造半导体工厂。
斯坦福老师
有谁的计算设备里有英特尔的电脑或者芯片呢，请举手。
Eric
看来，垄断不再是什么大问题了。
斯坦福老师
这正是我想说的。
Eric
他们曾经垄断过。
斯坦福老师
没错。
Eric
而现在Nvidia有垄断。
斯坦福老师
那些对进入的障碍呢？例如CUDA，还有其他的，就像我前几天和Percy Lanny聊天时提到的。他根据训练模型所能获得的设备，会在TPUs和NVIDIA芯片之间做选择。
Eric
那是因为他别无选择。如果我有无限的资金，我会今天选择NVIDIA的B200架构，因为它运行更快。我并不在这里提倡什么，我只是想说有竞争是好事。我和AMD的Lisa Su有过长时间的交谈。他们正在开发一种能将你描述的这种CUDA架构转换为他们自己的架构，即RockM。目前它还不能完全运行，他们正在努力改进。
话题：谷歌、OpenAI 与企业文化
斯坦福老师
你在谷歌工作了很长时间，他们是Transformer架构的发明者。
Eric
是彼得，都是彼得的错。
斯坦福老师
那里有像彼得和杰夫·迪恩这样的出色人才。但现在，他们似乎已经失去了对OpenAI的主动权。我看到的最新排行榜上，Anthropic's Claude是榜首。我问过Sundar这方面的问题，他并没有给我一个明确的答案。或许你能给出一个更明确或更客观的解释。
Eric
我现在已经不再是谷歌的员工了。确实如此。我要坦白的说，谷歌认为工作与生活的平衡，早点下班、以及在家工作比赢得比赛更重要。（笑）创业公司之所以能够成功，是因为员工拼命工作。很抱歉如此直言不讳，但事实是，如果你们离开大学去创办公司，你不会允许员工在家办公，而且每周只来公司一天，如果想要与其他创业公司竞争的话。
斯坦福老师
Google创业初期，Microsoft就是这样。
Eric
对的。
斯坦福老师
但现在似乎——
Eric
在我们这个行业里有很多公司，以真正创造性的方式赢得市场并在某一领域取得主导地位，但却未能完成下一次转型。这种现象很常见，并且有很多文献记录。我认为，创始人是特殊的，他们需要掌控一切，与他们共事可能会很艰难，他们会给员工施加很大的压力。我们可能并不喜欢马斯克的个人行为，但你看看他是如何推动员工的。我曾和他共进晚餐，当时他在蒙大拿州，而那天晚上10点他要飞往另一个地方，凌晨12点与http：//X.AI开会。对吧？你想想看吧。
斯坦福老师
我曾去过台湾，有着完全不同的文化，他们（台积电）让我印象深刻的一点是，他们有一条规定：这些刚入职的优秀物理学博士需要在地下一层的工厂工作。你能想象让美国的物理博士去做那样的事吗？几乎不可能。他们的工作态度和我们有所不同。
Eric
而问题在于，我之所以对工作要求这么严格，是因为这些系统具有网络效应，时间是非常关键的。在大部分业务中，时间其实不那么重要。你有充足的时间。可口可乐和百事可乐会一直存在，他们之间的竞争也会持续，这一切都在慢慢发展。我和电信公司打交道时，一般的电信交易要花费18个月才能完成。实际上，没有任何事情需要花费18个月去完成。要迅速行动。
斯坦福老师
我们现在处于最大的发展期，最大的进步期。这也需要一些疯狂的想法。比如当微软与OpenAI达成交易时，我认为那是我所听过的最愚蠢的想法。将AI的主导地位让渡给OpenAI，包括Sam和他的团队，这简直太疯狂了。在微软或其他任何地方，都没有人会这么做。然而现在，他们正在朝着成为最有价值的公司的目标前进。他们和苹果公司的竞争激烈。苹果公司并没有一个好的AI解决方案，而微软看起来已经成功了。
第二部份
话题：AI 与地缘政治
斯坦福老师
在国家安全或地缘政治利益方面，你认为AI将如何在与中国的竞争中发挥作用？
Eric
我曾经是一个AI委员会的主席，我们对此进行了非常详细的研究。你可以去看看。它有大约752页。我只是总结一下，我们现在处于领先位置。我们需要保持这种领先地位，并且需要大量的资金来做到这一点。我们的主要对象是参议院和众议院。由此促成了《芯片法案》以及其他相关立法。如果你假设前沿模型不断发展，少数开源模型也在进步，很可能只有少数国家能够参与这场竞争。我是指国家，而不是公司。那么这些国家是谁呢？有大量资金、丰富人才、强大教育系统以及获胜意愿的国家。美国就是其中的一个。中国也是。还有其他国家吗？我不知道，也许有。在你们这一代人的有生之年，围绕知识霸权的美中对抗将会是主要的斗争。因此，美国政府基本上禁止了NVIDIA芯片出口到中国，尽管他们并不愿明说这是他们的初衷，但实际上确实如此。我们在芯片制造技术上大约领先10年。在次紫外光刻（sub-DUV），即小于5纳米的芯片方面，我们大约领先10年。
斯坦福老师
10年，这么久？
Eric
大概10年。
斯坦福老师
哦。
Eric
所以，以现在的情况为例，我们比中国领先了几年。我猜我们可能还会领先中国几年。中国对此非常不满。他们对此感到非常沮丧。这是个大问题。这是特朗普政府的决定，并且拜登政府也同样执行了这个决定。
斯坦福老师
你觉得现在的政府和国会听取你的建议了吗？你认为他们会进行如此大规模的投资吗？显然，《芯片法案》已经出台，但除此之外，是否还会建立一个庞大的AI系统？
Eric
你知道，我领导的是一个非正式、特设的、不受法律约束的小组。这和违法是不同的。确切地说，只是为了明确。这包括所有的同行。在过去的一年里，这些同行提出了一些理论基础，最终成为了拜登政府《AI法案》的核心内容，这是历史上最长的总统行政命令。
斯坦福老师
你是在谈论特殊竞争研究项目吗？
Eric
不，这是来自行政办公室的实际法案。他们现在正忙于实施细节。到目前为止，他们做得很好。例如，过去一年中我们讨论的一个问题是，如何在一个已经学习到危险内容的系统中检测这些危险，但是你不知道该问它什么？换句话说，这是一个核心难题。系统可能学到了一些有害的东西，但它无法告诉你学到了什么，而你也不知道该如何询问它。而且威胁种类繁多，比如，它学会了一种你不知道如何询问的新的化学混合方式。因此，人们正在努力解决这个问题。但最终我们在给他们的备忘录中写道，有一个阈值，我们任意设定为10的26次方的浮点运算，这在技术上是一个计算量的衡量标准。超过这个阈值，你必须向政府报告你正在进行这种操作。这就是规则的一部分。欧盟为了有所区别，把阈值定为10的25次方。
斯坦福老师
是的。
Eric
但这差距其实很小。我认为所有这些区别都会消失，因为现在的技术——专业术语是联邦学习技术，基本上你可以将不同部分联合起来进行训练。所以我们可能无法让人们完全免受这些新威胁的影响。据传言，这也是OpenAI必须这样训练的部分原因，因为电力消耗太大无法集中在一个地方进行训练。
话题：战争与 AI
斯坦福老师
好了，让我们谈谈正在进行的真正战争。我知道你非常关注乌克兰战争，尤其是，关于“白鹳”项目，我不确定你能谈多少，关于用500美元的无人机摧毁500万美元的坦克。这个改变了战争方式吗？
Eric
我曾在国防部工作了七年，试图改变我们管理军队的方式。虽然我并不特别喜欢军队，但是军队的运行开支非常大，我想看看我能否对此提供一些帮助。而现在看来，我觉得我基本上失败了。他们给了我一枚勋章，所以可能失败者也能得到勋章吧，或者随便怎么说。但我对自己的批评是，什么都没有真正改变，美国的体系不会带来真正的创新。看着俄罗斯人用坦克摧毁有老人和孩子的公寓楼，我感到非常愤怒。所以我决定和你的朋友、斯坦福大学的前任教授塞巴斯蒂安·特鲁恩，以及一批斯坦福人一起创办一家公司。其实，我们的目标主要有两个。首先是用复杂而强大的方式将AI应用于这些机器人战争中，其次是降低机器人的成本。你可能会好奇，一个像我这样的自由派为何会有这样的想法？答案是，现有的军队理论以坦克、炮兵和迫击炮为主，而我们可以消除它们。我们可以让入侵一个国家的代价，至少在陆地上，几乎是不可能的。这应该可以避免大规模的陆地战争。
斯坦福老师
这确实是一个很有趣的问题，这种方式是否能让防守方获得更多优势？我们能否做出这样的区分呢？
Eric
在过去的一年里，我一直在做这个，我学到了很多关于战争的知识，而这些知识我原本不想知道。其中一个关键点是，进攻方总是占据优势，因为他们总能压倒防御系统。所以，作为国家防御策略，拥有一套强大的进攻机制是很有必要的，以备不时之需。而我和其他人正在构建的系统将能够实现这一点。由于系统的运作方式，我现在是一名持证军火商。所以我现在既是计算机科学家，商人，也是军火商。（笑）
斯坦福老师
我很抱歉地说——这算是一种职业进步吗？
Eric
我不太确定，但我并不建议你把这作为你的职业发展路径。我建议你还是继续做AI。由于法律的规定，我们是以私人方式进行这些工作，并且政府对此予以支持，因此我们直接进入乌克兰，随后战争开始了。不详细展开，但局势非常严峻。我认为，如果在五月或六月，俄罗斯如预期那样进行军事集结，乌克兰将会失去大片的领土，并开始逐渐失去整个国家。所以情况非常严重。
斯坦福老师
如果有人认识Marjorie Taylor Greene，我建议你从通讯录中删除她。因为她就是那个，一个人阻止了数十亿美元援助这些援助本可以拯救一个重要的民主国家。
话题：知识的本质
斯坦福老师
我想谈谈一个稍微带有哲学性质的问题。去年你和亨利·基辛格以及丹·赫特洛克写了一篇关于知识本质及其演变的文章。前几天我也和别人讨论了这个话题。对于历史上的大部分时间，人类对宇宙的理解更多是神秘的，然后出现了科学革命和启蒙运动。而在你的文章中，你们提出了一个观点，现在的模型变得如此复杂和难以理解，以至于我们不再真正知道其中发生了什么。我要引用理查德·费曼的一句话。他说：“我不能理解我无法创造的东西”我最近看到这句话。但现在人们能够创造出一些东西，却并不真正理解其中的原理。知识的本质是否正在发生变化？我们是否要开始接受这些模型的结果，而不再需要它们解释给我们听？
Eric
我想，可以将其比作青少年。如果你有个十来岁的孩子，你知道他们是人类，但你却无法完全理解他们的想法。（笑）然而，我们的社会已经适应了青少年的存在，对吧？他们总会长大成人。我是认真的。因此，我们可能会有无法完全理解的知识系统，但我们了解它们的边界，对吗？我们理解它们的能力范围。这可能是我们能够获得的最好结果。
斯坦福老师
你认为我们能理解这些边界吗？
Eric
我们会变得越来越好。我每周都会和我的团队会面，我们的共识是，最终，你会使用所谓的对抗性AI，实际上会有一些公司，你可以雇用他们，付钱让他们去破坏你的AI系统。
斯坦福老师
就像网络安全中的红队一样。
Eric
那么，将会是AI红队，而不是现在的人类红队，你将会看到整个公司和行业的AI系统，它们的任务是挖掘现有AI系统的漏洞，特别是那些我们无法理解的知识点。我认为这个观点是有道理的。对于斯坦福来说，这也是一个很好的项目，因为如果有一个研究生能够弄清楚如何攻击这些大型模型并理解它们的运作，那将为下一代技术积累的宝贵经验。我觉得这两者会齐头并进。
第三部份
学生提问：如何让 AI 真正按照我们的意愿行动？
学生
之前你提到过这点，和你刚才的评论有关，AI需要真正按照我们的意愿行事。你刚刚提到了对抗性AI，我想如果你能再详细说明一下就更好了。除了计算能力肯定会增加，我们可以有更强大的模型，但是如何让它们真正按照我们的意愿行动，这个问题你觉得解决了吗？在我看来，这个问题似乎还没有完全解答。
Eric
好吧，你必须认为，当前的问题会随着技术的进步而减少，对吗？我并不是说这些问题会完全消失。然后你还需要假设，我们会有对AI有效性的测试方法。因此，我们必须有一种方式，去确认事情是否成功。举刚才我提到的TikTok竞争对手的例子，我并不是建议你非法盗用其他人的音乐。如果你是硅谷的企业家，希望你们都能成为的话，如果这个产品火了，那么你就需要雇一大堆律师来收拾烂摊子，是吧？但如果没有人使用你的产品，那你盗用了所有内容也无关紧要。当然，不要引用我的话，是吧？（观众笑了）
斯坦福老师
对，你正在被摄影机记录。
Eric
是的，没错。（观众笑了）但你明白我的意思。换句话说，硅谷会进行这样的尝试，并收拾残局，这通常就是事情的运作方式。所以在我看来，你会看到越来越多的性能系统，甚至有更好的测试，最终会有对抗性测试，这将保证它们的行为在一个可控的范围内。我们通常把这称为链式思维推理。人们相信，在未来几年里，你将能够实现长达1000步的思维链条推理。做这个，再做那个。就好比是在制作菜谱。你可以照着菜谱做，并测试它是否产生了正确的结果。这就是系统运作的方式。
学生提问：AI 进步的驱动力是什么？
学生
总的来说，你对AI进步的潜力似乎持有非常积极的态度。我很好奇，你认为什么会推动这个进步呢？是更强大的计算力量？还是更多的数据？或是基础性或实质性的变化？
Eric
是的。现在投入的资金数额简直令人难以置信。我选择投资于几乎所有领域，因为我无法确定谁会是最后的赢家。跟随我投资的资金规模非常庞大，我觉得这部分原因是早期投资的回报已经出现，那些大资金的投资者，他们对他们自己在做什么并不清楚，他们只知道他们的投资中必须包含AI成分。现在所有的投资看似都与AI有关，所以他们无法区分哪些是真正的AI投资。我把AI定义为能够学习的系统，真正能够自我学习的系统。所以我认为这是其中的一个驱动力。另一个驱动力是，有许多非常复杂的新算法，这些算法可以说是超越了Transformer。我的朋友，也是长期的合作伙伴，创造了一种新的非Transformer架构。我在巴黎资助的一个团队声称他们也做出了相同的成果。这里有巨大的发明潜力，斯坦福大学也有很多创新。最后一点是，市场普遍认为智能的发明将带来无尽的回报。比如说，你投资了一家公司500亿美元，你必须从智能中获得大量的收益才能回本。因此，我们可能会经历一场大的投资泡沫，最终市场会自行调整。这在过去一直如此，而这一次也极有可能是如此。
学生提问：AI 的开源
Eric
你之前提到，你认为领先者正在逐渐拉开与其他人的差距，现在。这个问题可以这样理解，有一家叫做Mistral的法国公司，他们的表现非常出色，我也是他们的投资者。他们已经推出了第二个版本，但由于成本过高，第三个版本可能无法推出。他们需要收入，不能免费提供模型。所以，我们行业中关于开源与闭源的争论非常激烈。而我的整个职业生涯都是基于人们愿意共享开源的软件。我的一切都与开源有关。谷歌的许多基础设施都是开源的。我在技术上所做的一切也是如此。然而，可能是因为资本成本如此巨大，这从根本上改变了软件开发的方式。你和我之前谈到的，我认为软件程序员的生产率至少会提高一倍。有三四家软件公司正在努力实现这一目标。我投资了所有这些公司。本着这种精神。他们都在努力提高软件程序员的效率。
Eric
我最近接触的一个最有趣的公司叫Augment。我总是把它想象成单个程序员，但他们告诉我，“我们的目标并不是他。我们的目标是那些上100人的开发团队，代码行数达到数百万行，谁也不知道里面发生了什么。”这确实是一个非常适合AI解决的问题。他们能赚钱吗？我希望他们能。有很多问题需要解答。
学生提问：上下文、Agent 和 Action
学生
你好。你一开始提到，上下文窗口的扩展、智能体和将文本转化为行动的组合将产生无法想象的影响。首先，为什么这种组合如此重要呢？其次，我知道你没有水晶球，不能预测未来。但为什么你认为这些影响将超出我们的想象？
Eric
这有助于解决新“时效性”问题。目前的模型需要训练大约一年半的时间。包括六个月的准备，六个月的训练，六个月的微调。所以它们总是过时的。通过扩展上下文窗口，你可以提供最新的信息。例如，你可以在上下文中询问关于哈马斯与以色列战争的问题。这是非常强大的。它让模型能够像谷歌一样保持时效性。
Eric
关于智能体，我给你一个例子。我成立了一个基金会，该基金会资助了一个非营利组织。首先，如果在场有化学家，我并不真正了解化学。有一个叫做ChemCrow的工具，它是一个基于大语言模型的系统，学习了化学知识。他们使用这个系统生成关于蛋白质的化学假设，然后在实验室测试一晚上，之后它会学习。这大大加速了化学、材料科学等领域的研究进程。这就是智能体模型的一个例子。
Eric
然后对于“文本到行动”，可以理解为你拥有大量廉价程序员，对吧？我们可能还不清楚会发生什么——这是你的专长领域——当每个人都有自己的程序员时会发生什么。我并不是在谈论开灯和关灯的事情。想象一下——再举一个例子——比如，你不喜欢Google。于是你说，给我打造一个可以与Google竞争的搜索引擎。没错，你一个人就能打造一个能与Google抗衡的搜索引擎，搜索网页，有一个用户界面，照原样山寨一份，以一种有趣的方式在其中融入生成式AI，用30秒钟完成，看看效果如何。很多人因此相信，包括Google在内的许多大公司，可能会受到这种方式的威胁。我们拭目以待。
话题：AI 和虚假信息
斯坦福老师
有很多通过Slido提交的问题，有些得到了投票。这里有一个，我们去年讨论过这个问题。我们如何阻止AI影响公众舆论，制造假消息，特别是在即将到来的选举期间？有什么短期和长期的解决方案呢？
Eric
在这次即将到来的选举中，以及在全球范围内，大部分的假消息都会出现在社交媒体上。而社交媒体公司没有足够的组织能力来管理这些问题。以TikTok为例，有很多指控称TikTok偏袒某些类型的误导信息，而忽略其他类型的误导信息。许多人声称中国强迫他们这么做，但我没有看到任何证据。我觉得这是个混乱的局面。我们这个国家必须学会批判性思考。这对美国来说可能是个不可能的挑战。但是，别人告诉你的，并不一定就是真的。
斯坦福老师
事情可能会走向另一个极端，导致真实的信息也不再被人们相信吗？有些人称这为认识论危机，比如马斯克就说过，“我从未做过那件事。证明它。”
Eric
以唐纳德·特朗普为例。我认为我们社会存在信任问题。民主制度有时也会失败。我认为对民主制度最大的威胁是虚假的信息，因为我们会变得非常擅长制造这些虚假信息。当我管理YouTube的时候，我们在YouTube上面临的最大问题是有人上传虚假的视频，然后有人因此受害甚至丧生。我们有一个禁止涉及死亡信息的政策，令人震惊。我们致力于解决这个问题，但这是一项艰巨的任务。而且，这还是在生成式AI出现之前的事情。
斯坦福老师
嗯，所以——
Eric
我没有好的答案。
斯坦福老师
有一个技术解决方案，这并不是答案，但可能有助于缓解这个问题，我不明白为什么这种方法没有被更广泛使用，那就是公钥认证。当乔·拜登发表演讲时，为什么不像SSL那样进行数字签名呢？或者，比如那些名人或公众人物，他们不能有一个公钥吗？
Eric
对，这就是公钥的一种形式，然后有一种确定的方式了解系统如何——
斯坦福老师
嘿，当我向亚马逊发送我的信用卡信息时，我知道这是亚马逊。
Eric
我和乔纳森·海德一起撰写并发表了一篇论文，他一直在研究生成焦虑问题。这篇论文并未产生任何影响。他是个非常出色的传播者，我可能不如他。所以我得出的结论是，系统没有按照你所说的那样组织起来。
斯坦福老师
你有一篇论文赞同我们的做法。
Eric
也即是对你的建议的赞同。
斯坦福老师
好的。
Eric
我的结论是，总的来说，CEO们都在努力最大化收入。为了最大化收入，他们最大化用户参与度。为了最大化用户参与度，他们最大化煽动性内容。算法选择煽动性内容，因为这会带来更多的收入，对吧？由此，算法更倾向于推荐些极端的内容。这并不是单方面的问题。我并不是在这里做出任何偏袒的声明。这是一个问题。这个问题必须得到解决。
Eric
"在一个民主制度中，我对TikTok的解决方案是，我们之前私下讨论过，在我年轻时，有一个叫做""平等播放时间""的规则。因为TikTok实际上并不仅仅是社交媒体，它更像是电视，对吧？有程序在幕后控制你。根据统计，TikTok在美国的用户每天观看90分钟，每个用户平均观看200个TikTok视频。这是很大的数量，对吧？因此，政府必须采取某种形式的平衡措施。"
Eric
关于大语言模型对经济的影响以及学术界的选择
第四部份
学生提问：AI 对学术界的影响
学生
大语言模型的经济影响，比如劳动力市场的影响，比你最初预期的要慢。Chegg（在线教育技术公司）和一些服务人员受到了影响。你认为学术界应该获得AI方面的补贴，还是应该选择与业界的大公司合作？
Eric
我非常努力地推动为大学建立数据中心。如果我是这里的计算机科学系教师，我会非常失望，因为无法与研究生一起构建能够进行博士研究的算法。我被迫和这些公司合作。我认为这些公司在这方面并没有表现出足够的慷慨。我与许多你们认识的教师交谈，他们花费大量时间等待Google Cloud的配额。这是非常糟糕的情况。这个领域正在快速发展。我们希望美国能胜出，我们希望美国的大学——出于多种原因，我认为正确的做法是把资源提供给他们。我在这方面做了很多努力。
Eric
至于劳动力市场的影响，我将这个问题交给这里的真正专家。作为Eric教导的业余经济学家，我坚信那些接受过大学教育、从事高技能工作的人将会适应，因为人们将会与这些系统一起工作。我认为这些系统与以往的技术浪潮没有区别。那些危险的工作和不需要太多人为判断的工作将被取代。
学生提问：关于计算机教育的未来
学生
我对“文本到行动”及其对计算机科学教育的影响非常感兴趣。你认为计算机科学教育应该如何变革以适应新时代？
Eric
我认为计算机科学专业的本科生群体将始终有一位编程搭档。因此，当你学习你的第一个for循环时，你会有一个工具作为你的伙伴。这就是未来的教学方式，教授会讲解概念，但你会通过这种方式参与其中。这是我的猜测。
学生提问：关于非 Transformer 架构
学生
你提到了一些让你兴奋的非Transformer架构。我想其中一个被提到的是状态模型，但现在还有一种是更长上下文的模型。我更好奇的是你在这方面看到的情况。
Eric
我对数学的理解还不够深入，但我非常高兴我们为数学家们提供了工作机会，因为这里的数学太复杂了。但基本上，他们是在采用不同的方法来进行梯度下降和矩阵乘法，使其更快更好。Transformer架构是一种能够同时进行乘法运算的系统化方式，这是我理解的方式。它和其他的很像，但数学部分不同。我们将继续关注这些新的数学进展。
学生提问：关于中美关系与国家安全
学生
你在关于国家安全的论文中提到，中美两国在现代架构的帮助下处于关键地位。接下来的10个国家，以及稍后的一组国家，都是美国的盟友，或者与美国盟友关系密切。我很好奇你对这些国家，尤其是那些中间地带但并非正式盟友的国家有什么看法。它们有多大可能愿意加入我们的安全阵营？是什么因素可能会阻碍它们加入？
Eric
最值得关注的国家是印度，因为顶尖的AI人才从印度来到美国，我们应该让印度保留一部分顶尖人才。他们没有我们这里如此丰富的培训设施和项目。在我看来，印度是这一领域的重要摇摆国家。日本和韩国显然站在我们这一边。台湾在硬件方面很出色，但他们的软件开发较弱。在全球范围内，其他大国的选择并不多。欧洲因为欧盟的政策和管理机制陷入困境，这并不是什么新鲜事。我与他们斗争了10年，但他们仍然有许多限制，导致我们在欧洲开展研究非常困难。法国还有一些机会，但我不太看好德国。其余的国家都不够有影响力。
学生提问：关于编程与 AI
学生
我是编译器工程师。考虑到你设想这些模型将具备的能力，我们还需要花时间学习编程吗？
Eric
是的，这是一个老生常谈的问题，为什么你已经会说英语还要学习英语呢？是为了让你的英语更好。你确实需要理解这些系统的工作原理，我对此非常坚定。
学生提问：关于分布式计算与大模型训练
学生
你是否探索过分布式环境？虽然构建大型集群很困难，但MacBooks的性能很强大。你认为类似“Folding@home”的想法适合训练吗？
Eric
是的，我们对此进行了深入研究。算法的工作方式是你有一个非常大的矩阵，基本上是一个乘法函数。系统的速度完全受限于内存到CPU或GPU的传输速度。Nvidia的下一代芯片已经将所有这些功能整合到了一块芯片中，如今的芯片已经足够大到需要将它们都粘合在一起。短时间内，分布式计算在训练大语言模型方面的进展可能有限。
学生提问：关于数据隐私与版权
学生
在ChatGPT发布后，OpenAI因使用他们的作品进行训练而被《纽约时报》起诉。你觉得这种情况会如何发展？这对数据隐私有何影响？
Eric
我曾经从事过大量的音乐版权工作。我了解到在60年代，有一系列诉讼最终达成了一项协议：每次播放你的歌曲，你都能获得一定的版权费。我猜AI领域可能会有类似的情况。可能会有很多诉讼，最后可能会达成一种协议，要求你必须支付你的一部分收入，以便使用类似ASCAP BMI的版权管理机构。
学生提问：关于 AI 领域的反垄断
学生
现在看起来几个主要玩家在AI领域占据主导地位，他们会继续维持这个地位。这些公司似乎与那些受到反垄断法规关注的大公司有所交叉。你对这两种趋势有何看法？像是监管部门会否对这些公司进行分拆？这将会对现状产生怎样的影响？
Eric
在我的职业生涯中，我曾帮助微软避免被拆分，结果它确实没有被拆分。我也曾努力阻止谷歌被分拆，目前来看，谷歌还未被分拆。因此，从我的观察来看，这些公司被分拆的趋势并不明显。只要这些公司避免成为像约翰·D·洛克菲勒那样的企业巨头，政府可能不会采取行动。这些公司占据主导地位的原因是他们有足够的资本来建设数据中心。
学生提问：关于技术差距对全球的影响
学生
这一切将会把那些不参与前沿模型开发和无法获取计算资源的国家带向何方？富国越来越富，穷国尽力而为。
Eric
事实上，这就是富国的游戏，对吧？巨大的资本，众多技术过硬的人才，强有力的政府支持。有些国家，比如印度，将会成为这一领域的重要参与者。其他国家可能需要找到合作伙伴或与其他国家联合。
话题：对年轻人的建议
斯坦福老师
最后一个问题，Eric。你花了很多时间帮助年轻人，他们正在创造大量财富，你对在座的各位有什么建议吗？他们正在为这门课写商业计划书或撰写政策提案、研究提案，未来职业发展方面你有什么建议？
Eric
我在商学院教过一门关于这个主题的课程。快速制作原型的能力真的非常重要，成为创业者的一个难点在于一切都发生得非常快。现在，如果你不能在一天之内利用这些工具构建你的原型，那你就需要考虑一下了，因为你的竞争对手正在这么做。所以我的建议是，尽快使用这些工具把你的想法制作成原型。这是关键，因为在其他公司、其他大学，或你从未去过的地方，一定有人正在做和你一样的事情。
后续对话：其一
斯坦福老师
实际上，让我再强调一下最后一点，因为我觉得在第一节课中我没有谈到关于使用大语言模型的事情，这在这门课的作业中是可以接受的，但必须充分披露。所以，当你使用它们，如果你在完成每周作业或期末项目时使用了它们，就像你向你友好的叔叔或同学寻求建议一样，你也应该这样做，或者如果你有笔记需要包含在内。
斯坦福老师
所以我想谈一谈关于 AI，特别是 GPT，这对商业及其影响意味着什么。但在我们讨论这个之前，我想看看你们是否有任何问题想要跟进，特别是关于 Eric 提到的内容，我会尽量表达他的想法，我们可以讨论一下这些话题，然后再继续。好的，你请说。
学生1
我想问的一个问题是关于监管的。如果目标是保持领先地位，如何创造正确的激励机制，使每个人，无论是盟友还是非盟友，都有动力去遵守？
斯坦福老师
你是指在竞争中的公司之间吗？是公司还是国家？
学生1
是国家，比如美国和欧盟。这是否不会成为那些选择遵循法规的国家或公司发展的阻碍？
斯坦福老师
这是非常棘手的问题。Barry J. Nalebuff 写了一本叫做《合作竞争》的书，其中讨论了这些问题。确实有些情况下，监管可以帮助公司和整个行业生存下来。所以监管并不一定会减缓进展。标准就是一个很好的例子，明确标准反而能帮助竞争。
斯坦福老师
我和许多公司的高级管理人员进行过交谈，他们确实希望在某些领域有一些共同的标准，有时候在一些危险领域还存在“竞相降低标准”的现象。谷歌的团队曾表示，他们没有更快推进的另一个原因是，他们担心大语言模型可能会被滥用或存在危险，但他们在某种程度上感到被迫加快步伐。
斯坦福老师
我还与另一家大公司的员工谈过，他们说，“我们本来并不打算发布这个功能，但现在竞争对手都在做，所以我们不得不也发布。”这也是为什么在某些情况下，可能会有协调监管的兴趣，但显然，更常见的情况是，监管被用来阻碍竞争。例如，很多人认为，一些大公司反对开源和推动更广泛的开源的部分原因，就是他们想要放慢竞争对手的步伐。所以，这两种情况都存在。
学生2
好的。我想跟进一下刚才的讨论：我们还应该学编程吗？我们还需要学习英语吗？这些技能还会有用吗？
斯坦福老师
Eric 的回答是肯定的，比如受过大学教育的高技能工作或任务仍然是安全的，但其他的，比如停车管理等，可能就不能保证了。这种情况可能有一些主观因素影响。
斯坦福老师
这个话题很有趣，或许我们可以在接下来的几分钟内再讨论更多。但确实值得思考的是，AI 系统到底是在替代人类的工作，还是在补充人类的工作。在编程领域，目前看起来，AI 似乎对最顶尖的程序员并没有太大的帮助，反而对中等水平的程序员非常有帮助。但如果你对编程一无所知，它同样也帮不上什么忙。所以这有点像一个倒 U 型。
斯坦福老师
可以理解这种情况，因为如果你连AI生成的代码都无法理解，那这些代码往往会有问题，或者并不完全正确。如果你不能理解代码的运行逻辑，那么你也无法有效地使用它。另一方面，对于顶尖的程序员来说，生成的代码仍不够优秀，所以才会出现这种倒 U 型曲线。但这也就意味着，如果你完全不懂代码，你仍然需要一些基础知识，才能让AI的帮助变得有用。我认为这也适用于当前的很多应用，你需要有一些基本的理解，才能最大程度地利用它。
斯坦福老师
我觉得这也是一个值得探讨的问题：这种情况是否会一直存在。在上一节课中，我简要介绍了从 0 级到 5 级的自动驾驶汽车。这其实也是我们可以讨论的一个话题，我在试图梳理，如果把这种模式应用到经济中的所有任务上，那它们会经历多少级别的变化？
斯坦福老师
就自动驾驶汽车而言，我们目前还没有真正达到第5级，虽然我不知道你们当中有多少人坐过 Waymo 的自动驾驶汽车。这款车的表现相当好，但我和 Sebastian Thrun 一起乘坐时，他说目前的运营成本非常高。可能每辆车的运营成本会亏损 50 到 100 美元。他并不确定具体的数额。因为他已经不在那儿了，虽然他是项目的创始人，但现在不再参与。运营成本太高，使得这款车并不实用。或许随着时间的推移，激光雷达的成本会降低，使得运营成本会降低。
斯坦福老师
我们有很多 2 级、3 级甚至 4 级的自动驾驶汽车，这些车辆还需要人类的参与。其他很多任务也是如此，比如编程，我刚才已经提到过了。
斯坦福老师
另一方面，关于国际象棋，在前一张幻灯片中我提到了一种有时被称为“高级国际象棋”或“自由式国际象棋”的概念。加里·卡斯帕罗夫在 1997 年输给深蓝之后，他发起了一系列比赛，让人类和机器可以合作。在相当长的一段时间里，比如在我 2012 年或 2013 年做TED演讲时，当时的情况是，人类与机器合作可以击败深蓝或任何国际象棋计算机。因此，当时最强的国际象棋选手是这些人机组合。
斯坦福老师
但现在情况已经不同了。像 AlphaZero 这样的程序，即使有人的参与，对他们来说毫无益处。反而可能对棋局造成干扰。所以，它经历了从机器什么都做不了，到人机合作，再到完全自主的阶段，我不太确定，大概用了 20 年的时间吧。
斯坦福老师
如果有人想做研究项目，或者你们现在有想法的话，可以探讨一下，哪些经济任务会处于那个中间地带。因为那个中间地带对我们人类来说是一个不错的区域，机器可以帮助我们，但人类在创造价值方面依然不可或缺。在这个区域里，可以提高生产力、创造更多财富和提高绩效，同时也更有可能实现共享繁荣。因为劳动力的分布性使得其更广泛，而技术和资本正如 Eric 刚才提到的，可能会高度集中。
学生3
我想问一个相关的问题。Eric 还提到我们在芯片制造方面有一个10年的计划。
斯坦福老师
是的，我对此感到惊讶。
学生3
是的，我觉得有趣的是，作为一名劳动经济学家，文献和新闻中对此有一个积极的信号，如果我们正在将所有的芯片制造都转移到美国国内，那么这可能会带来蓝领工作的复兴吗？我想知道你对智能机器人模型或人类劳力有什么看法。
斯坦福老师
嗯，我认为这不会有太大的影响。你们当中有多少人参观过芯片工厂？有人去过吗？有几个人去过。工厂里有多少工人在工作？
学生4
是台积电吗？是纽约大学的人去的，所以我不确定。
斯坦福老师
好吧，答案是零。他们不让人们进去的原因是我们人类太笨拙、太不卫生，所以全部都是机器人操作。所有设备都在密封环境中运行。因此，确实有人需要运送物资等工作。如果机器人倒了或者出现了问题，他们得穿上像太空服一样的防护服进去调整，然后再出来，希望没有弄坏什么。所以，基本上是全自动化作业。
斯坦福老师
对，我认为这需要一些更复杂的劳动力，但我不认为这会有太大的蓝领工人复兴。实际上，苹果之所以将 MacBook 的生产线转移到德克萨斯，不是因为德克萨斯的劳动力便宜，而是因为他们实际上不再需要太多劳动力。所以这个过程很像做体力劳动。因此，美国制造业虽然在产出方面增长明显，但在就业方面却并未有多大增长。
学生5
你认为 AI 智能体或文本转行动模型在明年会出现转折点吗？
斯坦福老师
哦，当然。不，不是。Eric说的这些，我也听说过类似的东西。他很好地总结了这三大趋势。我之前已经分别听说过这些趋势，但他能够将它们整合起来确实不错。
斯坦福老师
今天早些时候，我和吴恩达谈过，他一直在强调，特别是预计在 2024 年将会迎来智能体的大潮，吴恩达老师描述得很好，就像你们都知道的，如果你让一个大语言模型写一篇文章，它会一个字一个字地生成，从头到尾一次性完成，效果还不错。但想象一下，如果你写文章时不能使用退格键，也不能先做大纲，只能直接写完。现在的 AI 智能体会说，好的，首先我们需要制定一个大纲。这是写文章的第一步。接着，填充每一段内容，再回头检查文章的流畅性。然后，再看看语气是否合适，这是否符合目标读者的水平。通过这样反复迭代，你可以写出更好的文章或完成其他任务。这是一场真正的革命，通过这种方式，你可以把很多事情做得更好。
斯坦福老师
还有关于上下文窗口的事情，也非常重要。所以我引用一些我认识的聪明人的话，Eric Horvitz，我上周在 GSB 的一个讨论小组上与他同台，有些人可能在场。他提出了一个很好的分类法。人们在问他关于微调的问题，我记得是 Susan 问的。他说，其实有三种方法可以让模型更加个性化。第一种是微调，也就是进一步训练模型。第二种是使用更大、更强的上下文窗口。第三种是使用 RAG（检索增强生成）或类似的技术，它能够访问外部数据。
斯坦福老师
但现在这些上下文窗口似乎效果非常好。我想，正如 Eric 所说，我们本以为这很难。也许 Peter 可以解释一下。但不管怎样，现在我们能构建更大的上下文窗口了，现在，你可以输入一整本书或一整套书籍。你可以输入各种各样的信息。这能给你提供所有的上下文环境。所以这是相当革命性的。这为我们带来了许多之前没有的能力，包括让信息实时性更强，就像 Eric 提到的那样。
后续访谈：其二
斯坦福老师
这是一个很好的问题。我的意思是，虽然确实有更多的资本投入，但这也引发了一些问题和评论。为什么所有这些资本都投向 AI，而不是其他地方呢？
斯坦福老师
我认为，你知道，如果你观察历史的发展轨迹，有时看起来很平滑，但如果仔细观察，就会发现很多跳跃式的发展。有一些重大的发明和小的创新。
斯坦福老师
Andrew Karpathy 曾表示，他曾研究物理学，要在物理学上取得重大进展，成为顶尖的物理学家，你必须非常聪明，学习很多东西。也许如果足够幸运，你可以做出一些微小的贡献，有些人确实做到了。但他表示，现在在人工智能和机器学习领域，我们似乎正处于一个有大量“低垂果实”的时代，已经有了一些重大的突破。相比于像摘树上所有果实那样耗尽资源，现状更像是组合数学。
斯坦福老师
"在讨论第二次机器时代时，人们提到了""积木""这个概念。当你把两块积木或两块乐高积木组合在一起时，你可以创造出越来越多的新东西。现在我们似乎正处于这样一个充满机会的时代，人们也开始意识到这一点。一个发现往往会带来另一个发现，进而产生新的机会。由于这个原因，越来越多的投资和人力被吸引进来。"
斯坦福老师
在经济学中，有时候更多的资源投入会导致边际收益递减，比如在农业或采矿业中。然而在别的地方，资源的投入则可能带来增长的回报。更多工程师来到硅谷，会让现有的工程师变得更加有价值，而不是更不值钱。我们似乎正处在一个这样的时代。额外的投资和培训资金也使这些技术变得越来越强大。我不确定这种情况会持续多久，但现在看来，有一些技术已经走进了这个极其丰饶的时期，并且带来了积极的反馈和支持。
斯坦福老师
我们似乎正处于这样的时代。因此，现阶段进入这个领域并接受培训的人，往往能够在相对较短的时间内做出相当重大的贡献。我鼓励你们所有人，我认为你们现在正在走在正确的道路上。
学生7
并不是每个人都有机会参与到关于 AI 的讨论和辩论中来。因此，我想了解你对非技术背景利益相关者 AI 素养的看法，不论他们是需要做出一定见解判断的政策制定者，还是普通大众，比如使用科技产品的用户。你觉得在解释技术基础和讨论那些看起来很抽象但不一定马上看出答案的影响时，应该怎么平衡呢？
斯坦福老师
这是个难题。我必须说，最近在国会和其他地方的人们对这个话题的关注度有了显著提高。过去他们对此并不感兴趣，现在每个人都在试图更好地理解它。我认为有很多领域人们可以做出贡献。他们可以在技术层面上做出贡献，但如果让我选择，我认为当前更大的瓶颈在于商业和经济层面。即便你在技术上做出了重大贡献，要将这些转化为能够影响政策的结果，还有一段距离。
斯坦福老师
因此，如果你对政治学感兴趣，或者是一个政治家，理解民主、错误信息、权力集中等方面的影响，这些问题目前都还没有得到很好的理解。我不认为计算机科学家一定是理解这些问题的最佳人选，但要了解足够的技术基础，明确技术可能实现的方面，接下来需要思考这些动态，就像亨利·基辛格与埃里克·施密特在书中所做的那样。
斯坦福老师
如果你是经济学者，需要去思考劳动力市场、集中度、不平等、就业、生产力以及驱动生产力的各种影响。这些都是当前非常值得深入探讨的课题。你可以去研究很多不同的领域，在那里你可以充分理解这项技术可能的能力，然后进一步思考其可能产生的影响。我认为这就是我们可以获得最大收益的地方。
斯坦福老师
让我给你举一个更具体的例子，这是我上周原本打算谈及的一个话题。电力也是一种通用技术。通用技术有一个特点，它们本身就是一种重要的创新，但通用技术真正的力量之一，正如我所说的 GPT，是它们提供了互补性，它们能够激发出互补的创新。比如，电力带来了灯泡、计算机和电动机，而电动机又推动了压缩机、冰箱和空调的发明。你可以从这一项创新中引发一系列连锁的创新。而大部分的价值来自这些补充性的创新。
斯坦福老师
人们常常没有意识到的是，一些最重要的互补创新其实是组织创新和人力资本的互补。以电力为例，当电力首次引入工厂时，密歇根大学的教授 Paul Davis 在斯坦福研究了这些工厂的变化，令人惊讶的是，工厂电气化后，他们的生产力并没有比之前由蒸汽机驱动的工厂有显著提高。他觉得这很奇怪，因为电力看起来像是非常重要的技术。这只是一种风潮吗？
斯坦福老师
显然并不是。使用电力之前的工厂是由蒸汽机驱动的。他们通常会在工厂中心位置放置一个大蒸汽机，然后通过曲轴和皮带驱动所有设备，并尽可能地让设备靠近蒸汽机，因为如果曲轴过长，可能会因为扭力而断裂。当他们引入电力时，他发现在一个又一个的工厂里，他们会拆除蒸汽机，然后找到最大的电动机，放在蒸汽机原来的位置，然后启动它。但这并没有真正改变整体的生产效率。很明显这并不是一个巨大的改进。
斯坦福老师
"于是他们开始在新的地点从零开始建设全新的工厂。那些新工厂长得怎么样？跟旧的工厂一模一样。他们会采用同样的模型，一些工程师会画出蓝图，在应该放蒸汽机的地方打上一个大大的 X，说：""不，不，这里应该放一个电动机，"" 然后他们就开始建设全新的工厂。然而，这并没有带来显著的生产率提高。"
斯坦福老师
大约 30 年后，我们才看到一种根本不同的工厂模式。这种工厂没有中央电源，也就是说，没有在中间放一架大型电动机，而是采用分散式电力供应，因为电机，如你们所了解的，可以做得很大，也可以做得中等，也可以做得非常非常小，你可以用各种方式将它们连接起来。于是，他们开始让每一件设备都有自己独立的电机，而不是依赖一个大电动机。他们把它称为单元驱动，而不是组驱动。
斯坦福老师
我在哈佛商学院的贝克图书馆读过 1914 年的一些书，当时关于单元驱动和组驱动的讨论非常激烈。当他们开始使用单元驱动时，他们就建立了一系列新的工厂。工厂通常只有一层，设备的排列不再基于动力需求，而是基于其他因素如物料的流动，于是流水线系统开始形成。这带来了生产力的大幅度提升。比如生产力提高一倍，有时甚至三倍。
斯坦福老师
所以，教训不是说电力是一种短暂的风潮，或者是失败的、被过度炒作的。电力是一种非常有价值的基础技术。但只有在他们进行了流程创新和组织创新，重新思考生产方式后，才真正实现了巨大的回报。
斯坦福老师
这样的故事很多。我只讲了一个。我们时间有限，我还可以告诉你其他的例子。但在我一些书和文章中，如果你看看蒸汽机和其他技术，会发现类似的代际滞后期，经过几代人的努力，人们在数十年后才意识到这项技术可以让你做的事情完全不同于你过去常做的事情。我认为 AI 在某些方面也有点类似，将会出现很多的组织创新，会有新的商业模式以及我们之前从未想到过的经济组织方式。目前，人们大多是在进行技术改进。我可以列举一系列与技术互补的技能变革。
斯坦福老师
虽然我不知道所有的变革是什么，需要创造性地去思考这些问题，但这就是当前的差距所在。以早期的电脑为例，组织资本和人力资本的投资实际上比硬件和软件高出 10 倍，如果你看看硬件和软件的投资规模。这是一个非常大的问题。
斯坦福老师
话虽如此，我愿意稍微调整一下我的看法，因为像 ChatGPT 和其他一些工具，它们被迅速地采用，并且在短时间内改变了很多事情，部分原因是你不需要像过去那样深入学习 Python。你只需要用自然语言就能完成很多事情，通过将这些工具应用到现有的组织中，可以获得很大的价值。因此，某些方面的变化确实发生得更快了。在你可能读到的一些论文中，我们看到生产率在短时间内提高了15%、20%、甚至30%。但我怀疑，一旦我们找到这些互补的创新，生产率的提升会更大。
斯坦福老师
这就是我对你问题的长篇回复。这不仅仅是技术技能的问题，还包括重新思考所有其他相关问题的方式。因此，对于那些在商学院或经济学领域的人来说，有很多机会可以重新思考你们的领域，因为你们现在手中有了强大的技术。
学生8
你似乎比 Eric 对转型速度更为谨慎，我理解的对吗？
斯坦福老师
嗯，我会在两件事情之间做区分。我会听取他和其他人对技术的观点。我们将从其他几位专家那里听到他们的看法，有些人像他一样乐观，甚至对技术更乐观。当然，也有一些人对此并不那么乐观。但仅有技术是不足以创造生产力的，你可能拥有一项极其出色的技术，但由于种种原因，A，可能是因为人们找不出有效的使用方式。另一种可能是受到了监管的限制。
斯坦福老师
我有一些计算机科学的同事，他们开发了更适合读取医学图像的放射科系统。但因为文化原因，它们没有被采用，人们不愿接受它们。还有安全方面的考虑。
斯坦福老师
当我分析哪些任务 AI 可以提供最大帮助，以及哪些职业受影响最大时，我惊讶地发现飞行员的排名竟然靠前。但我认为很多人并不会愿意乘坐无人驾驶的飞机，他们更喜欢有人类飞行员在飞机上。因此，有许多不同的因素可能会显著减缓这个过程，我认为这是我们需要意识到的。如果我们能解决这些瓶颈问题，可能对生产力的帮助会超过单纯改进技术。
学生9
Eric 对大学和数据中心的观点很有意思。这引发了一个更宏大的问题......
斯坦福老师
我本来想问他，为什么不直接捐钱？
学生9
这就像是在探讨大学在生态系统中应扮演什么角色？显然，这里有更大的背景，我确信所有的计算机科学教授都意识到了这一点。
斯坦福老师
我来回答这个吧，我认为如果有更多的资金支持会更好。联邦政府有一个叫“国家AI资源”的项目，虽然它提供了一些帮助，但资金规模只有几百万美元，顶多几千万美元，而不是几十亿美元，更别说是几千亿美元了。尽管 Eric 在课前告诉我，他们正在推动一个可能更大的项目。他正在推动一个更大的项目。我不确定这能否成功。这个项目是为了训练这些非常大的模型。
斯坦福老师
我曾与杰夫·辛顿进行过一次非常有趣的对话。大家都知道，杰夫·辛顿是深度学习的教父之一。我问他在工作中，他认为哪种硬件最有用。他坐在他的笔记本电脑旁边，轻轻地拍了拍他的 MacBook。这让我想到，大学或许在另一类研究中有竞争优势，这类研究不是训练价值数十亿的模型，而是创新新的算法，比如那些可能超越 Transformer 的算法，还有很多其他方式可以让人们做出贡献。所以或许这里存在劳动分工。我完全支持并赞成我的同事申请更多的 GPU 预算。但学术界的贡献未必总是在这里。有些贡献来自于新的想法、不同的视角和新的方法。这可能是我们的优势所在。
斯坦福老师
我上周与 Sendhil Mullainathan 一起吃晚餐。他刚从芝加哥搬到了麻省理工学院。他是一名研究员。我们在谈论大学的相对优势是什么。他认为，其中之一就是耐心。在大学里，有些人专注于非常长期的项目，像是有人在研究核聚变。研究核聚变的人已经工作了很长时间，不是因为他们会在今年或十年后从建造核聚变电站中赚到很多钱，甚至也许二十年后都不会。我不知道核聚变需要多长时间。但这是一件他们愿意长期投入的事情，即使时间线更长。对公司来说，承受这样长时间线的项目要困难得多。因此，大学在这方面或许有一定的相对优势或者说分工。
学生10
我是凯文。我对 AI 的涌现能力感到好奇。好的。Eric 似乎更倾向于讨论架构差异和设计更好的模型，而不是上次课我们讨论的规模定律。我想知道你怎么看......
斯坦福老师
嗯，他提到了全部三个。你们还记得规模定律吗？它有三个部分。我记得我提到了 Dario 和他的团队的规模定律，要有更多的算力，更多的数据，以及算法的改进，例如增加参数。所有这三个部分......我认为我听到 Eric 说所有这三个部分都很重要。但是不要忽视最后一个部分，新的架构，所有这三个部分，我认为，都很重要。
学生10
我们离拥有通用人工智能类型的系统，像这些脱离实际曲线的模型，有多近呢？这个问题可以吗？
斯坦福老师
Eric 并不认为我们离拥有通用人工智能类型的系统很近，虽然我不认为这是一个明确的定义。实际上，这也是我本来想问他的问题之一，但时间不够了。如果能听他详细描述一下就好了。
斯坦福老师
但当我与他交谈时，发现这个概念并不是那么明确的。在某种程度上，通用人工智能已经出现了。Peter Norvig 写了一篇名为《AGI 已经出现》的文章。我不知道这篇文章是否在阅读材料里。如果没有，我会把它加入。这是一篇与 Blaise Agüera y Arcas 合作的有趣的小文章。许多二十年前人们认为通用人工智能应该具备的能力，现在的大语言模型已经实现了。虽然可能没有做得那么完美，但它确实在以一种更通用的方式解决问题。另一方面，显然目前有很多事情它们做得不如人类。
斯坦福老师
令人意外的是，物理任务是人类目前具备比较优势的领域。你们可能知道 Moravec 的悖论，Hans Moravec 指出，通常三岁或四岁的孩子能做的事情，比如扣纽扣或上楼梯，对机器来说却很难。然而，很多博士都觉得困难的事情，比如解决凸优化问题，机器却往往能做得很好。所以，这并不是一个非黑即白的情况......人类觉得简单的事情电脑却觉得困难，反过来，电脑觉得简单的事情，人类却可能觉得困难。这两者并不是在一个相同的尺度上。