离开OpenAI，独自创业之后，Karpathy对AI更乐观了
「很多人认为特斯拉只是一家汽车公司，这种看法有点误导。特斯拉其实是一家大规模的机器人公司。」
在最近一期 No Priors 的采访中，AI 大神 Andrej Karpathy 这么说到。
作为 OpenAI 的创始成员，他曾负责特斯拉 Autopilot 项目，现在把目光转向 AI 教育，创立了新公司 Eureka Labs。
在这期访谈中，Karpathy 从自动驾驶谈到人形机器人发展，从 AI 数据瓶颈讲到 AI 与人脑的关系，以及基于他自己的 AI 教育平台 Eureka Labs，谈了谈 AI 对未来教育带来的巨变。
一些有意思的点：
Tesla 面临的是软件问题，而 Waymo 面临的是硬件问题
人形机器人的第一批用户最好是企业内部的B2B应用。
神经网络架构不再是瓶颈了，数据才是主要问题。
现在的模型浪费了很多容量在记住一些不重要的东西上，10 亿参数以下的小模型是未来的主流。
未来大模型的工作模式会像一个「大模型公司」。你会有各种不同能力、专注于独特领域的模型生态。
未来的孩子应该去学数学、物理和计算机科学，在重要的学习阶段，应该专注于那些操作密集型的任务，而不是记忆密集型的任务。
文章编译自 No Priors，Founder Park 略有调整。
01
人形机器人的第一个落地场景是什么？
NoPriors：你觉得人形机器人的第一个应用领域会是什么？Karpathy：很多人可能会想着让机器人去洗衣服、做家务什么的，但我觉得那会很晚才实现。我不认为 B2C 是个好起点。因为我觉得，我们不能让机器人去做一些可能会不小心撞到奶奶之类的事，这样的话法律责任就会非常复杂。我认为最好的第一批客户就是公司自己。特斯拉可能会先走这条路。第一个客户是自己，可以先在工厂里使用它，比如做一些物料搬运的工作。这样，你就不用跟第三方签合同，避免了涉及律师的麻烦。你可以自己先孵化它，然后第二步再去做 B2B。你可以去那些有大型仓库的公司，我们可以帮他们处理物料、签合同、设置围栏，做所有这些事情。等你在多家公司验证过后，我觉得那时才能开始进入 B2C 应用领域。我相信未来我们会看到 B2C 的机器人出现，比如像 Unitree（宇树科技）这种公司推出的产品。我很想要他们的 G1 机器人，可能还会有一些人在这些平台上建立一个生态系统。总之，最初肯定还是会涉及大量的物料搬运，逐步向更具体的应用发展。
NoPriors：你以前在特斯拉负责自动驾驶业务，如何看待现在自动驾驶的能力发展路径？我们多快能看到自动驾驶的普及？
Karpathy：是的，我在自动驾驶领域花了大约五年的时间。我觉得自动驾驶其实和 AGI 在某种层面上是相似的。或许是因为我对这两个领域都很熟悉，但我觉得我们在自动驾驶方面已经触及到了一点 AGI，现在一些自动驾驶已经可以做到带你在某个城市里随意地逛了（而不需要在指定的道路和路线上）。十年前，我就坐过 Waymo，一位在那儿工作的朋友带我绕着街区开了一圈。十年后，Waymo 从只能试乘变成一个用户可以付费使用的成熟产品。
NoPriors： 当年限制自动驾驶发展的是监管，还是技术？你认为技术是什么时候成熟的？是最近吗？
Karpathy：我认为这其中有很多是受监管因素的影响。但我确实认为，从某种意义上来说，我们已经在自动驾驶领域实现了通用人工智能。然而，它还没有实现全球化。所以你看到了 Demo，你可以体验它，但世界还没有因此而改变。这还需要很长时间。就算你有一个在某区域能运行演示系统，但世界的其他地方你还是去不了。这还需要很长时间。所以，距离真正的全球化，自动驾驶还有很长的要走。
在自动驾驶领域，大多数人觉得 Waymo 比 Tesla 领先。但我个人认为，其实 Tesla 反而领先 Waymo。虽然看起来并不是这样，但我对 Tesla 和他们的自动驾驶计划非常看好。
在我看来，Tesla 面临的是软件问题，而 Waymo 面临的是硬件问题，而软件问题要好解决得多。Tesla 已经在全球铺设了大量的汽车，规模相当大，而 Waymo 做不到。
我昨天刚试驾了最新版的 Tesla 自动驾驶系统，现在它已经可以带我到任何地方了。我必须承认，他们最近改进得非常好。我最近一直在用这个系统，它实际上运行得相当不错。
NoPriors： 你觉得我们离解决软件问题的关键点还有多远？什么时候能达到某种程度的平衡？如果你看看 Waymo 的车，他们装了很多非常昂贵的 LiDAR 和其他传感器，这些传感器支持他们的软件系统。而 Tesla 的方法是只用摄像头，这样可以大大降低成本和复杂性，还能适用于各种车型。你觉得这种转变什么时候会发生？
Karpathy：未来几年吧。不过，我不确定大家是否知道，其实特斯拉也用过很多昂贵的传感器，在训练阶段使用这些传感器，但是没有大规模推广。这些都是在训练阶段完成的，然后他们把所有的数据浓缩成一个只基于摄像头的部署包，这就像是在传感器和成本上做了套利。我觉得这其实是个很聪明的策略。
NoPriors：最近好像有个趋势，就是向端到端深度学习的转化。你能谈谈这个问题吗？
Karpathy：是的，我觉得这一直是特斯拉从一开始就计划好的，用神经网络逐步取代整个系统栈。刚加入时，系统里有很多 C++ 代码。而现在车上运行的测试包里 C++ 代码已经少了很多，神经网络已经逐渐渗透进整个系统了。
最开始，它只是处理图像层面的检测。接着，它处理多帧图像，给出一个预测。随着时间推移，多帧图像融合后给出更准确的预测。你会发现，C++ 代码逐渐减少，最后只剩下转向命令了。所以我觉得特斯拉是在逐步取代整个系统栈。
据我了解，Waymo 现在其实不是这么做的，他们试过，但最后没实现。不过我也不确定，因为他们没公开谈论这个问题。但我从根本上相信这种方法。如果你这么想，我觉得这就是最后的拼图。
我认为像特斯拉这样的端到端系统，在大约 10 年内，可能就是一个完整的神经网络了。视频流输入神经网络，最后直接输出控制指令。这种端到端驾驶，只是模仿人类的行为，用很少的监督数据去训练一个庞大的神经网络。对于几亿个参数来说，这种信号太少了。所以，这些中间表示可以帮助开发各种特征和检测器，让端到端部分变得更容易。
NoPriors：你离开特斯拉之前还参与过他们的人形机器人项目。这个项目有什么技术是可以转移到自动驾驶的吗？
Karpathy：基本上，所有东西都能转移过来。我觉得很多人可能没意识到这一点。
NoPriors：这可真是个大胆的说法。这两个项目看起来完全不一样啊。
Karpathy：其实，我觉得车在自动驾驶中基本上就是个机器人。
很多人认为特斯拉只是一家汽车公司，这种看法有点误导。特斯拉其实是一家大规模的机器人公司。规模化本身也是一个完全不同的变量。他们不是在造单一的产品，而是在造可以制造产品的机器，这完全是两回事。所以，我觉得特斯拉是一家大规模的机器人公司。
从汽车到人形机器人的转变其实没那么难。早期版本的 Optimus 机器人甚至以为自己是辆车，因为它用的电脑和摄像头跟车完全一样。特别有趣的是，我们在机器人上运行汽车的神经网络，而它在办公室里四处走动。它试图识别「可驾驶的空间」，但现在我想那些空间应该算是「可行走的空间」了。
NoPriors：但你依然缺少很多行动数据。
Karpathy：是的，肯定会缺少数据。不过我还想说，其实有很多东西是可以转移过来的。
比如说 Optimus 机器人项目的启动速度，这让我非常惊讶。因为当 Elon 一宣布我们要做这个项目时，大家马上就带着所有合适的工具上手了。所有的东西很快就准备好了，从 CAD 模型到供应链的东西。就像是把汽车重新配置成《变形金刚》里的那种机器人。它们只是重新组合和排列，但其实都是相同的东西。在智能方面，有很多可以转移的东西。不仅是具体的神经网络，还包括整个方法论、团队，以及所有的协调和大家使用的方法。
NoPriors： 你认为相对于未来，现在的机器人技术里缺少了什么关键技术？
Karpathy：我不确定我是否对这个问题有十分清晰的看法。我确实认为在人形机器人这种形态中，下半身的控制可能不太适合通过示范来进行模仿学习。因为下半身涉及很多像倒立摆控制这样复杂的力学问题。而对于上半身，我觉得可能需要更多的远程操作、数据收集和端到端的处理。
02
架构不是限制，
数据稀缺才是重点
NoPriors：大家会有关于数据壁垒以及规模进一步发展的成本问题的讨论。你怎么看这个问题？
Karpathy：首先我不认为神经网络架构再从根本上限制我们了。它已经不是瓶颈了。以前 Transformer 是一种瓶颈，但现在它已经不再是瓶颈了。现在我们更多地在讨论什么是损失函数，数据集在哪里。这些问题几乎成为了瓶颈。
这不再是一个基于你想要它变成什么而重新配置的通用组织。这就是为什么许多研究已经转移到了这个领域。很多公司和其他应用这种技术的企业不再怎么考虑 Transformer 了。他们不再怎么考虑改良架构。
Llama 的发布中，Transformer 并没有太大的变化。我们增加了 RoPE 相对位置编码，这是主要的变化。其他一切都无关紧要，像是一些小东西的 3% 的提升而已。但实际上，RoPE 是唯一插入的东西。这就是 Transformer 在过去五年左右的变化。所以在这方面没有太多的创新。大家都认为这是理所当然的，让我们训练它，等等。然后大家主要在数据集和损失函数的细节上进行创新。所以所有的活动都集中在那里了。
NoPriors：在那个领域，以前我们用的是互联网数据，现在互联网数据已经用完了。所以问题主要围绕合成数据或者更昂贵的数据收集。
Karpathy：现在很多活动都集中在大型语言模型上。其实互联网数据并不是用来训练的理想数据，你真正想要的，应该是你大脑里的内心独白和大脑中的思维轨迹。比如说，当你解决问题时，大脑里的推理路径。如果我们能有十亿个这样的路径，那么我们基本上就接近 AGI 了。但我们现在根本没有这样的数据。
所以我认为目前很多研究活动的重点是如何利用互联网数据来接近这个目标。因为互联网虽然只是大量网页，但它恰好包含了足够多的推理痕迹和知识，而 Transformer 又能很好地处理这些信息。现在大家都在努力将数据集重构为类似内心独白的形式，大量的合成数据在这方面非常有帮助。有趣的是，目前的模型在某种程度上也在帮助我们创建下一代模型，就像是一个不断改进的阶梯。
NoPriors：你认为合成数据有多大用处，或者说能带我们走多远？因为正如你所说，每个数据、每个模型都有助于更好地训练后续模型，至少在创建工具、数据标注等方面，也许部分是合成数据。你认为合成数据的部分有多重要？
Karpathy：是的，我认为这是我们能够取得进展的唯一途径，我们必须让它发挥作用。但在使用合成数据时，你必须小心，因为这些模型会因为合成数据而悄无声息地退化*。注：Nature 重磅论文：用 AI 生成的数据训练 AI，会让大模型崩溃
比如说向 ChatGPT 提问让它讲个笑话，你会得到一个反馈——这看不出什么。但你要知道它背后有千万种生成的可能，投喂合成数据之后，生成结果的可能性在下降，而你在输出端观察不到这一变化，所以这是一个「悄无声息」的退化。
当你看任何单一的输出时，你只看到了一个单一的例子。但当你实际查看分布时，你会注意到这不是一个非常多样化的分布，悄无声息地退化了。当你进行合成数据生成时，这是一个问题，因为你实际上非常需要那种熵。你需要数据集中有丰富的多样性和丰富性，否则，你得到的数据集会变得收缩。当你查看任何单个示例时，你看不到它，但分布已经失去了大量的熵和丰富性，所以它在无声中变得更糟。
为了解决数据稀缺的问题，合成数据绝对是未来。只是使用的时候必须要小心。
03
Transformers 架构其实比人脑要好用
NoPriors：你觉得我们从这项研究中，学到了什么关于人类认知的东西吗？有人说，搞清楚推理轨迹，可能有助于我们真正理解大脑的运作方式。
Karpathy：我觉得和人脑类比还是要谨慎一些，总的来说，我认为它们完全是不同的东西。有些方面确实可以类比一下。比如，我觉得 Transformer 在很多方面其实比人脑还要好。它们实际上是一个更高效的系统。它们没有人脑那么厉害，主要是因为数据问题，大致上来说，这是我认为的一个一阶近似。
实际上，Transformer 记忆序列的能力远超人类。比如，如果你给它一个序列，然后它通过一次前向和反向传播处理，这时候如果你再给它这个序列的前几个元素，它就能完成剩下的部分。而且它对这个特别擅长。如果你让一个人类看一次序列的演示，人类是绝对记不住的。所以，我确实认为，基于梯度优化，我们在训练神经网络时进行的前向-反向更新，在某些方面其实比人脑更高效。
NoPriors：计算机在不同应用中都会有非常强的算术能力。
Karpathy：我觉得人类大脑有很多限制。我们的工作记忆非常小，而 Transformers 的工作记忆要大得多，并且这种差距会持续扩大。它们是更高效的学习者。大脑在各种限制下工作，比如不清楚大脑是否使用反向传播，也不知道那会如何运行。大脑是一个非常随机、动态的系统，受环境和其他因素的制约。所以，我认为我们现在的技术，潜力上比大脑更强，只是还没完全到达那个水平。
NoPriors：未来随着时间推移，人类会怎么样和 AI 系统结合？你觉得这是一个可能的发展方向吗？用 AI 模型增强人类？
Karpathy：总的来说，绝对是这样。我们其实已经在某种程度上融合了。问题在于输入输出的瓶颈。但大多数情况下，如果你拥有这些模型中的任何一个，你已经在使用它们了。
NoPriors：是的，但这有点不一样。有人已经争论了四五十年，认为科技工具只是人类能力的延伸。比如计算机是人类思维的自行车之类的。
Karpathy：对，正是这样。
NoPriors：不过，有一部分 AI 社区认为，通过某种形式的融合可以解决未来与 AI 或其他系统的潜在冲突。比如 Neuralink 等等。
Karpathy：对，就是这样。我现在还不知道这种融合具体会是什么样子，但我确实能理解，减少使用工具时的输入输出瓶颈是很重要的。我觉得这有点像大脑的外层皮质。我们是在新皮层上继续构建。只是这次，它是在云端，而不是在我们头脑里，但本质上，它是大脑的下一层。
NoPriors：早在 2000 年代初的《Accelerando》（一本讲述人类进化的科幻小说）一书中就有个预言，里面人类的所有东西都体现在一副计算眼镜中，这副眼镜与大脑连接。如果你失去了这个眼镜，你就失去了一部分个性或记忆。
Karpathy：我认为这很有可能。今天，手机几乎已经是这样了。我认为情况会变得更糟。当你把你的科技产品放在一边时，你就像大自然中的裸体人类，或者你失去了部分智慧。这非常令人焦虑。
NoPriors：一个简单的例子是地图。我注意到现在很多人其实已经不再能够很好地记清楚他们的城市，因为他们总是依赖转弯提示来指引方向。
Karpathy：如果我们拥有了一个类似通用翻译器的东西，我觉得我们离这个目标已经不远了。如果你总是依赖这些工具，一旦放下，你可能会失去与不讲英语的人的交流能力。
NoPriors：我非常愿意将我大脑中那部分用于导航的区域重新利用，去做一些更深入的研究。
Karpathy：我不知道你是否看过那个视频，一个小孩子拿着一本杂志，却在杂志上滑动，像是在使用平板电脑。这让我觉得有趣的是，孩子们不再区分什么是自然存在的，什么是科技附加的。我觉得这也是类似的——人们开始默认这些工具的存在。
而当你突然把它们拿走时，人们可能才会意识到，原来他们无法区分什么是技术，什么不是。如果你一直依赖一个设备为你翻译所有的对话或者处理其他任务，人们可能会失去一些基本的认知能力。
NoPriors：如果我们谈论外部大脑，这是一件非常重要、需要普及的事情。你怎么看当前的市场结构以及在大规模语言模型研究中发生的事情？实际上，只有少数几家大型实验室有机会在下一代训练中取得进展。这对于未来人们能够访问的技术来说意味着什么？
Karpathy：你可能在暗示的是生态系统的状态。我们现在看到的是几个封闭平台形成的寡头垄断，而开源平台，比如 Meta 的 Llama 等，虽然相对落后，但也在不断发展。这反映了开源生态系统的现状。
当我们把这些技术看作是外部大脑时，可以借鉴加密货币中的说法：「没有你的密钥，就没有你的 Token」。换句话说，可能会变成「不是你的权重，就不是你的大脑」*？你会感觉公司实际上在控制你的外大脑，感觉有点被侵犯了。你意识到你是在租用你的大脑，这种感觉确实有点怪异。注：可以理解为，在 AI 时代，拥有模型的权重可能等同于拥有模型的"智能"或"知识"。
NoPriors：这个思想实验就像是，你是否愿意放弃自己的所有权和控制权，而租用一个更好的大脑吗？我个人愿意。所以我认为这是一个权衡。不知道其他人会怎么想。
Karpathy：大家愿意用闭源的模型是因为它们很优秀，但同时我们也应该有一个后备方案：在一些封闭的 API 宕机时，人们把开源的模型当作后备方案。所以，这可能就是未来大脑的样子。如果发生了什么事，我们就依赖开源资源。但大多数时候，你其实还是依赖「被控制的」那个脑子。
NoPriors：所以开源资源的持续进步非常重要。
Karpathy：我完全同意。这可能不是一个显而易见的观点，也许现在人们不一定都同意，但我百分之百认为这是重要的。
04
未来会出现 1B 参数的可用小模型
NoPriors： 我一直在想，最小、最有效的模型会是什么样的？不管是从参数大小还是其他方面来看，你怎么看？你对模型蒸馏和小模型有很多思考，我很想知道你的看法。
Karpathy： 我觉得模型可以小到让你意想不到。现在的模型浪费了很多容量在记住一些不重要的东西上，比如一些老旧的数据，或者 SHA 哈希码之类的。这是因为我们用的数据集没有整理得很好。我认为这种情况会改进的。我们需要做的是找到认知的核心部分，我相信这个核心可以非常小。它只需要能思考，如果需要查找信息，它知道怎么用不同的工具来获取。
NoPriors：30 亿参数？20 亿参数？
Karpathy：我觉得甚至 10 亿参数就够了。我们有可能做到这一点。模型可以做得非常小。这是因为蒸馏技术很有效。蒸馏就是用一个大模型或者大量的计算资源去训练一个小模型，你可以把很多功能压缩到一个小模型里。
NoPriors：这背后有数学公式或者信息理论的支持吗？感觉应该可以用这些来计算吧？
Karpathy：可能有吧。可以这样想：我们现在用的互联网数据集，大概只有 0.001% 是有用的认知信息，其余的 99.99% 都是信息垃圾。我觉得大部分数据对实际的思考没有太大帮助。
NoPriors：是否有一种数学模型可以描述认知能力与模型大小的关系？或者你怎么在设定的目标中捕捉到认知核心？可能没有一个模型能解释吧，但是或许我们应该设定一个十亿小模型的目标？
Karpathy：十亿个参数可能还是有点多。还是看看未来的发展情况吧。
NoPriors：考虑到设备端和云端的区别，还有使用模型的原始成本，这些都很令人兴奋。但在不到十亿个参数的情况下，我也希望能在本地设备上实现我的外脑功能。
Karpathy： 也许这个未来不是一个单一的模型，可能是并行的一组模型。你能从并行处理的优势中获益。我觉得公司在某种程度上也应该强调工作中的并行化。不过，公司存在的层级结构是为了在有效地组织信息。
所以，我认为未来大模型的工作模式会像一个「大模型公司」。你会有各种不同能力、专注于独特领域的模型。这将类似于公司中的不同角色，比如程序员和项目经理，他们并行工作并进行协同计算。模型们会形成一个生态系统，里面有专门的角色和生态位。问题会根据难度自动上升到不同部分。
因此，也许 CEO 就像一个非常聪明的云模型，而工人则可以便宜得多，甚至可能是开源模型或其他类型的模型。这种方式可能会很有趣。
05
以后的教育不应该是有用，
而应该是有趣
NoPriors： 你离开了 OpenAI，开始从事教育工作。为什么会做出这样的决定呢？
Karpathy： 我一直以来都是一名教育者，热爱学习和教学，这是我一直非常热衷的领域。另外，我觉得现在 AI 领域有很多活动，很多都是想取代或替代人类的，这让我感觉有点像把人排除在外了。
我更关心的是如何通过 AI 协助人类。我不希望未来人们只是被自动化取代，我希望人们能够变得更强，更出色，比现在更好。如果一个人有一个完美的全科导师，他们能走多远呢？但如果人们能有一个完美的学习安排，他们可以走得非常远。我们看到一些有钱人大概率有私人导师，他们的确取得了很大的成就。所以我希望通过 AI，达到接近这种效果。
NoPriors： 其实从 80 年代开始，就有研究论证了一对一辅导可以很有效地提高人们的能力。站在AI 的角度，你怎么想？或者说，什么样的产品可以真正帮助实现这一目标？
Karpathy： 我确实受到这些观点的启发。我正在尝试创建一个课程，希望它能成为人们学习 AI 的首选课程。
关键问题是如何扩大这些课程的规模。例如，我曾在斯坦福教授过一门深度学习课程，效果相当好。但问题在于，如何让全世界 80 亿人都能受益？他们讲不同的语言，能力水平不同，单个教师无法覆盖这么广泛的受众。
所以问题就是：如何利用 AI 来扩大一个优秀教师的影响力？我觉得教师负责设计课程内容，而 AI 则作为前端，向学生解释课程内容。老师不再直接面对学生，而是在后台设计课程材料，AI 作为前端，能用各种不同的语言引导学生完成课程。
NoPriors： 这听起来像是助教的体验吗？
Karpathy： 对，AI 助教可以作为学生的前端，与学生互动并引导他们完成课程，我认为这是可以实现的，虽然现在还没有，但未来可能会变得很好。
随着时间的推移和技术的发展，课程设置可能会以各种方式重构。我喜欢找到当前 AI 能力的实际应用点，很多公司可能并不完全理解现有技术的能力，最终会构建一些超前于现有能力的东西，或者不够敢想。因此，我认为这确实是一个充满可能性和激动人心的领域。
NoPriors： 现在我们基本上还不知道在学习方面，人类能达到什么极限。比如上个月的奥运会，今天的运动员比以前表现都更好。不考虑类似十年前兴奋剂等因素，仅仅是因为我们现在的训练方法、科学理解、技术和装备都有了很大进步。你相信，如果我们从工具和课程做起，人类能够取得更大进步，这一点确实令人兴奋。
Karpathy： 是的，我觉得我们连可能实现的一部分都还没碰到。我认为有两个方面值得关注。第一个是全球化的维度，我希望每个人都能接受到真正优质的教育。第二个是个人的成长潜力，这两个问题都非常有趣。
NoPriors： 通常，当人们谈论一对一学习时，他们会关注它的自适应性，就是说如何在挑战与水平相当的情况下提供帮助？你觉得今天的人工智能能做到这一点吗？还是说这是未来的事情，现在更多的是扩大影响力、多语言和全球化的问题？
Karpathy： 显而易见的是，像不同语言这种问题其实很容易解决。现在的模型在翻译方面表现非常好，可以实时翻译材料。这些功能已经比较成熟。
而根据一个人的背景进行适应，这就不那么简单了，但也不是完全不可实现。虽然它不是一个容易实现的目标，但确实是一个需要解决的问题。每个人的背景不同，利用他们已知的知识进行类比是很有帮助的。这在教育中非常重要，但目前这方面还需要更多的工作。
简单的版本可能不会太难实现，比如根据用户的提示来调整，比如「我懂物理」或者「我了解这个领域」。这些可以做到，但我指的是那些真正能有用的、自适应的功能，而不仅仅是展示时的效果。我希望看到的是，模型能够真正有效地、以一种人性化的方式工作。
NoPriors： 提到适应性的问题，因为每个人学习的速度不同，有些事物对他们来说可能很有挑战性，而对其他人则不然。在这种情况下，如何调整？你觉得可以随着时间推移，根据某人在某方面的优劣来重新调整模型吗？
Karpathy： 这是人工智能的一个特点。我觉得很多这些功能就像提示一样，演示看起来不错，但能否转化为实际产品还有待观察。我认为现在的演示效果比较接近，但真正的产品还有一定距离。
NoPriors： 我们几周前聊过一个话题，你曾在网上提到过，学习和娱乐是不同的，学习确实应该有挑战性。我觉得其中也涉及到地位、权力的问题，比如偶像效应是个很大的激励因素。
你认为通过这样的系统，我们能在多大程度上改变动机？如果动机是一个障碍，你是否专注于为人们提供资源，帮助他们在自己的能力范围内尽可能走得更远，这本身就很鼓舞人心？还是你希望改变有多少人愿意学习，或至少激励他们走上学习的道路？
Karpathy：「愿意」这个词有点负担。我会说，我想让学习变得容易得多。可能会有人不愿意学习，今天人们愿意学习主要是为了找到工作等实际原因，这完全合理。所以在一个「前 AGI」的社会中，教育的确是有用的，我认为人们会因为经济上的进步而有动机。
NoPriors： 但在一个后 AGI 的社会里，我认为教育将更多地成为一种娱乐。成功的结果教育不仅仅是让内容经过一个人，而是让你真正参与其中。
Karpathy： 是的，我也这样认为。教育的结果像是理解、学习、能够贡献新知识，或者其他你如何定义的成就。
NoPriors： 这不是偶然的，如果你回顾 200 年、300 年前，那些从事科学的人大多是贵族或有钱人。现在，我们都能够成为和你一起学习的「贵族」。
Karpathy： 对，我确实觉得这和你之前提到的非常相似。我觉得学习就像去健身房一样，是对大脑的锻炼。去健身房本身是很有趣的，虽然需要努力，但也有很大的回报。你在各方面都能感觉更好。我认为教育也应该有这种感觉。
所以当我说教育不应该只是有趣的时候，我指的是它应该有挑战性，也应该带来一种特别的乐趣。在一个后 AGI 的世界里，我希望人们能像去健身房一样经常去「教育」，不仅是身体上的锻炼，还有精神上的。这是我们所向往的目标，高教育水平就是这种理想的体现。
Priors： 我能问你关于 Eureka*的最后一个问题吗？我觉得这会让大家感兴趣。比如，第一个课程的受众是谁？注：Karpathy 的教育创业项目。
Karpathy： 推出的第一个课程受众主要是本科生。我觉得我们现在的教育模式有点过时了：你上学，然后毕业去工作。在快速变化的社会中，这种模式会完全崩溃。随着科技的迅速发展，人们需要更频繁地回到学校学习。
学习内容难度有点像本科水平，但实际上，任何年龄段的人都可以参加。主要还是技术背景的那些人，他们会想了解很多内容。
NoPriors： 这门课什么时候可以上线？
Karpathy： 我希望的是今年年底，或者明年年初。我在努力把课程做好，这确实需要一些时间。
NoPriors： 我还有最后一个相关的问题。如果你今天有孩子，你觉得他们应该学习什么，才能利于未来发展？
Karpathy： 我认为有一个比较明确的答案。那就是数学、物理和计算机科学。
这些学科对思维能力有很大帮助，是最佳的思维技能核心。虽然这只是我的个人看法，但我觉得我上过的物理课和其他课程塑造了我的思维方式，对解决问题非常有帮助。即使在 AGI 之后，我仍然希望人类能够在任何领域发挥作用。所以我认为这些学科是关键的，应该在人的学习过程中占据大部分。至于其他学科，可以稍后再补充。
在重要的学习阶段，应该专注于那些操作密集型的任务，而不是记忆密集型的任务。我学的是数学，觉得这对我的思维方式产生了深远的影响。当然，我也认为拥有多样性是很美好的，但我认为大部分时间还是应该集中在这些核心学科上。
更多阅读
2030年，Scaling Law会到达极限吗？GPT-6能出来吗？
去 Discord 做社交游戏吧，这是 a16z 的 AI 创业建议Cursor创始人万字访谈：全球爆火的AI编程应用，真正找到PMF一个人，13年，70个创业项目，独立开发的超级传奇
两万字讲清楚：现在的AI产品有多难做？
转载原创文章请添加微信：founderparker