在本月初的英国 AI Safety Summit 期间，Sam Altman 在剑桥大学辩论社（Cambridge Union）代表 OpenAI 团队接受了 2023 年霍金奖学金奖，参会人员包括剑桥联盟的同学与霍金家族，Sam 分享了包括：- OpenAI 与其它 AI 公司的区别？与马斯克的不同
- 迄今为止在 AGI 的进展，10 年后 OpenAI 会是怎样？
Sam 的这场剑桥联盟的分享非常值得一看，全程分享如下，enjoy～女士们、先生们，晚上好。六年前，也就是 2017 年，联盟教授斯蒂芬·霍金共同成立了我们今晚庆祝的奖学金，目的是将在 STEM 领域杰出的个人带到剑桥，讨论和辩论他们的工作成就。自他不久后的去世以来，这个奖学金已经具有了更大的意义。今晚我们在这里不仅是为了庆祝奖学金获得者的成就，而且是为了向霍金教授、他的遗产以及他与剑桥学生的密切联系致敬。为此，我们很高兴霍金一家与我们同在，特别是简和露西·霍金。感谢你们今晚的到来。我相信你们都知道，今年奖学金委员会投票决定授予 2023 年的奖学金。OpenAI 团队开发的模型，特别是 DALL-E 和 ChatGPT，代表了我们这些普通大众第一次真正感受和理解 AI 将带来的巨大变化。吸引奖学金委员会特别关注 OpenAI 的，是 OpenAI 所倡导的积极而负责任的 AI 愿景。正如萨姆自己所说，OpenAI 对 AI 和 AGI 的承诺，以开源和公共获取 AI 为目标，这是以前很少有的成就。这正是霍金奖学金的宗旨，它旨在表彰那些已经产生并将产生重大影响的成就，同时也以最符合人类利益的方式进行，目的是改善人类状况并加深我们对世界的理解。这是奖学金首次授予一个团体而不是个人，但委员会认为，这是表彰这一成就的协作性质最合适的方式。那么，不再赘述，今晚在这里代表他的团队接受奖学金并发表演讲的是 Sam Altman 先生，请大家用掌声欢迎。 感谢露西和霍金全家对我和 OpenAI 所给予的热情和款待。我和我的同事们非常荣幸被选为今年的霍金奖学金获得者，我很激动能代表团队出席这里。我们非常感激霍金奖学金委员会、剑桥联盟和霍金一家。我主要是来这里进行讨论的。我很乐意回答很多问题，我会尽量简短我的讲话。能来到剑桥大学真是令人感到谦卑，霍金教授对宇宙的深刻洞察在我们所有人身上留下了不可磨灭的印记，并对我个人产生了巨大的启发。正如你们许多人可能知道的那样，他非常关注 AI 及其对社会的潜在影响。霍金教授关于 AI 的早期评论非常有先见之明，并深深影响了我们的观点和工作。我们相信 AI 改善我们的生活、社会和世界的潜力是巨大的。我们认为霍金教授也同意这一点。正如他所说，我们无法预测当我们的大脑被 AI 增强时我们能够达到什么成就。我认为这种增强还处于非常早期阶段。它可能会让我们所有人感到惊讶。他接着说，也许借助这一技术革命的工具，我们将能够逆转上一次革命——工业化对世界造成的一些损害。我们将致力于最终根除疾病和贫困。我们生活的每一个方面都将被改变。在 OpenAI，我们非常受这种展望的启发。我们知道，要实现这个未来，我们必须安全地构建、发布和使用 AI 。我们必须尽我们所能准备应对其影响，并帮助我们的社会和政府做好准备。这就是为什么我们在 OpenAI 努力研究、开发和发布尖端 AI 技术，以及安全、一致的 AI 工具和最佳实践。我想讲述 OpenAI 的创始故事，希望这对你们所有人在尝试下一件事时经历艰难时刻和失败时有所启发，有时你确实可以走出困境。八年前的 2015年，我和我的同事共同创立了 OpenAI。我们从一家非营利机构开始，其使命是创造造福全人类的 AGI。当时，AGI 被视为一个不好的词汇，我们几乎被所有领域的严肃教授嘲笑。霍金教授不会这样，但其他人会，人们对这个愿景表示怀疑，称其为徒劳的追求，存在很多怀疑和挑剔的眼光，而且理由充分。我们说我们要尝试做一些大胆的事情，可能不会成功，我们不知道我们要怎么做，我们只是，我们会努力去弄清楚。但我们被这个愿景所驱动，就像许多硅谷初创公司一样，我们的第一个办公室是一个没有空调的公寓。在那些早期年份，我们遇到了许多障碍。我们跌跌撞撞，进展缓慢。我们感到沮丧。几乎没有什么是有效的。2017年，我在网站大会上听到霍金教授说，我是一个乐观主义者，我相信我们可以为世界的利益创造出好的 AI ，它可以与我们和谐共处。我们只需要意识到危险，识别它们，采用最佳实践和管理，并提前为其后果做好准备。我也是个乐观主义者。这激励了我们所有人。这发生在一个黑暗的时刻。快进一年到2018年。我们推出了第一个 GPT-1。回顾起来，它真的不是很好。它几乎什么都做不了。它几乎没有引起任何关注。论文被会议拒绝，所有这些。但我们相信，如果我们继续扩大规模，扩大数据和计算能力，我们可以创建出越来越有能力的系统。我们开始研究规模定律。
同时，我们开始计算所有这些将要花费的费用。我们意识到，要制造 AGI 将会非常昂贵。因此，我们创建了一个受我们非营利机构管辖的盈利性子公司。今天，我们限制员工和投资者的财务回报，并将超出该限制的未来利润返还给我们的公共慈善机构。这种公司结构让我们能够为计算和人才筹集必要的资本，也让我们能够将我们的使命置于利润之上。所以，这种规模化公式起作用了。
2019 年，我们推出了 GPT-2。2020 年，我们接着推出 GPT-3。ChatGPT 在2022年发布，GPT-4 在 2023 年发布。当我们推出 ChatGPT 时，我们不确定人们会有多关心。我们称其为低调的研究预览，这是我们大多数人认为会发生的。现在它被全球数亿人使用，不到一年的时间。或许更重要的是，它正在改变人们对 AI 是什么、 AI 将成为什么的看法。但仅仅开发出更有能力的系统是不够的。为了符合我们的使命，我们已经让它们变得更安全、更一致。我们还有更多工作要做。
我们相信，从社会、从每个人那里学习和响应反馈，是构建安全 AI 系统的关键组成部分。随着时间的推移，通过我们的一致性和安全技术，我们已经能够将人类价值观注入到我们的模型中。这是许多人，包括我自己，曾经认为可能比实际情况要困难得多的事情。我们进行严格的测试，邀请外部专家提供反馈，建立和加强安全监测系统，并提供资源帮助人们负责任地使用我们的技术。在 2017 年的那次主旨演讲中，霍金教授说过， AI 可能是我们文明史上最糟糕的发明。那我们为什么还要做这个呢？回到我刚才说的， AI 有着非凡的潜力，可能比人类迄今为止发明的任何单一技术都要大。它可以是放大人类能力、拓展我们的理解并解决复杂问题的通道，没有 AI ，这些问题可能始终超出我们的能力范围。它是一个可以重新定义我们理解和解决我们最大问题的方式的工具。我认为它可以带来比以往任何东西都多的科学进步和理解。考虑到医疗保健。AI 可以改善我们全球的医疗保健基础设施，特别是在医疗资源稀缺的地区。几年后， AI 也许能解决所有疾病。在教育方面，由 AI 促进的定制化学习体验可以满足每个学生独特的天赋和兴趣。实现对知识的民主化获取。我之前提到过这一点，但我想再说一次，因为这对我来说是最令人兴奋的事情。AI 可以显著加速科学发现的步伐。我们自己，也许能以某种速度完成，有了 AI ，也许我们可以让这个速度快 10 倍或 100 倍。我认为所有真正的人类进步都来自于加深我们对世界的科学理解。所以我对此非常兴奋。在我们努力迈向这个未来的同时，我们必须严肃对待与 AI 相关的全方位安全风险，从我们今天拥有的系统到将来可能出现的系统，也许不是遥远的将来，它们都将被称为超级智能。所以这就是为什么我们在 OpenAI 正在努力开发一种量化的、基于证据的方法论，来评估、预测并防范高能力 AI 的风险。目前的说法，我们只是说一切都会很糟糕，什么也做不了，这种说法不是很有成效，当然也不是很科学的。我们致力于在未来几年开发一个解决方案，使超级智能 AI 安全。我们正在与政府和民间社会的人们交谈，讨论如何利用和适应 AI 。我们不能独自做到这一点。为了人类的利益安全地构建 AGI 是一个集体努力，将超越组织和国家边界。它将需要最聪明的头脑、好奇心、诚信和对更大善的共同承诺。在剑桥，你们处于学术和智力发现的前沿，体现了塑造未来的探究传统。我羡慕我们在美国没有这样的地方。我邀请你们每一个人加入我们的使命。无论是通过研究、政策、倡导还是开发有益的 AI 应用，你们都可以并将帮助引导这项技术走向积极的结果。我鼓励你们深入挖掘艰难的问题，挑战现状，并跨学科和文化合作。正是通过这种共同努力，我们将解锁 AI 的潜力，同时确保其好处被安全和公平地实现。我认为这两点都是道德义务。我想用霍金教授的话结束我的演讲。我们需要将学习超越关于 AI 应该如何的理论讨论，并采取行动确保我们计划它如何可以做到。他继续说，你们所有人都有推动接受界限和思考大事的潜力。我们站在一个崭新的世界的门槛上。这是一个既令人兴奋又危险的地方。你们是先驱者。我祝你们好运，也祝你们好运，再次感谢你们给我这个不可思议的荣誉，很高兴能有更多的交流，也感谢你们的聆听。 再次感谢你今晚的到来，Sam。我们非常感激你抽出时间来到这里。所以对于观众来说，这个活动的进行方式是，我会先留出大约 10 分钟的讨论时间，然后主要交给观众。所以请大家思考你们想问的问题。到时候请举手，我们会直接找到你。Sam 非常慷慨地接受公开问题，对吧？你在这里代表 OpenAI，所以我认为这是最合适的起点，你之前谈到了公司结构如何定义 OpenAI，但是奖学金委员会对 OpenAI 感兴趣的一个原因是公司背后的理念，所以你能谈谈 OpenAI 的方法与研究同一领域的其他公司有何不同吗？ 当我们开始这项工作时，我们对 AI 的未来走向非常不确定，不知道我们是否能够像我们所希望的那样推进它，并且我们在思考不同的结构。我们担心的是，作为一个非营利组织，可能不会有太多事情发生；作为一家公司，则可能会发生太多事情；而对于政府来说，可能不会有太多事情发生，然后突然会发生太多事情。鉴于这种平衡的现状和必须进行的研究，我们决定在所有这些选择中，一个非营利组织是很好的，所以我们选择了这个。即便我们知道规模会很重要，我们真的完全低估了规模的重要性，然后我们突然意识到，作为一个非营利组织，我们能否筹集到数十亿甚至数千亿美元？答案显然是否定的。因此，我们试图构建一个新的结构，保持非营利治理的能力，以便在某个时候将其交给人类，但仍然在资本主义的范围内工作，我认为这对于我们需要做的事情来说是很棒的。这些系统的难以置信的规模。这将仅仅是 OpenAI 的项目，不用说所有其他 AGI 努力，这将是历史上最昂贵的工程项目。
我敢肯定，鉴于其重大的规模，以及这里存在的巨大利益和风险，我们希望设定一个激励系统，来培养和强化我们希望的文化，即成功地导航风险，采取行动。以应对这一责任，但要弄清楚并广泛分配这一技术的好处。在讨论风险的时候，我认为好处被相当忽视了，但如果你想一想，如果智能的丰富度和质量每年增加 10 倍，世界上的生活质量会发生什么变化，那是相当了不起的。我认为我们有道德责任使生活变得更好。这是人类的信任。所以我们知道我们在导航这条潜在危险的道路时，想要这样做。我深信的一件事，我认为这是生活中的好规则之一，就是激励措施是超级力量。事实上，任何你可以花时间思考的事情，正确地为一个人、一个团队、一个组织等设定激励措施，可能是你能做的最具影响力的事情。我认为一些大型科技公司，我们这一代之前的科技公司，在一些事情上做得非常错误，不是因为他们是坏人，而是因为他们把非常有意愿的人置于一个激励措施混乱的系统中。我们不想那样。我们不希望有使用这项技术获得无限利润的激励，也不希望以任何方式最大化我们自己的利益。我认为这种上限的概念以及它对人们每小时、每天所做决策的影响，非常强大。 你在那里谈到了之前一代的科技公司创始人。显然，埃隆·马斯克是你们的联合创始人之一。他后来离开了公司，并继续致力于所谓的开发。那么，你认为他的方法与你的方法有何不同？我今天在英国安全峰会上见到了埃隆。我非常尊敬他。我认为，我们在这个问题上的共识比我们看法不同的地方要多得多。我期待未来的富有成效的合作。 我们还没有达到AGI，但你能反思一下到目前为止的进展吗？关于 ChatGPT 和 Dall-E 的推出，有什么是意料之外的吗？ 当然还没有达到 AGI，但如果你回到五年前，向人们展示 GPT-4 的复制品，并告诉他们这就像一个真实的东西即将到来，我认为他们会告诉你这比他们想象中的 AGI 更接近一些，这些系统在某种程度上具有新颖的理解能力。现在，这种理解能力非常有限，我并不是要过分夸大它，但我也不想低估它。像我们有一个能够理解语言的微妙之处、以新颖的方式组合概念、执行许多人们与通用智能相关联的任务的系统，这是一件大事。而且我们可以看到它未来的改进速度是如此之快，以至于我们可以在未来的几年内看到它会有多么强大。我认为所有这些的最佳测试就是对人们的实用性。所以再说一次，GPT-4 让我们感到尴尬。因为我们知道它存在的所有缺陷，但它为数百万人的生活增添了价值，甚至更多，还有那些从它构建的产品和服务中受益的人们。因此，我认为我们已经接近了 AGI 的定义，人们对它有着非常不同的看法。当我们跨越了你所谓的 AGI 或超级智能，或者无论叫什么名字的那个东西，但它已经成为过去的事情时，就是对人们非常有用的 AI 系统。我认为这来得比很多人预想的要早。
那么 10 年后，你认为 OpenAI 的成功会是什么样？ 从根本上来说，和其他技术一样，我们是工具创造者，我们建造工具来使人类更有生产力，能够做更多的事情。如果这些工具如此出色，以至于它们能够让我们以更好的方式生活，如果有人能够在 10 年内使用我们的工具发现所有物理学的大理论，那将是非常棒的。雄心勃勃，也许看向整个 AI ，霍金奖学金，它的性质是关于年轻人的，关于下一代人和他们的想法，对下一代人的影响；所以我的问题是，我们这一代人，真的会感受到这场 AI 革命的影响，你对我们的建议是什么，我们应该如何适应？ 年轻人总是最能适应新技术的。这是肯定的，是自动的，每次都会发生。事实上，我最近听到了一些大型科技公司的首席执行官的说法，这只是众多例子中的一个，但他们过去曾经能够衡量他们的程序员的生产力，22 岁的年轻人从大学毕业后，每年能够预测性地提高 30%，直到他们快 30 岁为止，然后人们走上不同的道路。首次，首席执行官观察到，年轻人在编程方面表现优于年长的人。虽然他们缺乏经验，但他们通过对AI工具的熟悉弥补了这一不足。我认为这比表面上听起来要重要得多。我以前从未听说过类似的情况。年轻人几乎肯定会最积极地接受这项技术，至少会最快。我希望会发生的事情是，我们将重返一个年轻人积极推动世界创新和变革的时代。我认为这在人类历史上一直是时有时无的情况。我认为这是事情应该发展的方式。在过去的十年里，这种情况发生的次数比我希望的要少一些。我希望随着这场新技术革命的到来，通常情况下，地面会有些震动，我们可以改变一些一直有些困扰的事情。我希望年轻人会真正引领这方面的改变。 你提到了年轻人如何拥抱技术，我认为剑桥大学这里的大家都会非常同意，也许年轻人可能过于拥抱技术了。你认为大学应该如何适应 AI，以便教育年轻人？ 我认为，我在学校学到的最重要的技能，也许是最主要的技能之一，就是如何学习新知识的元技能。这非常有价值，第二个是如何思考我无法在其他地方学到的东西，如创新、新思想等。我学到的具体知识都是实际学习的算法的训练数据，但学会如何学习，然后学会如何产生这些新思想，这才是所有价值所在，而这部分我认为不会发生任何改变。当然，人们写文章的方式将会改变。我有点太年轻了，但我听说过一些比我大的学生或在我毕业五年前毕业的学生的故事。当时他们在学校，谷歌变得流行起来，他们的老师会禁止使用谷歌，并说这将毁掉教育。如果你可以查找任何事实，这就是全部问题。所以你必须签署承诺不使用谷歌，这显然是荒谬的。现在有了 ChatGPT，人们决定要接受它并学会如何使用它。我认为这是一个更好的主意。但是教育的工具会适应变化。在我们完成教育经验后，必须去做一些事情，这些工具也会适应变化，但你必须教会人们如何充分利用所有可用的工具。否则，他们将表现不如其他人。因此，除了接受这一点以外，你别无选择，而你在这里度过的时间所获得的核心价值将完全不会改变。关于 AI 安全性，你在开场演讲中谈到了很多，你能谈谈最近发生了什么吗？取得了什么进展？ 我认为目前各方的协调比我预期的要好得多。当然，几年前曾经有人提到需要为强大系统建立安全性和监管，从已经存在的系统开始，随着这些系统的风险水平增加而大幅增加。因此，我认为世界各国在这个问题上达成了比我以往在其他任何技术问题上见到的更统一的共识，人们愿意共同努力。所有关键公司、关键领导人，每个人都在说着相同的话。我认为这会发生的。我认为合理的事情正在全球范围内得到通过，虽然不完美，但合理。我认为在某个时候，我们将需要一个全球性的监管机构，虽然这种情况不常见，但我们曾经为原子能设立过一个。我认为随着我们接近AGI，我们将决定我们需要类似的机构。但是这些讨论已经是富有成效的，有实质性的进展，人们致力于更多的进展。我不确定人们发布的那篇论文是什么内容，但我认为它可能是关于 AGI 非常可怕，我们应该停止它之类的内容。我实际上对这个立场有同情心，理解。我认为每一次技术革命都会有人因对这个问题的合理担忧而做出反应。但世界的默认状态是事物衰败并变得越来越糟，唯一不仅可以让我们改善生活（我认为这对我们所有人来说是一种道德义务），而且可以对抗衰败、互相不断进步的方式是通过技术。因此，尽管在纸面上听起来停止 AI 发展听起来很不错，但这是非常天真的，每个人都知道这不会发生，而且即使它可能会发生，听起来很不错，你也不能错过令人难以置信的好处。因此，在这个过程中必须有平衡，确保我们安全、负责任，同时实现我们都应该享有的人类提升。 在近期英国 AI 安全性大会，你在一开始的演讲中谈到了这个，你能谈谈英国政府在处理 AI 方面做对和做错了什么吗？ 我本来想说一些话，但后来我想，哦，我不能说，因为可能会冒犯人们，然后我想，哦，但因为我说的话实际上会没事，所以让我们希望其中一件事是我非常钦佩英国文化的一点，我认为英国人、英国社会、英国机构都非常理性，有一种非常... 我认为这在英国的整个处理方式中都非常明显，一种理性。我认为这在英国的整个处理方式中都非常明显，一种理性。而我认为英国的处理方式是经过深思熟虑、细致入微的，非常乐意参与其中，我认为这对整个世界来说都是一个相当积极的发展，它被做得非常好，非常深思熟虑，避免了任何极端的偏见。我想谈一下创业，作为 Y Combinator 前总裁，你有机会与大量初创公司合作。那么在选择要投资的公司时，你会寻找创始人的哪些品质？ 还有所有明显的事情。你需要一个好的创意，聪明的创始人，坚定的创始人，很多这些东西都非常明显，每个人都说过。这并不意味着它们不重要，但我只是尝试用一些不太明显的东西来回答这个问题。不过我还是要强调坚决的决心。我认为成功的创始人有多重要，这很难估计。愿意被长时间误解。最好的公司可能不是最时尚的公司。这意味着今天开始一个AI应用公司可能不是最好的选择，因为每个人都在做。这有点令人难过，但也许AI 太大、太强大了，它仍然是最好的选择。拥有坚定的信念并愿意长时间投入，没有太多积极的外部强化，这是一件大事。创始人要有真正的内在动力，对问题有超强的痴迷，并有能力凭借这种内在动力坚持很长时间。清晰的沟通是一项非常重要的技能。这在创始人的工作中出现的频率要比你想象的要多得多。如果你不能成为一个有效的传道者，那么很难完成工作的许多重要部分，比如筹集资金、招聘，向世界解释你在做什么以及为什么。我想这些话题我可以讲三个小时，所以我会在这里停下来。嗨，Sam，我是 Amy，剑桥大学的社交媒体主管。在夏季，我和我的同事们制定了一些关于如何使用 ChatGPT 的指南。所以我们用它来获取灵感，用于活动、给学生的电子邮件、社交媒体测验等等。但我们遇到了一个问题，我想请教你的建议，是应该让剑桥大学的网站对 ChatGPT 和其他 AI 爬虫保持开放，还是像纽约时报和卫报等其他网站一样关闭？谢谢。我认为这取决于你希望未来版本 GPT 如何工作。比如，在 GPT-5 和 GPT-6 中，你是否希望所有这个网站上的信息都包含在内；有一些公司有一种商业模式，他们希望除非得到付款，否则不要这些信息。还有许多内容所有者表示，不，我完全希望这些信息可以被访问，这就是我们考虑这个问题的方式。 Sam，我想问你，你和 OpenAI 团队正在采取什么步骤，以确保 AI 仍然真正可访问，特别是对于像我这样有残疾的人？ 首先，我们要确保我们在经济上能够为任何想要使用的人提供一个出色的免费版本的 ChatGPT，同时最新模型的访问价格大幅下降。因此，对我们来说，开发者最重要的要求之一是，你能否降低 GPT-4 的价格？因为我可以用它做所有这些事情，但在这个国家或这个使用案例中无法负担它。所以我们正在努力为残疾人提供辅助，我们不断添加新的模式，所以我们开始只有文本，但我们将有图片、音频输入和输出等。未来还会有其他模式，我们希望这可以成为你在整个生活中可以被动使用的东西，或者以你最擅长的方式使用服务，随着模型变得越来越聪明，它将能够帮助提高可访问性。想象一下，有人刚刚发明了时间机器，你未来的自己穿越那扇门，告诉你，尽管 OpenAI 在安全研究方面已经付出了相当大的努力，但在未来的 15 年里，由于某种控制问题或者其他原因，AI导致了大约数十亿人失去了生命。你认为尽管当前全球范围内的安全努力，包括 OpenAI 和其他公司的努力，我们是如何陷入这种情况的？你会在边缘做些什么，以减少这种可能性或改变未来？ 我认为这种情况最可能发生的方式是有意的滥用。也就是说，有人故意使用这些工具来造成伤害。我认为意外的滥用也是需要非常小心的，比如在训练过程中的意外或模型的某种微妙的说服。但既然你问了最可能的情况，那就是有人拿到这些技术并将其用于生物武器的恐怖袭击或网络攻击等事情。我认为这可能会非常糟糕，不需要太多的推理。 我认为一个全球监管机构，负责检查一定运算能力以上的系统，并对其进行测试要求，可以在降低这种可能性方面起到积极作用。重要的是我们要设计任何这样的机构，以不会拖慢小规模模型和开源创新的速度为前提。但对于一个模型是否具有我们真正担忧的能力的计算门槛，我希望它会很高。如果因为算法进展的原因不是这样，那么我们肯定会面临一些全球性挑战。 你提到你的团队希望通过价值对齐的方法使 AI 变得道德。你是如何选择哪些价值观使AI变得道德的？在伦理困境的情况下，你如何确定更高优先级的价值观？如果你想要造福整个人类，如何代表多元化的世界？ 好问题，谢谢。我认为我们面临的第一个挑战是解决技术对齐问题，这是所有人关注的焦点。但第二部分是一旦你有了能力，你要将系统对齐到哪些价值观上，这可能会变得更难。我会表达一些我现在的思考，但随着我学到更多的东西，我可能会改变主意。我们有一个超级能力可以回答这个问题，那就是系统本身可以与很多人交流和学习。你可以想象像 ChatGPT 这样的系统与所有用户或者也许是地球上的每个人交流，问他们对一些价值观的问题进行权衡。这可以是我们设置 ChatGPT 的默认行为在哪里？它的边界在哪里？一个个体用户可以定制多少？我想我们都会同意，可能可以定制很多，但不能要求它去杀害别人，而在这之间我们将放置哪条线，以及如何解决一些权衡和层次的问题，就像你问的那样，我们要多大程度上使用系统来教育人们回答关于其他人观点的问题，以及他们可能没有考虑到的所有权衡和影响对其他人可能产生的影响，我们是否希望或不希望这些系统引导人们朝着道德进步的方向发展？但技术有能力以一种我认为相当有趣的方式做到这一点。AGI反映了地球上每个人的集体道德偏好，对我来说至少是一个良好的起点。你提到你希望人们利用 AI 来取得未来的科学发现。我想知道你会建议那些想要做到这一点的年轻人去做什么。因为例如，我正在攻读博士学位，有时候我觉得学术界进展的速度可能会有点慢，而实际上我们期待的令人兴奋的事情正在工业界发生，所以我想知道你的看法。 嗯，我有一些偏见，因为我小时候觉得我想成为一个学术界的人，然后我决定去工业界工作，对这个决定我一直非常满意。所以你不应该过多听取我的意见，因为对我来说这种方式有效，对其他人来说可能不是这样。但我确实有偏见，认为你可以在工业界，特别是创业公司中做出令人惊奇的知识进展工作。但不管你在哪里工作，我会建议你努力成为一个有思想、谨慎、有创造力的科学家，并了解 AI 工具，同时做这两件事，你会感到非常满足。我坚信，如果你能在两个重要领域做得很出色，而这两个领域有重要的交集，那么你就能为世界做出巨大的贡献。总会有很多人只擅长一项技能，但你会发现，与狭隘的专家相比，这是一个非常有竞争力的领域。但当你能够将这两个或更多领域结合起来，并且在这两个领域都能做得相当不错时，这就非常强大了。我认为你的技术和团队都非常出色。我的问题涉及自我伤害。我不担心这种技术对他人造成的伤害，我认为最主要的动力是使用 AI 和 AGI 来替代我们自己的批判性思维。而根据马库斯·奥勒留的说法，一旦智慧消亡，只会有行尸走肉。那么你如何在这种技术的发展中减轻这种情况？ 实际上，我认为情况会向相反的方向发展。我之所以对此感到兴奋，是因为我认为如果给人们更好的工具，他们可以在更高的抽象层次上操作，可以在脑海中保留更多的问题，释放更多的认知能力。总是有人会选择，如果给他们选择，他们会整天吸毒和玩电子游戏，但大多数人不会这样度过他们的时间。大多数人想要创造一些东西，想要为社会做出贡献，想要感到有用，想要满足好奇心，无论他们是如何做到的。所以，AI 的世界让那些想做更少的人可以做得更少，我完全没问题，它也让那些想要做更多的人可以做得更多，未来的人们将能够做的事情会让我们所有人都感到有点遗憾，因为我们没有在超级智能的时代长大，但我们仍然希望在某种程度上能够实现这一目标，而且我认为 AI 不会让我们变得更愚蠢，相反，我认为它最终会让我们变得更聪明，但方式可能会不同。你稍微谈到了激励的问题。那么，我们作为一个社会，如何确保计算机科学家、工程师和 AI 专家在发展、对齐和政府政策方面的分布是有效的，尤其是当大部分私人资金和私人投资都投入到开发领域时？我过去也是这么想的。我曾经认为有人在研发能力，有人在对齐，它们是正交的向量。但现在我认为，深度学习占了上风，我们为能力开发而开发的技术也是我们成功对齐这些模型的方式，反之亦然。人们认为他们为对齐所做的最大贡献，结果也是我们在能力方面取得了最大的进展。所以我把它看作是一种令人惊讶的一维进展向量，即我们在多大程度上能够推开深度学习的未知面纱，然后我们可以用它来创建一个成功的系统，既包括能力又包括对齐。关于政府和国家能力的问题有些不同，也就是我们如何确保政府雇佣聪明、深思熟虑的人来做好这方面的工作。聪明人真的想要在政府工作，所以政府通常说的是，他们想去工业界，这绝对不是真的。政府必须承诺在这里做好，然后事情就会发生。你提出了一个非常乌托邦式的关于 AI 进展的愿景。但是如果我们仔细审视一下，很多人也曾经对社交媒体的效应以及知识的民主化提出了相同的乌托邦式看法。但事实并非如此。实际上，大公司控制了信息范围，积极地进行商业化，并将其出售给出价最高的人。AI 有潜力成为更有效的方式，特别是通过向人们发送虚假信息、大规模定向消息。你的资金通常来自世界上最富有的人，他们试图加强这些数据操作。那么你是否有时担心，你已经在乌托邦的祭坛上牺牲了民主？ 实际上，我感到相当不确定。我并不感到非常不确定。我不会按下按钮来撤销社交媒体。它带来了巨大的代价。我认为它的实施方式很糟糕。我认为它仍然对世界有着积极的影响。但它发生得太快，我们没有时间建立防护栏，了解所有的影响。我认为我们的机构和政府在减轻伤害方面确实失败了。我不认为社交媒体本质上是邪恶的东西。我认为我们每个人都可能指出它对我们做了一些好事。但在某些情况下，如果你看看它对年轻人的影响，或者看看它对极端化的影响，它似乎确实是一件坏事。但你说了一些我不同意的事情，但我认为重要的一点是，关于谁有权决定什么是真实信息或不是真实信息的问题。我确实相信，民主化是对世界的一种净利好。现在有很多人，其中许多人上大学，他们认为他们就是知道得更好。这不是我看待世界的方式。我确实同意你的某些观点。我认为作为商业模式的广告，我并不完全反对，但我认为它存在根本性的挑战，大多数情况下它与公司和用户的激励不一致。当人们使用广告时，我认为我们需要更多的关注。我认为社交媒体上的关注诱导等问题也是不好的。我认为事情变得更好的方式是我们努力吸取过去的教训，不再犯社交媒体公司犯的同样错误。我们肯定会用 AI 做一些新的坏事，我们不会提前知道它们是什么，但我们会努力不再犯社交媒体公司犯的同样错误。 我的问题是关于研究人员的数量。例如，许多研究人员如吴恩达和 Yann LeCun 等都在谈论很多关于 AGI 背后的担忧，只是试图减少 AI 的开源控制，试图封闭 AI，以便只有少数几家公司拥有很大的权力，你对此有何看法？ 我认为开源是好的，也是重要的。我认为以合理的规模开源模型，并进行一些测试和研究，以便我们不会犯一种不可逆转的错误，那真的很好。我认为它会带来像社交媒体一样的弊端。当我们看看当前的规模模型时，我相信个人的赋权和社会的纠错能力。我相信利大于弊，但我也相信预防是非常好的，虽然我对 Andrew 抱有尊重，他是我的本科教授，但我也尊重他，但我也尊重地不同意我们应该立即开源我们训练的每个模型。我认为那将是极其鲁莽的，我们不会这样做。所以我认为这只是一种平衡，这是如何在风险方面进行校准，以及你愿意承担多大的社会风险。但我确实看到了开源的好处，我认为它肯定有一席之地。 可能永远不会，你是指消费者硬件，而不是我们自己的芯片对吧？我不太确定我完全理解，但如果我们不能在物理世界中做一些事情，最终会有点可悲。尽管可能认知能力在这里最为重要，而就新的消费者硬件而言，如果我们能够找到 AI 时代的正确形态，我相信每一项重大的新的推动技术可能都意味着你会有新的尝试一种新型计算机的机会。再次，如果我们不能想出一些新的硬件思路，让计算机能够理解我们，并以更少的互动完成非常复杂的任务，那将会令人有点遗憾；手机在很多方面都表现出色，非常通用，所以这对我们来说是一个很高的门槛，但我们会尝试的。 我想从牛津词典关于"意识"的定义开始，即对周围环境的意识和对周围环境的反应。我很想知道你对"意识"这个词的定义是什么。正如你所提到的，GPT-4 中已经出现了 AGI 的火花。离拥有一个真正意识的模型还有多远？如果你已经有一个，你会告诉我们吗？比如，你现在家里就有一个吗？ 如果我们认为有一个真正有意识的模型，我们肯定会告诉世界的。我只听说过一个关于如何知道这个问题的好提议。这个提议来自我的联合创始人兼首席科学家 Ilya Sutskever，这是一个很难谈论如何衡量的事情，但思想实验是，你精心策划、非常精确策划一个巨大的训练数据集，其中包含了正常训练集中的所有内容，但没有提到"意识"，没有关于它的内容，没有关于主观体验的内容，甚至没有与之有一点关联的内容。然后你还要选择其他一些体验作为对照，也完全不提及它。思想实验是，然后你训练这个模型，首先询问它关于对照的问题，它会说，我对那一点一无所知，或者显然是荒谬的。这是有道理的，因为它在训练过程中完全没有接触到这个内容。而且它的训练过程中也没有其他内容可以让它发展出对此的认识。然后你说，好的，有这个东西叫做"意识"，它说，我从未听过这个词。那是什么？然后你解释你自己的主观体验，它会说，哦，我知道你在说什么，但我以前从未听过这个词。至少这个思想实验值得注意。 Sam。我想知道你对较小的模型有什么看法，最近我们看到了很多这样的模型发布，特别是在无互联网连接的应用中，或者无法在云中完成的应用，将来你如何看待这一点？还是为了获得更好的性能，必须在云中使用大规模的模型？ 我认为未来会是混合的，会有设备上的小型模型，我们认为这很重要，我们很高兴支持这一点。而实际上，最有价值的工作，人们真正想要的认知工作，将会是云中的巨型模型，所以我认为我们正朝着这个双分化和混合的方向发展。你认为 AI 技术革命与未来可能发生的丰富能源革命是否不兼容？我之所以这么说是因为你谈到了一个令人害怕的事情是 GPU 的强度和计算成本下降。而其中一个原因是能源，所以在一个能源更加充足和便宜的世界里，这是否与一个安全的巨大 AI 革命相矛盾？Sam Altman
AI 和能源是我考虑的两个因素。所以我花了很多时间思考我们在供应链方面将会有限制的地方。我认为我们距离非常便宜、非常丰富的核聚变只有几年的时间，更不用说即使我们对经济扩散的最疯狂预测成真，我们仍然会受到我们可以制造的芯片和整个供应链的限制，而这将会有很长一段时间，但这不会改变这一领域的物理规律。Sam，我正在研究 AI 伦理学。昨天，剑桥大学的未来智能中心发布了对众多公司安全政策的快速审查，以及它们是否符合英国政府的指导原则，你会高兴地听到，排名垫底的是蜥蜴公司和 Meta，它们的合规性得分仅为 48%。在这个主题上，排名前的公司达到了 82%，OpenAI 达到了74%，可能是出于你所了解的原因。我想知道你在未来几个月内对负责任的扩展的方法是什么。例如，你是否承诺预先发布风险阈值，并将其传达给民主意见，还是将其留给你的小型技术 RDP 团队。 我的同事 Alexander Madrid 在这里，他负责我们的准备工作团队，处理我们的 RDP。我们将发布这个，但它是一个活文档，重要的是不是我们发布了什么，而是我们升级了多少，我们在这个过程中学到了多少。另外，我认为你所说的基本上是公司不应该在这方面自我监管。像我们会贡献我们认为其他公司应该贡献的内容，但最终，这个全球的 AI 或 IAEA 等机构或我们决定的任何其他机构都必须说，好的，你们都有这些草案，那很好，谢谢你们这么做，但作为一个社会，我们将会同意什么，这是一个重要的步骤，我之所以在这个英国峰会上，是因为我认为这是迈向世界各地政府采取行动的一个重要步骤。我要补充的是，理论上安全很容易。困难的是要制造一个对数亿人非常有用且安全的系统，这是我认为 OpenAI 可以对全球对话做出最大贡献的地方。我们发布产品的时间比任何其他人都要长。我们拥有比任何其他人都多的用户，即使是我们最严厉的批评者也在称赞我们最新模型的安全性。不发布东西是很容易保持安全的，但你实际上对如何使世界变得安全一无所知。这种工作只能通过与现实接触来完成，这才是难点。我希望稍微改变话题，问问你对长寿科学的兴趣。我知道你投入了相当多的资源用于长寿药物的研发，我想更多地了解你对这个行业的兴趣，以及你认为政府可以采取什么措施来加速这些治疗方法的发展。我认为这仍然属于一个非常大胆的尝试范畴，这仍然是非常冒险的科学，但其中有一些真实的东西。虽然我们还不太了解它，但看起来似乎有一些真实的东西。我认为它值得更多的研究。我认为局部重编程是我在过去十年中在生物领域看到的最酷的事情之一，但它似乎没有得到足够的关注和研究。许多疾病都与年龄有关，如果我们能够从根本上弄清楚那里发生了什么，并将其推迟，我认为它将大大降低医疗保健成本，提高生活质量，带来许多其他好处。所以这实际上不是我花很多时间思考的事情，我离专家还很远，但它似乎是一项高杠杆的支持事项，希望它能奏效。 我想回到你对价值观层次的回答，这是非常有趣的。你的答案基本上是多数人的，让用户参与并构建多数人的道德。显然，这有点偏向于那些参与的人，而且可能会复制我们大多数人认为是不可取的性别歧视、种族歧视等现象。你在 Twitter 上看到了许多类似的事情。同时，还有各种全球人权框架等不同的道德模型，你是否会考虑将这些整合进来，我是说，将AI推向规定性的方向或其他描述性的方向？显然，你必须以一种方式设计这个系统，使其整合人权框架，同时还要意识到，并在一定程度上弥补一些人同意的事实，即不同的人以不同的速度参与，正如我之前所说，我可能会放弃我在这里所说的一切，因为这个系统的设计是如此困难，但作为一项原则，系统代表了那些将要使用它并受到它影响的人的意愿，我认为这是非常重要的。挑战在于，什么样的协议会最接近那个柏拉图式的理想？我在这个方面的设计是如此之难，以至于我可能会放弃我在这里所说的一切。但我希望这个系统能够在帮助教育人们和使他们更接近弄清楚真相方面发挥作用。当然，它会随着时间的推移而发展。 据我了解，过去十年来在朝着 AGI 迈出的最大一步，似乎是像 ChatGPT 这样的大型语言模型，但如你所说，即使它令人印象深刻，它也存在明显的缺陷，使它看起来不像一个 AGI，所以我想知道，你是否认为迈向 AGI 的一步是继续最大化大型语言模型？还是我们还没有找到的另一项突破，才能真正实现被称为普通智能的东西？ 我认为我们需要另一项突破。我认为我们仍然可以在大型语言模型上大力推进，而且我们应该这样做，我们也将这样做。我们可以继续攀登当前的山峰，而这个山峰的顶点仍然相当遥远。但要在合理范围内。我的意思是，如果你把它推得太远，也许所有这些其他东西都会出现，但在合理范围内，我认为这不会达到我认为对AGI至关重要的东西。用今天晚上的物理学的例子来说，让我们使用超级智能这个词，新的超级智能不能发现新的物理学。我认为它不是一个超级智能，只是训练它以克隆人类和人类文本行为的数据，我认为这不会使它达到那个目标。在这个领域已经有很长时间争论的一个问题是，除了语言模型之外，我们还需要做些什么，才能制造一个能够去发现新的物理学的系统，这将是我们的下一个探索。PS：有新Newin 官方与 深思圈 以及 博主Kyle 共同发起了出海加速活动 —— Magineer，旨在帮助更多独立开发者以及中小团队获得一线出海增长经验与资源，大家抱团走出PMF迈向Scale，这也是我们举办的第2期活动，欢迎大家来玩✌️
在 Magineer 第二期活动中增加一个 GPTs 大赛的环节，每个人可以自由发挥你的想象力，活动中我们会精选出一些不错的 GPTs，被精选的 builder 可以获得来自 Magineer 的产品赞助等各种福利。
这一期 Magineer 会重点关注 GPTs 的产品开发和运营。正如 Twitter 大 V Greg 的最新推文里说的那样：App Store 诞生了一个 15 年平台级的机会：200+ 万个应用程序，900+ 亿美元的市场，那么在 AI 时代，GPTs Store 很有可能就是下一个 App Store 的机会。而当前 GPTs 还刚刚诞生，大家也都处在一个探索的阶段。
这是一个为期 4 周的活动，每周我们会精选出成员们的独立开发产品，由「深思圈」和「有新Newin」以及「Magineer」一同转发，全平台的流量分发和扶持助你产品在早期便可收获种子用户和曝光，此外你还将获得 Product Hunt、X (Twitter)、Reddit、TikTok 等平台的一手增长经验分享，真正教会你如何通过 Content Marketing 实现产品的 Organic Growth，从产品 launch 策略、产品文案撰写、平台运营的流量逻辑分析等角度，给你最 insightful 的观点。
活动结束后，你将获得：
- 每位成员都可以获得由 Magineer 颁发的「Certificate of Graduate」，以及日后持续的产品增长帮助；
- 除了「深思圈」和「有新Newin」的流量分发扶持以外，我们还会为有用户增长需求的 builder 提供更多元化的增长服务，传授给你我们一手经验得来的 Go-to-market Playbook e.g. 几万的精准 AI 用户私域群，海外 Product Hunt 金牌账号，Twitter 万粉 AI 号，各大 Top AI 导航站，以及海外 KOL connections，让你真正 deep dive 到海外市场，获取海外真实的用户，摆脱「假出海」；
- 社区互助以及高效的资源对接，如：团队招募、外部落地团队合作、业内大咖对接、资本对接等服务；
报名方式 👇
获取更多信息，请访问我们的官网：magineer.co联名专栏 🍎
今日资讯 🫐
创业手册 🍊
超级个体 🥑
「独立之声｜Indie Batch」是一档为超级个体&小型团队讲述海外 Small Business 的订阅合集，每期内容主要围绕业务需求、营销策略以及盈利模式进行展开，一般按周为单位持续更新，希望对正在或者计划构建 Business 的你有所启发和帮助，最新的一期如下：