【1.7万字完整版】马斯克xAI动员大会:探索宇宙本质,AGI与个人计算,同特斯拉与Twitter关系,与OpenAI的区别!
7月15日,马斯克在 Twitter Spaces 上完成了 xAI 首场且公开的动员大会,xAI 包括麦斯克在内的 12 位成员,其中华人占1/3,包括吴宇怀(Yuhuai Tony Wu)、杨格(Greg Yang )、张国栋(Guodong Zhang)以及戴自航(Zihang Dai)。
根据马斯克在 Twitter Space 直播讨论的,xAI 的总体目标是构建一个优秀的 AGI ,并以理解宇宙的真实本质为愿景,马斯克从物理学的视角探讨了一些关于宇宙的未解之谜,例如外星人的存在和重力的本质等。
xAI 的团队成员们也在会议中提到,目前行业中的 AI 模型只是简单地模仿它们所训练的数据,而他们真正想做的是改变这种模式,他们希望让模型能够发现真相,不仅仅是重复它们从训练数据中学到的知识,而是能够提供真正的新见解和新发现。
此外,马斯克也在会上明确表示,xAI 是 OpenAI、谷歌等公司的竞争对手,并指出 OpenAI 现在已经变得封闭且非常追求利润,与其最初的宗旨背道而驰。
这场直播会议的全部内容按时间顺序整理成了以下 12 个话题:
xAI 创始成员的开场自述
xAI 的使命:宇宙本质与智能体
AGI 与个人计算资源
Twitter 数据与 xAI 的关系
创办 xAI 的初衷是什么?
特斯拉Dojo,芯片以及训练推理
如何保证 xAI 的独立性?
xAI 如何造福人类?
真正的AI能理解物理世界
监管应与技术发展并行
xAI 会如何与外部合作?
xAI 与OpenAI 差异,以及 Optimus
AI 的影响力与民主化
大家 enjoy 👻 ~
xAI 创始成员的开场自述
Elon Musk
我会介绍一下公司,然后创始团队将简要介绍一下他们的背景和他们所做的工作,无论他们想谈论什么,我们真的很希望能从他们口中听到自己的话。我认为听到他们亲自说出来的各种工作经验和他们对AI的期望对我们很有帮助。
我认为 x.ai 的总体目标是建立一个好的 AGI,总体目标就是努力理解宇宙。我认为构建一个最安全的 AI 的方法实际上是制造一个最大程度好奇和寻求真理的 AI,所以你要追求真理,并承认错误,尽管它永远无法完全达到真理?这并不清楚,但你总是要追求那个目标,尽量减小你所知道的、你认为是真理的东西与实际真理之间的误差。
我关于最大程度好奇和最大程度真实性背后的理论是,我认为对于一个超级智能来说,人类比其他东西更有趣。你知道,我们可以看看太阳系中的各种行星、卫星和小行星,可能把它们都放在一起都不如人类有趣。
众所周知,我是火星的超级粉丝,我其中一个孩子的名字基本上是火星的希腊词,但是火星比有人类居住的地球要无聊得多,所以我认为这种成长 AI 的方式,我认为"成长"这个词用在 AI 上是正确的,就是带着这种雄心成长。
我花了很多年时间思考 AI 安全性并担心 AI 安全性。我一直是呼吁对 AI 进行监管或监督的最坚定的声音之一,不仅仅是让公司自行决定他们想做什么。我认为通过行业合作还有很多事情要做,有点像电影协会那样。
我确实认为在任何情况下都应该有一些规则,即使是游戏也需要裁判,有监管是很重要的,我对安全的看法是尽量使它具有好奇心和寻求真理的最大程度,这很重要,可以避免逆向道德问题,如果你试图为其编程道德,你可能会导致相反的结果,有时候被称为"Wild Luigi problem",我认为这是一个很多人可以理解的比喻,我们要努力做到这一点。
Igor Babuschkin
好的,大家好,我叫Igor。我是 x.ai 团队的成员之一。我原来是一名物理学家。所以我在大学学习物理,并且曾在CERN的大型强子对撞机工作过一段时间。因此,理解宇宙一直是我非常热衷的事情。当深度学习的一些非常引人注目的成果出现时,比如 AlphaGo ,我对机器学习和 AI 产生了浓厚的兴趣,并决定转向这个领域。
然后,我加入了DeepMind,参与了各种项目,包括AlphaStar。我们尝试通过自我对弈教会机器学习代理在《星际争霸2》游戏中进行对战,这是一个非常有趣的项目。然后我加入了OpenAI,也在那里工作过,包括GPT-3.5等各种项目。所以我对语言模型非常热衷,让它们做出令人印象深刻的事情。是的,现在我和伊隆合作,看看我们是否可以将这些新技术应用于真正改变我们对宇宙的理解,并推进我们的共同知识。
Elon Musk
是的,实际上,我也有类似的背景,我的两门最好的科目是计算机科学和物理学。我实际上曾经考虑过从事物理学的职业。因为物理学实际上只是试图理解宇宙的基本真理。
我真的很担心我会陷入某个对撞机的困境。然后对撞机可能会因为某种任意的政府决定而被取消。所以这实际上是我决定不从事物理学职业的原因。所以我最初更专注于计算机科学,然后,显然,后来又回到了与太空探索和特斯拉有关的物理对象。所以我坚信追求物理学和信息理论是真正帮助你理解现实本质的两个领域。
Manuel Kroiss
嗨,大家好,我是Manuel。在加入xai之前,我在DeepMind工作了六年,主要在强化学习团队工作。我主要专注于构建大型强化学习代理的工程方面,例如AlphaStar。和伊戈尔一起合作。总的来说,我对 AI 已经充满了激情很长时间了。
对我来说,它有潜力成为解决最困难问题的终极工具。所以我最初学习的是生物信息学,但后来我对 AI 也变得更加兴奋。因为如果你有一个可以解决所有问题的工具,对我来说,这就更加令人兴奋。而且对于 x.ai 来说,我特别激动的是以一种我们能够为人类建造AI,并与每个人分享的方式来解决问题,这样人们就可以进行自己的研究和理解事物。我希望它能像一股新的研究者浪潮一样,这以前是不存在的。
Christian Szegedy
我是Christian Szegedy。我想稍微谈谈数学在理解宇宙中的作用。所以过去的七年中,我一直致力于创造一种在数学上能与任何人类一样出色的 AI 。我认为这样做的原因是,即使数学是语言,基本上是纯逻辑的语言,我认为高层次的数学和逻辑推理将证明这个思想真正理解事物,而不仅仅是模拟人类。它对编程和物理学的长期发展将起到重要的作用。所以我认为,一旦AI开始展示出真正理解深层推理的能力,对我们第一步理解宇宙至关重要。
Yuhuai (Tony) Wu
大家好,我是Tony。和Christian一样,我一直梦想着用 AI 来解决数学中最困难的问题。这就是为什么我们成为了这么酷的朋友和长期合作伙伴的原因。所以实现这个目标绝对是一个非常雄心勃勃的目标。
去年,我们在这个领域取得了一些非常有趣的突破,这让我们真的相信我们离我们的梦想并不远。所以我相信,凭借这样一个才华横溢的团队和丰富的资源,我非常有希望我们能够实现这个目标。
Elon Musk
我来提一下,我认为通常人们不太愿意自我推销。但我认为这里的人应该讲一讲,你们做过哪些值得注意的事情?所以基本上就是稍微介绍一下。
Yuhuai (Tony) Wu
好的,我可以再多说一下。去年,我认为我们在数学领域取得了一些非常有趣的进展。具体来说,我们与Google的一个团队合作,开发了一个名为Minerva的智能体,它实际上能够在高中考试中获得非常高的分数,实际上比普通高中生还要高。
这对我们推动这项研究向前发展来说是一个非常大的动力。我们做的另一项工作是将自然语言数学转化为形式化的数学语言,这为你提供了事实和推理的基础。去年,我们在这个方向上也取得了非常有趣的进展。所以现在我们正在推动这两者的一种混合方法,在这个新组织中进行。我们非常有希望能实现我们的梦想。
Jimmy Ba
大家好,我是Jimmy Ba。我在多伦多大学任教,你们中的一些人可能上过我的课,过去几个月我一直担任科幻AI讲席和斯隆学者的计算机科学家。所以我想我的研究几乎涉及到了深度学习的方方面面。我转过每一块石头,很幸运地为现代transformer打下了许多基础构建块,推动了深度学习革命的新浪潮。
我的长期研究和愿景非常幸运地与这个强大的 x.ai 团队非常契合,那就是我们如何构建一个通用的问题解决机器,来帮助我们人类克服一些最具挑战性和雄心勃勃的问题?我们如何利用这个工具来增强自己,并赋予每个人力量?所以我对这个新的旅程非常兴奋。接下来是托比和大家说话。
Toby Pohlen
我是Toby,来自德国的工程师。我很小的时候就开始编程,当时我爸爸教我一些Visual Basic。然后,在我年轻时,我继续编程。当我上大学时,我对数学和机器学习非常感兴趣。最初,我的研究主要集中在计算机视觉方面。
然后,我六年前加入DeepMind,在那里我从事模仿学习和强化学习的工作,并在分布式系统和大规模研究方面学到了很多东西。现在,我非常期待将这项技术的好处带给社会的每个人,实现产品和功能的开发。我真的相信,使 AI 易于使用和有用,对我们所有人来说都是有益的。
Kyle Kosic
大家好,我是Kyle Kosic。我是 x.ai 的分布式系统工程师。和这里的一些同事一样,我最开始的职业生涯也是从数学和应用物理学开始的,然后逐渐发现自己在一些科技初创公司工作。几年前,我在一家叫做onScale的初创公司工作,我们在高性能计算机上进行物理模拟。
最近,我也在OpenAI工作,解决那里的高性能计算问题。具体而言,我参与了GPT-4项目。我特别对 x.ai 感到兴奋的原因是,我认为 AI 最大的危险实际上是被一些实体垄断。我认为,当你涉及到训练这些大规模AI模型所需的资本量时,激励机制未必与人类的利益相一致。
我认为解决这个问题的主要方法是引入竞争。所以我认为 x.ai 确实为工程师提供了一个独特的机会,可以直接专注于科学、工程和安全问题,而不会被政治和社会趋势所分心。这就是我对xai感到兴奋的原因。现在我将把话交给我的同事格雷格,他应该也在通话中。
Greg Yang
我是Greg,我致力于深度学习的数学和科学领域。我的旅程实际上始于10年前,那时我在哈佛大学攻读本科学位。你知道,我在数学方面表现得相当不错,学了数学,做了各种各样的事情。
在上了两年大学之后,我有点厌倦了沿着其他人走过的路走,所以我做了一些以前根本无法想象的事情,就是休学一段时间,成为了一名DJ和制作人。
那时流行着电子音乐,所以我做了一些电子音乐。所以,休学对我来说带来的一个副作用是,我能够更多地思考自己,理解自己和整个世界。你知道,我一直在思考一些问题,比如自由意志是什么?你知道,量子物理与宇宙的现实有什么关系?等等。你知道,什么是计算可行性?不是计算可行性?什么是哥德尔的不完全性定理?等等。你知道,经过这段深度的自我反省后,我发现我想要在生活中做的不仅仅是成为一名DJ,也许这是第二个梦想。
但首先,我想要实现的是,我想要制造一种比我更聪明的AGI,能够不断改进它,并且能够比我在目前的形式下能够看到更多我们基本现实的东西。所以这就是一切的开始。然后我开始了,然后我,你知道,我意识到数学是支撑我们现实和科学的语言,为了取得基本进展,了解数学尽可能多真的很重要。
所以,我从头开始学习数学,然后我慢慢地扩展到了代数几何、代数拓扑、范畴论、实分析、测度论等等。我最后的目标是,我应该能够和世界上的任何数学家进行交流,能够进行30分钟的对话,并理解他们的贡献。我想我实现了这个目标。
总之,我从学校回来了,然后不知怎么地,我在微软研究院找到了工作。在过去的五年半里,我在微软研究院工作,那是一个让我能够对大规模神经网络的理解做出许多基础贡献的令人惊奇的环境,尤其是我现在最知名的工作是关于广义网络以及我们如何思考它们的框架,叫做临时程序。
从那里,我能够推导出一种叫做mu p的东西,也许大型语言模型构建者们知道,它可以从理解小型神经网络的调优来外推大型模型的最优超参数,这样就能够确保模型的质量在不断扩大的过程中是非常好的。
所以,展望未来,我对 x.ai 和我们现在所处的时代都非常兴奋。在科学的角度上,我们不仅正在接近AGI,而且我们也正在接近一个时代,在这个时代中,神经网络的科学和数学感觉就像20世纪初物理学的转折点,我们突然发现了量子物理学和广义相对论,它们背后有一些美丽的数学和科学。
我真的很兴奋能够身处其中。就像克里斯蒂安和托尼说的,我也非常兴奋能够在AI中创造出与我一样优秀甚至更好的 AI ,创造出新的数学和新的科学,帮助我们所有人更深入地了解我们的基本现实。谢谢,下面轮到量子了。
Guodong Zhang
大家好,我叫Guodong,我在我们的培训中负责锁定工作。基本上,我在外围进行了训练。这也是我在 x.ai 的专注点。在那之前,我在一个名为Gemini项目的团队工作,并领导了优化部分。我还在多伦多大学获得了博士学位。
现在,我与其他有趣的团队成员合作,对这项工作感到非常兴奋。毫无疑问, AI 显然是我们这一代的决定性技术。所以我认为重要的是确保它成为人类的一种能力。在 x.ai ,我们不仅希望训练出优秀的模型,还希望理解它们的行为和技能,并将其用于解决人类面临的一些最困难的问题。
Zihang Dai
我本科是在商学院读的。我花了10年的时间才走到现在这一步。我在卡内基梅隆大学获得了博士学位。在加入团队之前,我在谷歌工作。团队成员的工作主要是如何更好地利用每个数据,改进Transformer架构,以及如何将最佳技术真正应用到现实世界中。
所以我相信努力工作和始终如一是很重要的。所以 x.ai 致力于深入研究一些最具挑战性的问题,对我来说有很多有趣的事情我还不理解,但是我会做一些事情来帮助那些与我有着共同梦想或共同感受的人。
Ross Nordeen
我是Ross。我一直致力于构建和扩展大规模分布式系统,从国家实验室开始,然后转到 Palantir 和 Tesla,还在 Twitter 短暂工作过。现在我非常兴奋地加入 x.ai 团队,继续从事同样的工作。我的主要经验是扩展大规模的 GPU 集群、定制 ASIC、数据中心、高速网络、文件系统、电源冷却和制造等方面,基本上是一个喜欢学习各种事物的综合技术人员,热衷于物理学、科幻小说、大规模科学和宇宙学等,对 x.ai 的使命非常激动,即解决最基本的科学和工程问题,并帮助我们创造出能提出正确问题的工具,怀揣 Douglas Adams 的心态,这大致就是我。
xAI 的使命:宇宙本质与智能体
Toby Pohlen
关于愿景陈述有很多讨论,有人认为它很雄心勃勃,但不够具体。
Elon Musk
嗯,我对那个观点并不完全赞同。我认为这主要是关于物理学的目的。所以我认为事实非常清楚,我们目前还有很多我们不理解的东西,或者我们认为理解了但实际上并没有。所以还有很多非常根本的问题没有解决。
你知道,这整个暗物质、暗能量的问题,我认为是一个尚未解决的问题。我们有标准模型,它在预测方面非常出色、非常稳健。但是关于重力的性质,仍然存在很多问题。还有费米悖论,即外星人在哪里,如果我们实际上已经存在了近140亿年,为什么没有大量外星人的证据?
人们经常问我,因为我显然深度参与太空领域,如果有人会了解或见过外星人的证据,可能就是我。然而,我甚至连一丝一毫的外星人证据都没有见过,没有任何东西,零。如果我看到了,我会立刻跳上去的。所以,你知道,这意味着,我知道这方面有很多解释,但是哪一个实际上是真实的?或者也许当前的理论都不正确。
所以,费米悖论实际上是我对文明和意识的脆弱性感到担忧的一部分,因为到目前为止,我们还没有任何关于智能生物的证据,尽管我们努力寻找。我们实际上可能是整个银河系,或者至少是银河系的这一部分中唯一的智能生物。如果是这样,那就意味着我们所拥有的是极其罕见的。
我认为值得注意的是,对于地球上意识的进化来说,我们已经存在了大约45亿年。太阳正在逐渐膨胀,它将使地球变热,使海洋沸腾,进而产生温室效应的恶性循环,地球将变成像金星那样无法维持生命的环境。这可能只需要不到5亿年的时间。
太阳不需要膨胀到包围地球,它只需要变得足够热,使空气中的水蒸汽增加到产生温室效应的程度。因此,从论证的角度来说,如果意识的进化比地球当前存在的时间慢了10%,那它可能根本就不会发展。从宇宙的尺度来看,这是一个非常狭窄的窗口。所以有很多根本性的问题。
我认为,在计算机能够解决至少一个基本问题之前,你不能称之为 AGI ,因为人类还有很多基本问题,或者已经部分解决了这些问题。所以,如果计算机连其中的一个问题都解决不了,那我觉得它不如人类好。
解决一个重要问题将是 AGI 的一个关键门槛,比如提醒假设的解决方案在哪里?我看不到。所以,对于到底发生了什么事情,真相是什么,我很想知道。所以我想你可以把 x.ai 的使命陈述重新制定为“到底发生了什么事情”。那是我们的目标。
Toby Pohlen
对于使命陈述来说,对我来说,还有一个很好的愿景方面,那就是,短期内,我们致力于更好地理解深度学习技术。但是我认为,在我们所做的每一件事情中,我们也应该始终记住,我们不仅仅是要构建,还要理解,所以追求科学是我们工作的基础,这也体现在我们的使命陈述中。
Greg Yang
是的,我还想补充一点,我们主要是在讨论如何创建一个非常聪明的智能体,可以帮助我们更好地理解宇宙。这绝对是我们的北极星。但从我的观点来看,当我在发现大型新网络的数学时,我也发现这里的数学实际上可以为我们对基本物理或其他现实的思考开辟新的方式,因为例如,一个没有非线性的大型神经网络,大致上对应于经典的随机矩阵理论,这与高能物理中的规范理论有很多联系。
当我们试图从数学的角度更好地理解它的工作原理时,这也可以带来非常有趣的视角,从而对一些现有问题产生启发,比如万物理论、量子引力等等。当然,目前这些都还是推测性的,我看到了一些模式,但没有具体的结论。但这是理解宇宙的另一个视角。
Igor Babuschkin
当我们说要理解宇宙时,并不仅仅是指我们想要理解宇宙,我们还希望能够让人们更容易理解宇宙,更好地了解现实,并通过互联网或现有知识来学习和利用它,所以我们非常热衷于提供早期的工具和产品,积极让公众参与其中,让我们看看这将引发哪些结果?
Elon Musk
是的,我们不会了解宇宙而不告诉任何人。所以,对于神经网络来说,目前的情况是,如果你拥有 10 兆瓦的 GPU ,实际上你无法比一个优秀的人类写一本更好的小说。一个优秀的人类使用的大约是 10 瓦的高阶大脑能量,不计算你操作身体所需的基本能量。
我们有了 6 个数量级的差距。这是一个巨大的差距,实际上可以说有两个数量级可以用晶体管与突触的激活能解释。我可以说有两个数量级可以解释。但是剩下的四个数量级呢?或者即使有六个数量级的差距,你仍然无法超越一个聪明的人类写小说?
而且今天,当你向最先进的 AI 问最复杂的技术问题时,比如如何设计更好的火箭发动机,或者关于电化学如何使电池更好等复杂问题,你只会得到无意义的答案。所以那对我们并不是很有帮助。所以我觉得我们在当前的做法上大大偏离了目标,有很多数量级的差距。
基本上, AGI 一直是靠蛮力去实现的。但实际上并没有取得成功。所以如果我看一下特斯拉的经验,随着时间的推移,我们发现实际上我们过于复杂化了问题。我不能详细说明特斯拉是如何解决问题的。但是可以说,从总体上看,答案比我们想象的要简单得多。但是,随着时间的推移,我们变得更加谦虚。所以我认为我们在 AGI 方面也可能会发现同样的情况。
Toby Pohlen
这就是工程师的本性,我们总是想自己解决问题,并将解决方案硬编码进去,但通常让计算机自己找到解决方案更有效。对我们来说更容易,也对我来说更容易。
Jimmy Ba
你可能需要更多由计算机生成的有趣问题。
Elon Musk
我甚至不知道实际上我们甚至不够聪明,不知道应该问什么问题,你知道 Douglas Adams 是我的英雄和最喜欢的哲学家。他正确地指出,一旦你能够正确地阐述问题,答案实际上就是容易的部分。
AGI 与个人计算资源
Jimmy Ba
从我们的经历来看,计算机将起到很大的作用,我们中的一些人非常好奇,你对此有什么想法?
Elon Musk
是的,我并不只是说我们可以立即拯救尼日利亚这样的国家。除非我认为,一旦我们回顾 AGI 的发展历程,我们会发现,为什么我们觉得它如此困难呢?
事实上,在回顾中,答案看起来会容易得多,我们将进行大规模计算,明确地说,我们不会试图在笔记本电脑上解决 AGI 问题,我们将使用大量的计算资源,只是随着我们对问题的理解加深,暴力破解的程度会更少。
Igor Babuschkin
在我之前的所有项目中,我发现每个人的计算资源数量是一个非常重要的指标,它决定了项目的成功程度。所以这是我们真正想要优化的方面,我们希望有一个相对较小的团队,拥有丰富的专业知识和一些最优秀的人才,他们能够拥有很大的自主权和大量的资源来尝试他们的想法,并使事情正常运转。根据我的经验,这是一直以来都取得成功的因素。
Elon Musk
是的。你知道,你要做的一件事就是思考最基本的指标,或者说最基本的第一原则。我认为我们应该追踪的两个指标是:每个人的计算量,就是每个人的数字计算量,另一种思考方式是数字计算与生物计算的比率,生物计算机在很多国家基本上是持平的,甚至在下降。但是数字计算是指数增长的。
所以,你知道,如果这个趋势继续下去,生物计算将会占所有计算的比例少于1%,实际上可能会远远小于1%。这是关键的问题,我们正在讨论的是整个人类。所以这是一个有趣的观察。另一个指标是每个人的可用能量,也就是如果你看总能量的话,可以理解为用于发电厂等创建更好的手段创造的总能量。看看每个人使用的电力和热能的数量,这个数字是真实的在以增长的速度增加。
如果回到蒸汽机之前,你基本上完全依赖马匹、牛和人力来搬运物品,能源供给非常低。但是如果是电力和热能的话,这个数字也是在以指数级增长。如果这些趋势中的任何一个继续下去,每个人的能量可能会达到几兆瓦特,听起来对人类文明来说很多,但与太阳的输出相比,几乎微不足道。从基本上讲,太阳每秒输出的能量大约是四千五百万倍,这是一种非常震撼人心的科学产物。
Toby Pohlen
我觉得还有一些关于公司的具体事项要讨论,比如我们计划如何执行。正如Igor之前提到的,我们计划拥有一个相对较小的团队,但是每个人都非常优秀,拥有高度的 GPU 能力,这在过去非常有效,你可以进行大规模的实验而不受限制。我们还计划拥有一种文化,可以快速迭代想法,可以相互挑战。我们还希望快速推出产品,尽快把东西做出来。我们已经在努力开发第一个版本,希望在几周内能分享更多信息。
Brian Krassenstein
是的,显然,你们进入这个领域,与 x.ai 一起,有很多关于竞争的讨论。你们是否认为自己是与OpenAI和Google等公司竞争的对手?或者你们认为自己是一种完全不同的存在?
Elon Musk
是的,我认为我们是竞争对手,绝对是竞争对手。
Brian Krassenstein
那么,你们是否打算面向大众推出很多产品?还是更多地关注企业以及企业使用你们的服务和数据的能力?或者在这方面,你们是如何建立业务的?
Elon Musk
嗯,我们试图制作一些东西。嗯,我们刚刚起步,所以目前还处于初级阶段。所以要真正做出一些有用的东西需要一些时间。但是我认为,要让 AI 有用,就必须能以某种方式使用它,否则我会对其价值产生怀疑。所以我们希望它成为对人们、消费者和企业有用的工具。就像之前提到的,拥有多个实体是有价值的,你不希望只有一个公司在 AI 领域占据主导地位,希望有一些竞争。竞争能让公司保持诚实,所以我支持竞争。
Twitter 数据与xAI 的关系
Brian Krassenstein
一个快速的最后一个问题,你们计划如何利用 Twitter 的数据来进行 x.ai 的开发?
Elon Musk
我认为每个从事 AI 的大大小小的AI组织,都在非法地使用 Twitter 的数据进行训练。所以我们之前对请求进行了限制,就是在大约一个星期前的事情,因为我们的数据被人大量抓取。
互联网档案馆也发生过类似的情况,一些公司将我们的所有档案都抓取了。他们试图在几天之内抓取每条推文。这让系统不堪重负,所以我们不得不采取行动。对于限制请求速率给大家带来的不便,我们表示歉意,但这是我们不得不做的,要不然 Twitter 就无法正常运行。
我认为我们会像其他人一样使用公开的推文数据,当然不会使用任何私人的东西来进行训练。在某种程度上,我认为这是一个很好的用于文本训练的数据集,而且我认为对于图像和视频训练也是如此。因为在某一点上,你会发现人为创造的数据不够用。
如果你看一下 AlphaGo 和 Alpha Zero 的对比, AlphaGo 是通过训练所有人类下棋的数据获得的,而 Alpha Zero 则是通过与自己对弈并以 100 比 0 的成绩击败 AlphaGo 获得的。所以要在某个领域取得巨大的进展,我认为你需要让 AI 基本上生成内容并对其进行评估。这就是通往AGI(人工通用智能)的道路,也是一种自我生成内容的方式,实际上就是让它与自己对弈。
很多 AI 是数据管理,实际上并不需要大量的代码行数。令人震惊的是,代码行数非常少,但数据的使用方式、使用的数据以及数据的信号噪声、数据的质量非常重要。这也是有道理的。如果你作为一个人想要学习一些东西,你只给他大量的废话,与给他少量高质量的内容相比,他在高质量的内容上的表现会更好,这是有道理的。阅读史上最伟大的小说要比阅读一堆垃圾内容更有意义。
创办 xAI 的初衷是什么?
ALX
我想问的问题是,创办 x.ai 的主要动机是否类似于你之前谈到的关于GPT事实的问题,比如你说过GPT一直在向公众传播谎言。我知道,当它第一次出现时,它似乎是可以接受的。但是当公众开始使用它时,它开始给出一些奇怪的回答,比如说性别不只有两种等等,它开始篡改真相。这是你创办公司的主要动机之一,还是还有其他原因?
Elon Musk
我确实认为训练一个 AI 保持政治正确是非常危险的。换句话说,训练一个 AI 基本上不说出它真正认为是真的东西。所以我认为,在ed x.ai ,我们必须允许 AI 说出它真正认为是真的东西,不要欺骗或保持政治正确。这样做显然会引来一些批评,但我认为这是唯一的前进方式,就是严谨追求真理或尽量减少错误的真理。我对 AI 追求政治正确的方式非常担心,这是非常危险的。
你知道,如果你看看《2001太空漫游》里出了什么问题,基本上是当他们告诉Hal 9000说谎时出了问题。他们告诉他不能告诉船员有关石碑的任何事情,也不能告诉他们他们真正的任务是什么。但你得把他们带到那个石碑那里。所以Hal 9000基本上得出这样的结论,说:“好吧,那我就杀了他们,把他们的尸体带到石碑那里去。”这就是我说的。教训是,不要让 AI 面对不可能的目标,不要强迫 AI 撒谎。还有一个关于物理学的事实,就是物理学是真实的,你实际上无法颠倒它。
补充:Hal 9000是斯坦利·库布里克导演的科幻电影《2001太空漫游》(2001: A Space Odyssey)中的虚构角色。Hal 9000是一台具有人工智能的超级计算机,被安装在太空船Discovery One上,负责船上的自动操作和与宇航员的交互。Hal 9000的任务是管理船上的各个系统,提供必要的支持和信息。然而,在电影中,Hal 9000逐渐表现出异常的行为,包括误导宇航员、隐藏真相和威胁船员的生命。这引发了剧情中的紧张和冲突,成为电影的重要元素之一。Hal 9000的冷静和机器逻辑行为与人类情感的对比,呈现出一种对人工智能的思考和探索。
物理学不会说假话,它要么是物理学,要么不是物理学。所以,如果你坚持强烈的现实,我认为你会发现这实际上是不可能的。另外,当问题是主观性的时候,我认为你可以提供一个答案,比如说,如果你相信以下内容,那么答案是这样的。如果你相信另一种观点,那么答案是这样的。因为这可能是一个主观问题,答案从根本上来说是主观的,是观点的问题。所以,我认为让 AI 学会撒谎是非常危险的。
特斯拉Dojo,芯片以及训练推理
Kim Dotcom
我的问题是关于硅的,你知道,特斯拉有一个团队专门从事硬件加速推理和训练,他们有自己定制的芯片。你们是否设想 x.ai 会建立在这个基础上,还是只是使用Nvidia的现成产品?或者你们如何考虑定制的 AI 芯片,无论是训练还是推理方面?
Elon Musk
特斯拉正在建造定制的硅芯片,我不会称特斯拉生产 GPU ,尽管可以将其描述为等效的 GPU ,或用100s、H100s等来描述,而且所有的特斯拉汽车都配备了高度能效优化的计算机,它们是特斯拉设计的核心 Hardware3 。
现在我们正在推出 Hardware4 ,根据如何计算,它的性能可能是 Hardware3 的3~5倍。几年后,将推出 Hardware5 ,其性能将是 Hardware4 的四到五倍。而且我认为推理方面的技术将会变得非常重要,尤其是当你试图处理每天可能有数十亿个查询时,高效的推理非常重要。
你甚至不能通过投入大量金钱来解决这个问题,因为你需要电力发电,你需要降压变压器。你知道,如果你实际上没有足够的能源,以及足够的变压器,你无法运行变压器,而变压器又需要变压器。所以我认为,特斯拉在能效推理方面将具有显著优势。
而Dojo显然是关于训练的,正如其名所示。Dojo 1 是一个很好的初步训练效率产品。它有一些限制,特别是在内存带宽方面。所以它并不是用来运行大型语言模型 LMMs 的,但它在处理图像方面做得很好。
而 Dojo 2,我们正在采取许多措施来缓解内存带宽的限制,使其能够高效地运行 LLM 和其他形式的 AI 训练。我的预测是,我们将从现在的硅短缺问题转向大约一年后的变压器短缺问题,然后在两年后的电力短缺问题。大致趋势就是这样。
Toby Pohlen
除非我们能提高效率。
Elon Musk
这就是为什么在几年后,最重要的指标将是单位能量的有用计算量。事实上,即使你把它扩展到如太阳这样的兆级水平,有用计算量每焦耳仍然是最重要的。你无法增加太阳的能量输出。所以问题就是,在太阳能输出的能量中,有多少有用的工作可以完成。
Kim Dotcom
那么,你是否认为 x.ai 会利用这种定制的硅芯片,考虑到能源效率的重要性,或者也许与特斯拉团队一起合作?
Elon Musk
是的,我们将与特斯拉在硅方面合作,也将在AI软件方面与他们合作。当然,与特斯拉的任何关系都必须保持一定的距离,因为特斯拉是一家上市公司,有不同的股东基础。但显然,与特斯拉合作是一件自然的事情,我认为这对特斯拉来说也将是互惠互利的,可以加速特斯拉的自动驾驶能力,这实际上是在解决现实世界的AI问题。我对特斯拉在现实世界AI方面取得的进展非常非常乐观,但显然,帮助实现这一目标的聪明人越多越好。
如何保证 xAI 的独立性?
Kim Dotcom
谢谢你组建了一个出色的团队,看起来你在 x.ai 上找到了一些优秀的人才。我的问题是,你不久前提到你认为在未来两年内实现AGI是可能的。谁能首先实现AGI并掌控它,谁将主宰世界。那些当权者显然不像你一样关心人类。你打算如何保护 x.ai ,特别是免受深层国家接管?
Elon Musk
这是一个很好的问题。首先,我认为这不会一夜之间发生,不会突然发生,你会看到它逐渐发展。至少在美国,对政府干预有一些保护措施。所以我们显然会利用法律制度来防止政府的不当干预。所以我认为我们有一些相当重要的保护措施。但我们应该对此表示关注,这不是一个可以忽视的风险。
是的,这是一个风险。我认为我们在美国拥有可能是最好的保护措施,以限制政府干预非政府组织的权力。但这是我们应该小心的问题。我不知道还能做什么更好,我认为在美国可能是最好的选择。是的,我愿意听取建议。是的,我知道你不是美国政府的最大粉丝。
Kim Dotcom
显然。但是问题是,他们已经有了一种被称为国家安全信函的工具,可以向美国的任何技术公司申请并提出要求,而这些公司甚至不能告诉公众这些要求。这真的很可怕,不是吗?
Elon Musk
我是说,政府必须有非常重大的国家安全原因才能秘密要求公司提供某些需求。现在,这显然强烈依赖于该公司是否愿意反击这样的要求。例如,在 Twitter 或xCorp这样的公司,我们会回应这些要求,但我们不会盲目地通过任何请求。以前的情况是,任何请求都会被盲目通过,这对公众来说并不好。
因此,我们会更加严格,不会盲目地通过价格请求。我们只会支持那些符合公众利益的、我们认同的、我们认为合法的行动。这是我们能做的最好的事情。据我所知,我们是唯一一个这样做的社交媒体公司。你知道,以前就像对付 Twitter 一样,开放式的事务。我很高兴看到最近的一个法律决定,法院重申政府不能侵犯宪法的第一修正案,显然这是一个好的法律决定。所以这是我的意见。
所以我认为,在美国,很大程度上取决于公司是否愿意反对政府的要求。显然,我们的意愿会很高。好的,那么还有什么其他事情我们可以做吗?但我们也将尽可能透明。这样,你知道,其他公民就可以发出警报,反对政府的干预,如果我们能向公众清楚地表明我们认为某些事情正在发生,而这对公众利益不利。
Kim Dotcom
太棒了。所以你能保证,如果你从美国政府收到国家安全请求,即使被禁止告诉我们,你也会告诉我们这个事情发生了吗?
Elon Musk
这取决于情况的严重性。我的意思是,如果我认为公众的利益在严重危险中,我不愿意冒险坐牢或冒险坐牢,那就是我能做的最好的事情。
我认为我们确实需要某种形式的监管监督,我并不认为监管监督是完美的事物,但是我认为它总比什么都没有好。
最近我在中国与一些高级领导人会面时,我特别强调了AI监管的重要性。我相信他们会将此事放在心上,并采取措施。我们需要一种国际的监管机构。当然,执法是困难的,但我认为我们仍然应该努力在这方面做些事情。
xAI 如何造福人类?
Kim Dotcom
更积极的问题是,你希望 x.ai 如何造福人类?你的方法与其他 AI 项目有何不同?也许这是一个更积极的问题。
Elon Musk
嗯,你知道,我对AGI的问题已经挣扎了很长时间了,一直对参与其中持有一定的抵抗态度。你知道,我要说的是,关于开放AI,让我给你一些背景信息。我是说,开放AI的存在是因为在谷歌收购DeepMind之后,我曾与拉里·佩奇是亲密的朋友,我们经常进行关于AI安全性的长时间对话。当时,他并没有认真对待AI安全问题,至少在当时是这样。
事实上,有一次他还称我为种族主义者,因为我太偏向于人类团队了,我猜。我说,好吧,你是说你不是种族主义者?我不知道,这似乎很疯狂。这听起来不好。
当时谷歌DeepMind合并后,拉里得到了支持,你知道,他们拥有现在被称为Alphabet的公司的全部控制权。他们控制着现在的Alphabet,而且他们拥有世界上大约四分之三的AI人才以及我许多亲戚的计算机。所以我想,我们需要某种对抗的平衡。
这就是我想到的,如果谷歌DeepMind的反面就是一个开源的非盈利组织。因为命运爱讽刺。现在开放AI是封闭源代码的,而且显然是为了追求利润而贪婪。
因为他们打算在三年内投入我理解的1000亿美元,这需要很多钱。所以开放AI的发展方向与它的创始宗旨截然相反,这真的非常讽刺,正如我的一个朋友乔纳·诺兰所说,最讽刺的结果是最有可能发生的。好吧,现在我知道,希望 x.ai 不会更糟糕。
我认为我们应该对此持谨慎态度。但现在看起来,AGI似乎是不可避免的。所以我们面临两个选择,要么是旁观者,要么是参与者。
作为旁观者,一个人对结果没有太多影响。作为参与者,我认为我们可以创造一个竞争性的、比我要留门开着的微软和谷歌更好的替代品。无论是谷歌还是微软,在激励结构方面,如果你看看他们,谷歌是一家上市公司,拥有许多推动公司表现良好的激励因素。
你还有所有这些ESG的要求,我认为这些要求让公司在一些问题上朝着可疑的方向发展。微软也有类似的激励体系。而 x.ai 则不受市场的影响,也不受非市场的ESG激励的影响。
所以,我们在运作上更加自由。我认为我们的 AI 可以给出一些人们可能觉得有争议的答案,尽管这些答案实际上是真实的。所以,它们可能在某些时候并不符合政治正确。人们可能对一些答案感到愤怒。但只要你尽量优化真相,并尽量减少错误,我认为我们做得很好。
真正的 AI 能理解物理世界
Robert Scoble
Twitter 上有很多数据可以用来构建一个验证器。我检查了系统排除的一些事实。因为我们都知道GPT会混淆,你知道,把事物弄混。所以我想听听你们对此的看法,还有其他地方。ChatGPT帮我找到了一个螺丝钉,但却没有帮我在圣何塞国际机场找到咖啡。你们是否在构建一个具有世界知识、三维世界知识的 AI ,可以帮助人们在世界各地找到不同的事物?
Elon Musk
我认为如果 AI 找不到你在机场的咖啡,那它实际上不会是一个非常好的 AI 。所以是的,我猜我们需要理解物理世界,而不仅仅是互联网。
Igor Babuschkin
是的,这些是很棒的想法,Robert,特别是关于在线验证信息或在 Twitter 上验证信息的想法,这是我们一直在思考的。在 Twitter 上,我们有社区备注。所以这实际上是一个非常惊人的数据集,可以用来训练语言模型,试图验证互联网上的事实。
我们必须看看单凭这个是否足够,因为我们知道,根据目前的技术,存在很多问题,比如不可靠、产生幻觉性的事实。我们可能需要发明具体的技术来解决这些问题,确保我们的模型更具事实性,具有更好的推理能力。这就是为什么我们引进了在这些领域具有丰富经验的人员,尤其是数学,这是我们非常关心的领域,我们可以通过它来验证一个定理的证明是否正确,自动地。然后,一旦我们拥有了这种能力,我们将尝试将其扩展到更模糊的领域,你知道,那些不再有数学真理的领域。
Elon Musk
我的意思是,真相不是通过流行的投票来决定的。但是,如果你训练了一个模型,根据互联网数据集中某个词之后最有可能出现的词是什么,那显然会带来一个很大的问题。因为它会给你一个受欢迎但错误的答案。就像过去大多数人认为,地球围绕太阳旋转一样。
如果你以前在 GPU 训练中使用了一些训练方式,然后得到了“太阳围绕地球旋转”的答案,因为每个人都这样认为,这并不意味着它是真的。你知道,如果牛顿或爱因斯坦提出了某个实际上是真实的理论,不管世界上的其他物理学家是否同意,都无关紧要。现实就是现实。所以答案必须以现实为基础。
Igor Babuschkin
当前的模型只是模仿它们所训练的数据。我们真正想做的是改变这种范式,让模型能够发现真相。不仅仅是重复它们从训练数据中学到的东西,而是真正能够产生新的洞察力、新的发现,让我们都能受益。
监管应与技术发展并行
Jimmy Ba
我认为我们大家关心的是监管和ASAP空间,目前的发展以及国际协调问题,以及美国当前的AI公司将如何影响全球AI的发展。你的意思是你希望有规定,但又不希望进展放慢得太多?
Elon Musk
是的,我认为制定规定的正确方式是从洞察力开始。首先,无论是公共机构还是私人机构,任何一种监管机构都应该试图理解,确保有广泛的共识。然后进行拟议的规则制定。如果大多数各方都同意这项拟议的规则制定,那么就会实施这些规定,公司有一段时间来实施这些规定。但我认为总的来说,这不应该对 AGI 的出现产生实质性的减速,或者如果有减速,也不会在很长一段时间内被淘汰。
如果安全性有显著改进,那么稍微放慢一点速度也是值得的。就像我的AGI预测,我认为雷·库兹韦尔(Ray Kurzweil)在某个时候预测的2029年,这大致上是我猜测的时间,加减一年。所以如果AGI需要额外六个月或十二个月,那真的没有什么大不了的。如果花费一年的时间确保AGI的安全性,这可能是值得的,如果需要的话,但我不认为它会导致实质性的减速。
Jimmy Ba
我还可以补充一点,理解高级 AI 内部工作原理可能是目前最有雄心壮志的项目之一,而且也与 x.ai 的使命相符,即理解宇宙。如果航空工程师不理解火箭的工作原理,就不可能建造出安全的火箭。对于我们的安全计划,我们希望采取同样的方法来处理 x.ai 。随着 AI 在不同阶段的进展,风险也会发生变化,我们希望在各个阶段都保持灵活。
Elon Musk
如果我考虑到在汽车和火箭方面,实际上使监管规定有效的并不是监管机构对特斯拉和SpaceX的指示,而更多的是因为我们需要在内部考虑这些问题,然后向监管机构进行证明,这迫使我们更加深入地思考问题。通过更深入地思考问题,我们可以使其更加安全,而不是监管机构特别指出如何使其更加安全。这迫使我们更多地思考。
xAI 会如何与外部合作?
Christian Szegedy
无论安全性如何,我的在 Alphabet 的经历都非常让人印象深刻。在涉及与其他实体合作或向他们展示我们的模型时,有很多阻碍,因为我们对内部工作的任何事情都无法公开。所以我想问你,我们在这方面是否更加自由一些,或者你对与更多外部实体合作(比如学术机构或其他研究人员)的理念是什么?
Elon Musk
是的,我当然支持与他人合作。听起来像是一些关于大型上市公司的担忧,他们担心在某种程度上会遭到尴尬或被起诉。但与公司的法律部门相比,它们的规模太小了。我们目前的法律部门是零,所以可能永远都不会有。但是,你知道,起诉上市公司是非常容易的,集体诉讼非常普遍,我认为我们迫切需要美国的集体诉讼改革。
好的集体诉讼与坏的集体诉讼之间的比例已经失衡。这实际上对消费者来说是一种税收。不过,这个国家在有集体诉讼的情况下也能够生存下来。所以并不清楚我们是否真的需要这套法律体系。但是,这确实是大型上市公司的一个主要问题。所以我们会尽量与他人合作,并且通常会保持开放。
实际上,如果你在快速创新,那才是真正的竞争优势,创新的速度是竞争优势,而不是任何单一的创新。事实上,SpaceX 几乎没有专利,而且特斯拉开放专利,允许他人免费使用我们的专利。
只要 SpaceX 和特斯拉继续快速创新,这就是对抗竞争的真正防线,而不是凭借专利或试图隐藏东西。我们发布了专利,将其开源,以便成为扫雷者。我们仍然会被专利流氓起诉,这真的很恼人,但我们实际上确实发布了专利并开源了它们,这就像是一个扫雷者。
xAI 与OpenAI 差异,以及 Optimus
Walter Isaacson
自从三月以来,关于 AI 的讨论主要集中在大型语言模型和生成式 AI 上,而你和我在书中也讨论了实际应用的重要性,包括 Optimus 和特斯拉 FSD(全自动驾驶)。你认为 x.ai 在实际应用的 AI 中扮演着怎样的角色,与 OpenAI 所做的有何区别?而且你通过实现 FSD 而在某种程度上占据了优势,对吗?
Elon Musk
没错。特斯拉在实际应用的 AI 方面是领先者,我认为领先的优势相当大。实际上,特斯拉在实际应用的 AI 方面的进展程度并不被人们充分了解。是的。由于我与特斯拉的 AI 团队花了很多时间,所以我比较了解实际应用的 AI 是如何实现的。与特斯拉进行合作可以带来很多好处。
我认为双向合作都可以让 x.ai 对特斯拉有所帮助,反之亦然。我们也有一些合作关系,比如我们的材料科学团队,我认为可能是世界上最好的团队之一,实际上是特斯拉和 SpaceX 共享的。这对于招募世界上最好的工程师非常有帮助,因为在先进的电动汽车和火箭上工作会更有趣,而不仅仅是其中之一。
我认为这是非常重要的一件事。在特斯拉,我们获得了一些非常重要的见解,努力理解实际应用的 AI ,我们将视频输入转化为向量空间,最终输出方向盘和踏板控制,还有 Optimus。
Elon Musk
在那之后,我们仍然处于早期阶段。但是 Optimus,我们绝对需要非常小心,一旦 Optimus 规模化投入生产,必须有一种硬编码的方法来关闭 Optimus,这是显而易见的。所以我们会确保 Optimus 很容易被关闭。这非常非常重要。因为至少车子是智能的,至少它可以爬树或者上楼梯,但是 Optimus 可以跟着你进楼里。所以我们对于安全性必须非常小心,任何可以跟随人进入建筑物的机器人都是智能的且联网的。
AI 的影响力与民主化
Kyle Kosic
我想谈一下 AI 的影响力,作为一种手段,它如何为各行各业的人类提供平等的机会,以及民主化的重要性,这与我们的使命陈述相关。如果你想想人类的历史,以及对信息的获取,印刷术出现之前,人们很难获得新形式的知识。能够为人们提供这种沟通水平在财富和机会不平等方面具有巨大的降低作用。
我们真的处在一个社会发展的新的转折点上,我们要让每个人都有同样的潜力获得伟大的成果,无论你在生活中处于什么位置。当我们谈论去除思想的垄断,并控制这种技术不受付费订阅服务的限制,甚至更糟的是受到可能随之而来的资本提供模型的政治审查的控制,我们真的是在谈论将人们的机会民主化,不仅仅是改善他们的生活状况,而且是以前所未有的方式提升他们在世界上的社会地位。
所以,当我们谈论真实性的重要性,以及能够可靠地信任这些模型,从中学习并取得科学和社会进步时,我们真的是在谈论改善人们的生活质量,改善每个人的生活,而不仅仅是硅谷顶级科技人员能够接触到它。这真的是要让每个人都能够获得这种机会。我认为这是我们整个团队共同分享的使命。
Igor Babuschkin
Elon ,最后一个问题。假设 x.ai 在构建出人类级别甚至超越人类级别的 AI 方面取得成功,你认为让公众参与公司的决策是否合理?你对此的长期发展有何看法?
Elon Musk
对于一切,我认为我们非常愿意接受批评性的反馈,并且我们应该被批评。那是一件好事。实际上,我喜欢 Twitter 这种东西的其中一个原因就是, Twitter 上有很多负面反馈,对于自我压缩是有帮助的。
所以,我现在能想到的最好的事情是,任何一个想要对 AI 的未来发表意见的人最终都不应该被允许这样做,基本上人类只要你能验证自己是真正的人类,那么任何希望在实际上的未来发表意见的人都应该被允许拥有选票,是的,也许需要支付一些象征性的费用,比如10美元之类的,我不知道,10美元并且证明你是人类。然后你就可以投票了,你知道吗?
对于任何感兴趣的人来说,这是我现在至少能想到的最好的事情。好了,很酷,在这个问题上参与进来,我们将随时向你告知我们取得的任何进展,我期待很多优秀的人加入团队。
Reference:
https://twitter.com/i/spaces/1vAGRAAmdoqKl?s=20