👆关注的人，领先不止一步👆
AI领域充斥着资本、算力和数据，但主流研究方式有可能限制真正的突破。20几岁，他凭借几款创世级别的3D游戏大卖，实现财务自由。迷上VR，加入成立刚满一年的Oculus担任CTO，一年后原地飞升，被Meta 20亿美金收购。作为拒绝过马斯克、盖茨、乔布斯、山姆•奥特曼的男人，2022年创立Keen Technologies，另辟蹊径实现AGI，获得红杉资本、GitHub前CEO、Stripe联合创始人、Shopify联合创始人兼CEO等2000万美元投资。他就是70年代出生的编程天才，人称“卡神”的John Carmack。沉迷游戏，迷恋电脑，甚至不惜偷窃以满足对电脑的渴望，并因此被关进少管所。进入高中后因为不羁的个性又被学校勒令休学一年。因为天生聪明，复学后的他以4.0的平均绩点顺利毕业，进入了美国著名的公立研究型大学堪萨斯大学。但仅仅读了两个学期，Carmack就厌烦了循规蹈矩的大学生活，辍学进入社会。从此Carmack过上了理想的生活，认识了志同道合的伙伴—— 程序员John Romero、游戏设计师Tom Hall和画师Ardian Carmack，四人夜以继日的敲代码、开发游戏，发布了《指挥官基恩》（Commander Keen）系列游戏的第一部并大爆。Carmack的AGI公司Keen Technologies的名字正式源于此。作品大爆使他们萌生了创业念头，1991年，四人正式成立后来大名鼎鼎的游戏公司id Software。1992年，id发行了射击游戏《德军总部》（Wolfenstein 3-D）3D版，这是全球最早的3D第一人称视角射击(FPS)，开创了FPS这个前所未有的游戏类别，以3D和射击的概念让这款源自80年代的作品重新焕发生机。隔年问世的《毁灭战士》更是成就惊人，它以快节奏的战斗、暴力的视觉表现、极强的兼容性成为FPS游戏中王者级别的存在，奠定了id业界巅峰的地位，不到一年时间里就带来了上亿美元的利润，还带动了当时并不便宜的PC销量。面对巨大的利益，Carmack做出了一个令人惊讶的举动，他向公众公布了《毁灭战士》的部分源代码，这使得其忠实粉丝有机会修改关卡和图形，相当于赋予了粉丝二次创作的机会，这进一步引燃了玩家的热情。1995年，《毁灭战士》的装机量甚至跑赢了Windows95，让比尔·盖茨动起了收购id的念头。被Carmack拒绝后，微软只好自己动手把《毁灭战士》移植到系统中。盖茨还亲自出镜，在电视广告中借着这款游戏售卖自家的Windows系统。这些风靡一时的佳作让Carmack在玩家心中封神。卡神在游戏中运用的3D图形显示技术和游戏引擎，后续也启发了Epic Games虚幻引擎和Unity 3D开发工具的诞生，对后世游戏产业产生了深远影响。这里有一个小插曲，卡神与乔布斯一度关系甜蜜，二人在id创办早期便熟识，甚至卡神说服了乔布斯使用开源的OpenGL作为苹果电脑的2D、3D图形渲染引擎，卡神将之称为对PC行业“最大的间接影响之一”。
但哪怕对方是乔布斯，卡神特立独行起来，也不给面子。据说，乔布斯曾想让卡神推迟原定的婚期，去做一个重要的主题演讲，但遭到了卡神的拒绝。言归正传，对卡神本人来说，游戏作品的畅销也让他年纪轻轻就获得了大笔财富，不缺钱的他将目光转向了超级烧钱的民用航空领域。2000年，他成立航天公司Armadillo Aerospace以开发前卫的太空探险项目，并由此结识了同样心系外太空的马斯克。
图源：IBTimes UK
两人惺惺相惜，在卡神的太空事业步入绝境后，2015年，马斯克与卡神推特互动时，突然邀请卡神加入SpaceX，然而与乔布斯一样，遭到了卡神的拒绝，因为，卡神那时正全情投入到了VR事业中。后来谈起未竟的太空事业，卡神认为失败的部分原因要归结于自己未能全力以赴，而马斯克对事业全情投入的精神值得学习，这让他决定以后无论做什么都要全力以赴。图源：推特, International Business Times2013年，卡神离开了一手创立的id Software，加入刚成立不久的Oculus担任CTO。入职当天，蜂拥而来的粉丝围观让Oculus的博客系统一度宕机。2014年，Oculus被Meta 20亿美元买下，卡神加入Meta继续研究VR。卡神可谓兢兢业业：对公司项目亲力亲为，负责与三星合作开发Gear VR，一个扛起需要一整个团队完成的工作量；从必须链接PC使用的Oculus Rift，到最早的VR一体机Oculus Go，再到高性价比的Oculus Quest，以及Oculus的生态应用商店，都有卡神的身影奉献；他对玩家如春天般温暖：为了让用户能在VR中玩到《我的世界》，他独自花费一年多时间将游戏移植到Oculus商店。但后来，卡神专注技术、脚踏实地的作风与Meta在元宇宙方面激进的策略产生掣肘，导致他在Oculus的重大决策中逐渐丧失了话语权。卡神对VR的热情也被Meta缓慢的运营效率消磨殆尽。最终，他选择在合同到期后离开。担任Oculus CTO期间，OpenAI的三位灵魂人物Sam Altman、Greg Brockman和Ilya Sutskever劝说卡神加入OpenAI，一直以来特立独行的卡神不出意料的拒绝了。但卡神却看完了Ilya列出的40多篇相关研究论文，从头开始，恶补AI算法，在Python才是主流编程语言的情况下，仅闭关一周时间就用C++写出了卷积神经网络。2022年，卡神正式下场，成立了AGI公司Keen Technologies。与大公司在投入一个新的技术领域时先评估商业前景的方式不同，卡神直截了当地表示，自己当前的工作，短期商业机会为零。Keen的首轮投资方不可小觑：包括GitHub前CEO Nat Friedman、前苹果AI高管Daniel Gross、Stripe联合创始人Patrick Collison、Shopify联合创始人Tobi Lutke、红杉资本以及硅谷传奇芯片架构设计师Jim Keller。其中，Nat Friedman和Daniel Gross是Cohere、Character.ai等AI独角兽的早期投资人，投出了美国人工智能的半壁江山，Daniel Gross最近还成了前OpenAI首席科学家Ilya创立的AI安全公司的联合创始人；Jim Keller则拥有20多年的芯片设计经验，被誉为Zen架构之父，曾在苹果、AMD、特斯拉等公司负责芯片设计与研发。早就靠卖游戏实现财务自由的卡神并不缺钱，接受外部融资只是为了让自己更有创业的紧迫感。这次创业，卡神拉上了强化学习之父Richard Sutton。Sutton是经典教科书《强化学习导论》的合著者，被称为现代强化学习支付，曾在DeepMind参与AlphaGo系列研究，现任教于加拿大阿尔伯塔大学机器智能研究所。
卡神和Sutton｜图源：Taproot Edmoton
Sutton曾撰写过一篇著名短文The Bitter Lesson，这篇文章今天已成为OpenAI工程师的必读经典。文章强调了增加算力对AI发展的重要性，与当时OpenAI训练AI所尝试的路径不谋而合，并在大语言模型的实现过程中得以印证。通过邮件交流，卡神和Sutton发现双方都想走一条“非主流”之路。用卡神的话来说“AI领域充斥着资本、算力和数据，但主流研究方式有可能限制真正的突破。Sutton和我恰好站在主流之外。”他们都认为最终的AGI不会太复杂，与现在一个大规模应用数百上千万行代码、一个人永远无法写完相比，一个人就能编写AGI代码。“如果拿出人的整个DNA，它的信息量不到1GB，大脑只是其中很小的一部分—— 大约40MB，而且它没有被严格编码。这说明构成我们大脑智慧的编码没有那么多。”卡神表示。在卡神的设想中，AGI应该保持持续在线学习，而不是现在模型在完成预训练后大部分参数就不再更新。不过，Keen Technologies将走的具体路线，目前还保持神秘，打开公司官网，只有一句简单的话“John Carmack的AGI尝试，尚未披露信息。”尽管一切还在迷雾中，但至少有一点事明确的，卡神认为我们有希望在2030年看到AGI的端倪。“我能看到目的地，但是现状和目的地之间充满不确定。没人知道如何实现，但我有信心到达目的地，或者至少有人可以实现，时间点很可能是2030。”据报道，Keen的创始技术团队只有4人，融资规模仍停留在最初的2000万美元。无论人才还是资金储备都不如OpenAI等头部AI独角兽，更比不上谷歌、Meta等巨头。
图源：TechCrunch
在Scaling Law尚未失效的当下，一边，以大模型为AGI基石的公司们仍在持续扩展大模型的参数和数据规模；另一边，以苹果为代表的端侧小模型不卷参数开始卷效率。而各大公司的不同研究团队用几个月的时间重复造轮子的群体性思维，让卡神感到不可思议。在卡神看来，机器学习领域的研究存在一定随机性，目前并无明确的方向。小团队的优势在于可以把自己当做一个随机测试点，从随机权重和随机位置开始研究，反而有更大概率找到合适的路径。在Transformer占大模型架构主流的背景下，也有新的架构试图撼动前者的主导地位。例如来自卡内基梅隆大学和普林斯顿大学的两位助教发布的Mamba神经网络架构，去年12月一发布就在开源社区引起热烈反响。按照作者，普林斯顿助理教授Tri Dao的说法，Mamba突破了Transformer架构核心注意力层无法扩展到长上下文的局限性，可以随上下文长度的增加线性扩展，具有5倍的推理吞吐量，基于该架构的语言模型表现超越了Transformer架构的模型。最近，原作者带队的Mamba-2架构正式发布，在训练速度和任务执行方面都有了更大提升。回到Keen，卡神表示将关注公司的长期发展，不会过早考虑商业化。当前，Keen团队正在探索智能体之间的行动、感知、认知能力的增强，并寻找评估AI进步的确切指标。近2年时间里，公司没有持续补血，这在花钱如流水的AI创业圈是难以想象的。对此，卡神曾在专访中表示，AGI是一项长达10年的任务，他不想在2年内将2000万美金烧完，再用“另一个系列来获得另外几亿美元”。他计划花费数年的时间解决AGI的部分问题，并对已实现的成果进行一定程度的扩展，观察其效果。在自己培养的智能体实现可学习、可互动之后，卡神才会组建一支成分复杂的庞大队伍来进行后续的研究。但正如曾经在3D游戏、火箭、VR领域书写的传奇一样，有远见、重实干的，卡神必将在这个充满未知的新领域留下精彩的一笔。Exclusive Q&A: John Carmack’s ‘Different Path’ to Artificial General Intelligence（Dallas Innovates）
- 专访探索AGI的孤勇者，传奇工程师John Carmack：惊讶看不到如我这样的人（智源社区）
- 强化学习之父入局AGI创业，联手传奇程序员卡马克，放话不依赖大模型（量子位）