查看原文
其他

首席科学家苏兹克沃辞职,OpenAI和大模型在进入一个新阶段

未尽研究 未尽研究
2024-08-23

自去年底OpenAI董事会政变以来,硅谷的人们不断发问“Ilya在哪儿”。答案出来了。OpenAI联合创始人、首席科学家苏兹克沃(Ilya Sutskever)宣布辞职。他在向OpenAI的创业伙伴告别,并准备投身于一项“非常个人的事业”。紧接着,与苏兹克沃共同负责对齐研究部门的Jan Leike也宣布辞职。奥特曼很快在官网上很快宣布任命Jakub Pachocki为新任首席科学家。对齐研究部门由OpenAI的另一位联合创始人舒曼(John Schulman)担任。一直看OpenAI笑话的人说:要进入宫斗2.0阶段了。去年11月,苏兹克沃与OpenAI的另外三位董事,一起决定解除奥特曼的CEO职务,并由苏兹克沃亲自告知奥特曼。这场突如其来的董事会政变,引发了硅谷的震动。在 OpenAI 实际控制者微软、投资人、以及 OpenAI 绝大多数员工的支持下,奥特曼很快重新控制了局面苏兹克沃对当初的决定感到后悔。历经5天的宫斗大戏终于反转,大结局是原有的两位董事辞职,苏兹克沃不再担任董事。奥特曼重回董事会,新增两位董事加上保留下来的另一位董事,组成了新的董事会。这一董事会被马斯克指责为由奥特曼“一手挑选”的人士组成,加上微软在董事会中的观察员席位事实上拥有强大的影响力,这些标志着OpenAI治理结构的“塌方”。令人感到奇怪的是,当初董事会以组组织“不坦诚”为由解除奥特曼的职务,详情一直没有公布。而新组建的董事会聘请了外部机构对此展开调查,也没有得出明确结论。苏兹克沃对此一直保持沉默。马斯克后来起诉OpenAI,也指出这次事件的根本原因,是OpenAI违背初心与承诺,不再开源,沦为微软这样科技巨头的赚钱工具。苏兹克沃是OpenAI的技术灵魂,他坚持选择语言模型作为AI技术方向,并且坚持扩展定律(scaling law),走大语言模型(LLM)的道路,从GPT-1做到GPT-3,直到ChatGPT的推出,OpenAI引发了一场生成式AI革命。苏兹克沃一直是通用人工智能(AGI)的信仰者,也把AI安全视为AGI的前提。据传他因为担心下一代大模型会出现超级智能,可能对人类造成威胁,与奥特曼发生分歧,才导致他发起的董事会“政变”行为。他后来领导着OpenAI的对齐技术研究部门,掌握了公司20%的算力资源。今年以来,谷歌、Anthropic等公司已经发布的大模型,基本追上了GPT-4,开源大模型Llama-3的推出,也逼近闭源大模型SOTA的水平。GPT-5已经成为最大的悬念。它依然决定着大模型发展的方向,以及扩展法则的曲线能延伸多久。OpenAI今年推出了视频生成模型Sora,非常惊艳,但如果推出大规模使用,除了技术上有待成熟之外,它将需要一个由72万个H100组成的算力集群支撑,遭遇电力供应的瓶颈。ChatGPT自发布之后,虽然成为史上用户最快破亿的应用,但从去年下半年开始,用户增长停滞,留存率较低,不及移动超级应用。OpenAI除了需要继续研发更高通用智能水平的大模型之外,也不得不考虑它的实际应用。把GPT-4水平的通用智能价值发挥出来,对于OpenAI来说,可能会与发布GPT-5一样重要,甚至会影响GPT-5的发布方式和模型构成。的确,如果GPT-4无法推动规模应用,那么仅靠更大尺寸的通用大模型本身,并不能解决应用的问题。向端侧设备的部署,成为今年大模型最值得期待的应用领域。目前苹果与OpenAI的谈判,正在进入最后的关键阶段。OpenAI与谷歌,都不约而同地盯上了能自然交互的智能助理。它是一个端到端的统一多模态大模型,构建出来的智能体,能集成文本、语音和视觉进行推理。GPT-4o展示出了自然交互的效果,被广泛认为可以成为电脑和手机上理想的新一代智能助理。GPT-5还需要提升推理能力。所以,GPT-5可能是一个多模态的、混合专家模型(MOE)的、并且由不同尺寸模型构成的组合。与此同时,OpenAI也需要验证,通用智能不仅仅依靠十万亿级的参数,也能大规模部署应用。OpenAI正在转向应用和商业化,用产品向各个领域渗透,已经越来越与苏兹克沃这位研究与思考通用智能及其安全性的科学家的兴趣渐行渐远。大模型时代“最杰出的头脑”离去,OpenAI进入了一个新的阶段。
附:奥特曼的官宣Ilya 和 OpenAI 即将分道扬镳。对此我感到非常难过;Ilya 是我们这一代最杰出的头脑之一,是我们领域的指路明灯,也是我亲爱的朋友。他的聪明才智和远见卓识是众所周知的,而他的温暖和同情心则不那么为人所知,但同样重要。没有他,OpenAI 不会有今天的成就。尽管他即将投身于一项对他个人意义重大的工作,但我永远感激他在这里所做的一切,并承诺完成我们共同开始的使命。我很高兴这么长时间以来,我能接触到这样一位真正非凡的天才,他如此专注于为人类创造美好的未来。Jakub 将成为我们的新任首席科学家。Jakub 也是我们这一代最杰出的头脑之一;我很高兴他能在这里接过接力棒。他主持了我们许多最重要的项目,我非常有信心他将带领我们在确保 AGI 造福所有人的使命上快速、安全地取得进展。关于 Jakub Pachocki:Jakub 是 OpenAI 的首席科学家,自 2017 年以来,他一直领导着具有变革性的研究计划。他曾任研究总监,主导了 GPT-4 和 OpenAI Five 的开发,以及大规模强化学习和深度学习优化的基础研究。他在重塑公司愿景、推进深度学习系统的扩展方面发挥了关键作用。Jakub 拥有卡内基梅隆大学的理论计算机科学博士学位。




修改于
继续滑动看下一个
未尽研究
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存