查看原文
其他

智能晚报|神秘模型Q*或导致Sam Altman被罢免;阿里云将公共云和AI作为重点;Inflection新一代大模型...

徐弢 新皮层NewNewThing 2024-03-08

「每周一三五更新」


撰文:徐   

编辑:王杰夫

Key Points


Sam Altman被罢免或许与秘密开发Q*模型有关;


阿里云调整组织架构,公共云和AI成为重点;


估值40亿美元的Inflection推出了第二代大语言模型,声称性能仅次于GPT-4;


继Phi-2后,微软又推出一款小模型Orca 2;


DeepMind推出能玩多款棋牌游戏的模型——Student of Games。

Sam Altman被罢免或许与神秘模型Q*有关

随着本周三Sam Altman回归OpenAI,这场持续多日的人事闹剧终于告一段落,但有一个关键的问题还没有得到回答,那就是为何首席科学家Ilya Sutskever会在董事会罢免Altman时投出关键性的一票?

OpenAI神秘模型Q*

近两日多家媒体透露,其中的关键原因可能是一个名为Q*(发音为「Q-Star」)的模型,它是研发人员Jakub Pachocki和Szymon Sidor基于Sutskever的研究开发出来的,时间约在今年上半年。

多年来,Sutskever希望让模型拥有人类一样从简单规则开始自学推理的能力。于是2021年他启动了一个名为 GPT-Zero的项目,用以致敬向DeepMind的 AlphaZero——它是广为人知的围棋AI AlphaGo的升级版,能通过机器与机器的对弈自我学习。

相比于现有的其他大模型,Q*最大的特点在于有着小学水平的数学能力。由于以GPT为代表的大语言模型本质上是根据数据关联性预测后续输出文字,这使得它在面对复杂的数学问题时会因为缺少数据材料而束手无策。而能够自学(而非通过投喂的数据学习)的Q*,很可能是OpenAI在对通用人工智能(AGI)的探索上的重要突破。

罢免事件仍然疑云密布

11月16日,Altman在亚太经合组织工商界领导人峰会(CEO SUMMIT)上曾暗示OpenAI在开发更强大的GPT-4的「继任者」方面取得了进展,「在开放人工智能的历史上,有4次——最近的一次是在过去的几个星期里——当我们揭开无知的面纱,向前探索发现的前沿时,我就在房间里」。

Sam Altman在亚太经合组织工商界领导人峰会

OpenAI内部对于Q*模型的态度呈两极分化。OpenAI总裁Greg Brockman一直想要将该技术集成到新产品中,这也得到了CEO Sam Altman的支持;Sutskever和另一些关注AI安全的研究人员则持相反态度。

路透社和The Information称,就在Altman被罢免前不久,部分心怀担忧的研究人员联合起来向董事会写信警告了这件事,这也成为Altman与Brockman下课的导火索。但The Verge援引一位知情人士消息称董事会并没有收到过这封信。

彭博社称,Altman已经同意对导致他被解雇的行为展开内部调查。让子弹再飞一会儿。


参考链接

https://www.reuters.com/technology/sam-altmans-ouster-openai-was-precipitated-by-letter-board-about-ai-breakthrough-2023-11-22/

https://www.theinformation.com/articles/openai-made-an-ai-breakthrough-before-altman-firing-stoking-excitement-and-concern


阿里云调整组织架构,公共云和AI成为重点

11月23日,阿里云宣布了新的组织架构调整,涉及产研线、商业线、供应链等在内的8个部门。其中,商业化层面新增公共云业务事业部和混合云业务事业部。

此外,阿里巴巴在集团层面成立新的基础设施委员会,由吴泳铭统筹管理,重点协调全集团底层技术基础设施的规划与建设。新的基础设施委员会成员包括阿里云CTO周靖人、阿里合伙人蒋江伟、阿里巴巴CTO吴泽明以及阿里云原总裁张建锋。

具体的变化有这些:

  • 商业化层面:阿里云新成立两个事业部,刘伟光负责的公共云业务事业部,以及李津负责的混合云业务事业部。加上已有的、由袁千负责的海外业务事业部,3个事业部都向吴泳铭汇报。

    公共云业务事业部的目标将是规模优先,扩大市场占有率。而混合云业务事业部主要以满足一些特定行业因政策限制、短期无法使用公共云的客户需求,目标是侧重利润,在减少项目制的软硬件订单销售的同时,鼓励政企客户优先使用公共云。

  • 产研层面:阿里云成立了基础设施事业部和产品架构与稳定性部,分别由阿里合伙人蒋江伟和重回阿里云的唐洪负责,两人都向阿里云CTO周靖人汇报。

  • 管理层面:阿里巴巴集团将主要通过阿里合伙人参与到阿里云的管理中。阿里合伙人王磊将负责阿里云供应链、官网、服务、信息技术和系统(CIO)等部门,阿里合伙人兼阿里云智能集团CFO郑俊芳将负责商业智能(BI)、战略投资、销管、价格管理等部门。

阿里云暂停上市,加强公共云投入

阿里巴巴11月16日发布新季度财报时,宣布不再分拆阿里云。对此它给出的解释是,美国扩大芯片出口管制给云智能集团的前景带来不确定性。

今年3月,阿里巴巴宣布启动「1+6+N」组织架构调整,在集团旗下设立阿里云智能、淘宝天猫商业、本地生活、国际数字商业、菜鸟、大文娱等6个业务集团和多家业务公司。阿里巴巴原计划在一年内完成阿里云智能的分拆上市,这一计划目前已终止。

而在具体的战略上,阿里云重点加强了公共云和AI。吴泳铭在上个季度发布的公开信中表示,阿里云将坚持「AI驱动、公共云优先」。「AI驱动」指的是阿里云的目标是「AI时代最开放的云」,为客户提供稳定高效的AI基础设施;「公共云优先」指的是阿里云对所有产品和业务模式做取舍,减少项目制销售订单,加大对公共云核心产品的投入。

上个季度,阿里云同比增长2%至276.5亿元,获利同比增长44%至14.1亿元,是阿里巴巴各个板块中增速最慢的。


参考链接

https://www.eeo.com.cn/2023/1123/614938.shtml


估值40亿美元的Inflection推出了新版大语言模型,声称性能仅次于GPT-4

11月22日,美国AI初创公司Inflection宣布完成大语言模型Inflection-2的训练。Inflection公司表示,相比今年6月发布的Inflection-1,Inflection-2展现了事实知识的提升、更好的文体控制以及显著改进的推理能力,在多项测试中其表现仅次于GPT-4。Inflection-2将很快集成到Inflection开发的聊天机器人Pi中。

豪华的创始团队和投资人

新皮层曾经介绍过Inflection公司和它的创始团队。2022年3月组建的Inflection公司,创始人分别是DeepMind联合创始人Mustafa Suleyman、DeepMind原首席科学家Karen Simonyan和LinkedIn联合创始人里德·霍夫曼。

创立以来,这家公司已经完成了超过15亿美元的融资,投资方包括微软、英伟达、Google前CEO埃里克·施密特等。Inflection公司的核心产品聊天机器人Pi主打的不是生产力工具,而是面向个人用户的、带情感的聊天伙伴。此外,Inflection公司也面向少量合作方提供API产品。Suleyman没有公布今年5月上市的Pi的用户量,只表示「它非常受欢迎,留存率很高」。

新模型的训练已经提上日程,规模要大100倍

Inflection与英伟达、云计算服务公司CoreWeave合作开发、集成了2.2万枚H100芯片的计算集群或许是其最重要的资产,它超过了Meta此前公布的由1.6万块GPU组成的集群。Inflection公司表示,计划全量使用这个2.2万枚H100芯片构成的集群训练更大规模的模型。

Suleyman称,预计下一个模型的规模将在6个月内达到前代模型的10倍,并在后续6个月的时间里继续10倍成长——也就是模型规模在未来一年内扩大100倍。


参考链接

https://inflection.ai/inflection-2

https://www.forbes.com/sites/alexkonrad/2023/11/22/inflection-ai-releases-2nd-model-on-gpt-4-heels/


继Phi-2后,微软又推出一款小模型Orca 2

11月20日,微软推出小模型Orca 2,参数规模分别为70亿和130亿。在15个不同的基准测试中,Orca 2的推理性能超过了类似尺寸的模型。

微软小模型Orca 2如何开发的?

最早版本的Orca于今年6月推出,拥有130亿参数,通过模仿能力更强的大语言模型GPT-4的逐步推理轨迹,再结合ChatGPT的协助,从而获得了较好的推理能力。

在新版模型Orca 2上,微软团队没有再采用模仿手段,而是通过输入包含解释轨迹的信号来训练,推动较小的语言模型继续增强推理能力。所谓解释轨迹,是指微软定制的高质量合成数据,包括逐步处理、回忆—生成、回忆—推理—生成、提取—生成和直接答案方法等。

Orca 2与其他模型对比

同时,微软还训练Orca 2在应对不同任务时选择不同的推理方法。微软在官方博客中提出,不同的任务可以从不同的解决方案策略中受益。对一些任务来说,大模型采用的解决方案策略可能不是其最佳选择,而小模型可能会从将任务分解为步骤中受益。「更重要的是,我们的目标是帮助模型学习如何确定每项任务最有效的解决策略。」微软研究人员在相关论文中表示。

目前,参数规模70亿和130亿的Orca 2都已经开源。

微软押注小模型

微软在今年重点开发了小模型。在官方博客中,微软表示,他们将小模型界定为参数规模为100亿或更少的模型。

在Orca之外,微软还开发了16亿参数的多模态模型Kosmos-1、13亿参数的小模型Phi-1,它们也都有了迭代版本。

比如Phi-1,今年11月初,参数规模同样是13亿的新版小模型Phi-1.5也显示出多模态能力,可以写诗、写电子邮件,也可以查看和解释图像。

11月15日,微软开发了更大尺寸的Phi-2,其参数规模相比前代翻倍,达到了27亿,在逻辑推理和安全性方面有显著改进,尤其是在数学和编码方面超过了70亿参数的Llama-2-Chat。但微软没有给出更多信息。

微软的目标是实现大模型与小模型之间的互补,大模型是必要的,但小模型在处理具体任务时更经济。11月初,微软研究院的AI负责人Ece Kamar表示,「在小型模型上所做的所有工作都为我们提供了有趣的拼图,使我们能够构建该生态系统。」


参考链接

https://www.microsoft.com/en-us/research/blog/orca-2-teaching-small-language-models-how-to-reason/

https://techcommunity.microsoft.com/t5/ai-machine-learning-blog/welcoming-mistral-phi-jais-code-llama-nvidia-nemotron-and-more/ba-p/3982699


Student of Games——DeepMind面向所有游戏的统一答案

刊登在《科学进展》期刊上的最新论文显示,DeepMind开发出了一种名为Student of Games(SoG)的新AI,可以在国际象棋、围棋、扑克和其他需要多种策略才能获胜的游戏中击败人类玩家。

SoG结合了两种AI

科学杂志《新科学人》采访到了论文作者之一、曾在DeepMind公司从事AI工作的Martin Schmid,他目前已经离开DeepMind,在一家名为EquiLibre Technologies的初创公司工作。

Schmid表示,SoG模型可以追溯到两个项目,其一是由Schmid等人在加拿大阿尔伯塔大学读书时开发的AI DeepStack,它是首个在扑克游戏中击败人类职业玩家的AI;其二是DeepMind公司开发的AlphaZero,它在国际象棋和围棋等游戏中击败了最优秀的人类棋手。

这两种AI模型的区别在于,一种专注于不完美知识游戏,即玩家不知道其他玩家的状态;另一种专注于完美知识游戏,例如国际象棋,玩家可以随时看到双方所有棋子的位置,因而两者需要根本不同的方法。DeepMind聘请了整个DeepStack团队,合作开发一种可以泛化两种类型游戏的模型,也就是现在的SoG。

最初,SoG作为学习游戏策略的「蓝图」,通过练习持续改进。而后,这个入门模型可以在不同的游戏中自由发挥,并训练自己与自己的另一个版本对战,学习新策略并逐渐提升性能。

相比之下,DeepMind旗下的AlphaZero只适应围棋这样的完美知识游戏,SoG则可以同时适应完美和不完美知识游戏,因而具有更强的通用性,但在特定游戏的性能方面相对弱于AlphaZero。

DeepMind开发了这些游戏AI

  • 2017年10月,开发AlphaZero,不采用人类玩家的棋谱,而是通过自我对弈,超越了AlphaGo Lee、AlphaGo Master等旧版本;

  • 2019年1月,开发AlphaStar,在《星际争霸2》击败了职业选手TLO、MaNa;

  • 2020年12月,开发MuZero,在不告知游戏规则的情况下,让它通过观察大量游戏和棋类比赛来掌握围棋、国际象棋、日本将棋等规则,在国际象棋、围棋和日本将棋上达到了与接收过完善规则的AlphaGo相同的水平。


参考链接

https://www.science.org/doi/10.1126/sciadv.adg3256


Bonus

马斯克xAI旗下聊天机器人Grok预计下周上市

11月22日,马斯克在X平台(前身为Twitter)上表示,xAI公司开发的聊天机器人Grok预计下周面向付费订阅用户X Premium+开放,订阅费用为每月16美元。11月初,xAI公司推出聊天机器人Grok,它能够以对话形式回答用户的问题、生成文字或代码。区别于ChatGPT的是,Grok据说回答风格「有点机智,有点叛逆」,同时还能获取X平台的内容——后者可能有助于吸引X平台的付费订阅用户。

-END-


我们是一个诞生于GPT浪潮、由《第一财经》YiMagazine孵化的全新内容IP。

和每一位关心技术、关注人类命运的读者一样,我们希望在这个充满不确定性的时代,更好地理解快速变化的科技世界,也更好地理解生而为「高级智能」的我们自己。

在这个目标下,我们计划从学术、商业、伦理、监管等多个角度报道和讨论与「智能」相关的议题。请注意,我们说的智能,不只是 AI。


以下是最近发生的其他智能资讯

大西洋月刊:OpenAI在防止AI技术滥用方面不断失控

突发|CEO被开除,只是OpenAI危机的开始

智能晚报|马云尚未出售阿里巴巴股票;Sam Altman重返OpenAI CEO;微软Copilot下月1日登陆中国市场…


与记者交流,可添加微信(请备注公司名称和姓名):

王杰夫 微信号: wjfsty

张司钰 微信号: helianthus351

吴洋洋 微信号: qitianjiuye

 

喜欢就关注我们吧,记得设为星标」

继续滑动看下一个

智能晚报|神秘模型Q*或导致Sam Altman被罢免;阿里云将公共云和AI作为重点;Inflection新一代大模型...

徐弢 新皮层NewNewThing
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存