AGI 革命是第四次重大技术变革,大模型+Agent 创无限想象空间 | 涛滔不绝
【CSDN 编者按】大模型发展至今,卷参数已经不能满足想象,多模态、AI原生应用、Agent 赛道将开始新一轮的大战。如何拓展大模型能力边界?如何将其令人惊叹的能力落地为触手可及的应用?让我们持续聚焦。
“第四次技术革命以大模型开端,我们需要转换成 AI 原生者,利用 AI 扩大自己的能力边界。”李大海将 AGI 革命比作继蒸汽革命、电力革命和信息革命之后的第四次重大技术变革。
早在 ChatGPT 刚一出现,时任知乎 CTO 的李大海就注意到了它,“它是 AGI 时代的第一台蒸汽机”。除了惊叹于它的超强能力,也很早就下定决心一定要加入大模型战局。很快,他找到了面壁智能,彼时,这个从 Infra 到模型训练的积累都相当完整的团队,其大模型训练团队仅有二十多人。他认为,在技术研发早期,重要的是框架、大方向和主体的开发,人员不求多,只需足够强。
面壁智能是国内最早从事大语言模型研发的团队之一,其核心科研成员来自于清华大学 THUNLP 实验室,联合创始人刘知远是清华大学计算机系长聘副教授。“清华系”如今已占据中国大模型领域的“半壁江山”。
今年7月,面壁智能推出基于 CPM 基座模型的千亿多模态智能对话助手“面壁露卡Luca”。11 月,面壁智能的基座模型再次升级为千亿参数大模型 CPM-Cricket,其综合能力可对标 GPT-3.5,同时在逻辑推理方面表现尤为突出。在李大海看来,大模型能够真正应用在生产环境里解决实际问题,需要具备强大的逻辑推理能力。
当大模型的技术路线已在产业界达成广泛共识,各行各业如何才能发挥出大模型的巨大潜力并推动生产力的发展和变革?大模型应用有哪些想象空间?CSDN 创始人&董事长、中国开源软件推进联盟副主席蒋涛与面壁智能联合创始人、CEO 李大海在《涛滔不绝》的深度对话中,详细为大家展开。
AGI 革命是第四次重大技术变革
蒋涛:大模型已经推出一年多,各行各业都面临挑战,你何时关注到 ChatGPT,又如何评价它的诞生?
李大海:ChatGPT 刚一面世,我就关注到了。之后一周在知乎上内容量和发布量飞快上涨,业内无不惊叹产品本身的能力变化。我认为,以大模型为核心的 AGI 革命是第四次重大技术变革,它可以和蒸汽革命、电力革命、信息革命相提并论,并将持续至少 20 到 30 年,深刻改变我们的世界。若干年后,整个人类社会的生产和生活将会因 AGI 革命的演进而发生翻天覆地的变化。而 ChatGPT 就像是 AGI 时代的第一台蒸汽机。
蒋涛:与 OpenAI 的技术水平相较,我国大模型技术程度如何?
李大海:国内大模型技术正在快速接近 OpenAI ,如果 OpenAI 是 100 分,国内至少已经达到 85 分以上。今年 11 月,我们推出了全面升级的千亿多模态大模型 CPM-Cricket,它的综合能力可对标 GPT-3.5,同时在逻辑推理方面表现尤为突出。
作为国内最早自研大模型的团队,面壁智能从最初就认识到,大模型能够真正应用在生产环境里解决实际问题,需要具备强大的逻辑推理能力。因此,面壁智能在模型训练的过程中,针对逻辑推理做了非常多细致工作,将其拆分成包括归纳、演绎、时间、空间等多个维度,并专门攻克,逐一提升。
蒋涛:业内传闻有大模型公司曾试图构建万亿模型但未能得到理想结果,大模型真能达到万亿量级吗?这意味着什么?
李大海:大模型训练是一个系统工程,包含许多方面,如数据理解和处理、模型结构理解、底层架构和基础设施构建等,每方面都非常重要。一个数据庞大的万亿模型肯定会有更好的表现,这是毫无疑问的。然而,万亿模型在实际情况下的推理成本非常高。其实两年前,业内就有对万亿模型的探索,据说 GPT-4 就是由 8 个 220 B MoE 模型组成的万亿模型。万亿模型与 MoE 模型的结合可以兼顾模型的训练和推理。
蒋涛:每当业界出现一个领先的 benchmark,开源就会在一段时间内不断跟进,大模型的开源会是必然结果吗?
李大海:这是方法论问题。当一个新的 benchmark 出现,我们首先需要证明其可行性,找到其边界,然后不断降低成本以逼近边界,这是一种通用的训练方法。这个方法与开源关系不大,是否开源只是人们在创新完成后的一种自由选择。
大模型早期探索在精不在多
蒋涛:面壁与知乎的合作背后有哪些故事?
李大海:ChatGPT 刚出现,知乎就积极关注其技术应用。非常确定的一点是,我们一定会参与其中,最初考虑到成本问题,希望能与其他公司共创。对于不同的参与方式,我们分为“小搞、中搞、大搞”。大搞的方案是 follow Open AI,从一开始投入巨大成本。
当时面壁正在融资,沟通中我发现他们对大模型的理解相当深刻。早在 2019 年,面壁核心团队就开始从事大模型技术的研发。更难能可贵的一点在于,他们从 Infra 到模型训练的积累都相当完整。进行了代码和模型 API 评估后,我认为这个团队整体模型能力、算法优化程度质量非常高,因此迅速推动了合作。
蒋涛:面壁现有团队、资源、资金需求量如何?
李大海:目前面壁整体不到百人,人员在精不在多。软件开发领域一直存在这样的现象:在技术研发早期,重要的是将框架、大方向和主体开发出来,这时候不需要太多人,只需要足够强的人。但到成熟期,细节优化则需要投入更多人力。我认为大模型也是如此,早期要想有效地推动整个工作,不需要太多人,需要的是真正有能力关注数据、模型结构和 Infra 的人。
蒋涛:这些年轻人的能力水平与国外相比有何差异?
李大海:我们团队的年轻人们对大模型的理解还是很深的,他们对于技术发展的敏感度非常高,同时思想很开阔,能够快速学习和接受新鲜事物。其实每代人都有自己的特点,“ AI 原生”这个词今年也很火,人才也可以依据 AI 原生来划分。如“搜索原生”者,遇到任何问题都会想着用搜索引擎来解决,现在大多数人都是如此。虽然" AI 原生"者和"搜索原生"者的信息获取能力效率比目前仍然很难量化,但他们的区别不在于信息获取,而在于生产效率。能否尽快变成“AI原生”者,对公司的战斗力而言非常重要,面壁智能一定会是一家 AI 原生公司。
大模型+Agent 拓宽应用想象空间
蒋涛:面壁智能今年推出的智能对话助手“面壁露卡 Luca ”已经达到 85 分了吗?它有哪些新能力和发展空间?
李大海:85 分肯定是有的,我们的目标是不断逼近最优值。随着 CPM-Cricket 的推出,“面壁露卡 Luca ”也在快速成长,升级为 3.0 版本,其逻辑推理能力较首次发布提升了 163.9 %,综合能力提升 61.5 %。今年 11 月,Luca 通过了大模型备案,已正式面向公众开放服务。
为了评估模型在实际应用场景中的逻辑推理能力,我们给 Luca 进行了公考行测能力模拟测试。测试结果表明,Luca 在过去三年的公考试题中的总正确率达到了 63.76%,这甚至超越了 GPT-4 的 61.88 %的表现。在英语 GMAT 测试中,Luca 的得分接近 GPT-4 的 93 %,在某些题型上甚至有超越之势,展现出卓越的能力和潜力。
除此之外,Luca 在多模态能力的表现也非常突出,特别是在图片理解方面,有很多有趣的例子。我们曾制作一个找猫小游戏,以一张图片为例,测试是大模型先找到猫,还是用户先找到。Luca 对图片的理解能力是业内领先的,在背后我们积累了丰富的经验,与清华大学的实验室以及知乎共同做了很多努力。知乎上有很多高质量的图文配对数据,这对训练非常有帮助。这种读图能力未来用于儿童产品会非常合适,例如让小朋友自己画一副画,然后根据画面内容生成一个故事。当其达到一定准确度后,可以成为具身智能的基础能力,想象空间非常大。
蒋涛:除了 Luca 之外,面壁还在哪些方向有所布局和发力?
李大海:大模型好比汽车引擎,它为汽车提供动力。然而,要制造出一辆完整的汽车,除引擎外,还需要转向系统、底盘、内饰以及其他所有必要组件。同样,要充分发挥大模型的潜力,我们还需要在这个“引擎”基础上加入一系列高级技术,如增强的记忆能力和使用工具的能力,这样才能开拓更广泛的应用领域和想象空间。我们发现,AI Agent 正是集合这些技术能力的载体。
自今年年初,面壁智能就开始布局“大模型+Agent ”的技术路线和落地方向,已陆续发布并在 OpenBMB 开源社区开源了包括 AgentVerse 智能体通用平台、ChatDev 多智能体协作开发框架、XAgent 超强智能体应用框架等一系列由大模型驱动的 AI Agent 前沿创新与应用成果。
面壁智能正基于核心自主研发的大模型底座,构建一套旨在全面提升人类智能的架构。依托自研的强大 AI Agent 前沿技术与创新成果,我们升级打造了标准、易用的智能体协作平台 AgentVerse,该平台不仅服务于开发者,也为终端用户带来革命性的生产与作业方式,从根本上改造多个行业与人们的日常生活。
我认为,要想最大限度发挥大模型的生产潜力,需要结合 AI Agent 等深层次技术和能力,通过它们的互联互通与协作,拓宽应用的想象空间,创造更多可能性。
蒋涛:面壁还开发了 ToolLLM 工具学习框架等,接入 API 的能力,这意味着什么?
李大海:我们开发它的目的并非在于交互,而是让大模型能够使用更多的外部工具,从而拓展能力边界。当人类仅能利用自身的能力时,是十分有限的,但学会使用工具后,则极大地拓展了人类的生存和活动边界。大模型和 AI Agent 也是如此,当它们具备使用工具的能力时,就可以调用各种外部的 API,帮助我们解决更多生活和工作中的复杂需求。例如,理财助理 Agent 可以通过调用工具查询最新的股票信息,甚至帮助用户做出对应的操作。生活助理 Agent 则可以帮助我们预订机票和酒店,甚至根据需求挑选餐厅、订外卖,等等。有了调用外部工具的能力后,大模型和 AI Agent 可以变得无所不能。
企业应用大模型需考虑“第一性问题”
蒋涛:未来互联网上大模型创造的内容占比会更高吗?企业该如何用好大模型的能力?
李大海:对企业来说,首先要考虑自己的“第一性问题”,以及大模型作为一个技术对企业“第一性问题”的帮助是什么。我以知乎为例,作为一个高质量的内容社区,知乎的第一性问题是高质量内容的生产和分发,因此大模型在这里大有可为。有分析机构预测,到 2030 年,互联网上将有超过一半的内容诞生于 AIGC。我认为这很有可能实现,或许比 2030 年更早,这已经是不可逆转的趋势。
据观察,行业大模型应用的探索尚处于早期阶段,还没有完全将核心流程转变成以大模型为基础的流程。未来一定会有更多场景的 C 端应用诞生,而探索一定是需要时间的。
从另一个角度来看,大模型应用在业务中应该有两种收益,一种是降低成本,另一种是提升效率。我们在与法律行业客户的合作中发现,可以通过结合大模型和 Agent 技术为法律从业人员提供得力助手,针对案件关键点提取、事实点厘清、法律条款梳理等细分环节进行辅助工作,极大地缩短案件处理时间,提升他们的工作效率。
蒋涛:未来能借助 AI 发现新知识,比如科学定律吗?
李大海:我的答案相对乐观,目前已经有了 AI for Science 领域。在我看来,人类的许多知识进展都是一种组合创新,将两个不同领域的知识叠加在一起形成新的组合,这样的组合创新基于大模型学到的知识是可实现的。
如果让大模型创造出整个人类社会中没存在过的知识,就会很有难度。大模型有自己的能力边界,因为机器学习本质上是基于已有知识的泛化,与现有知识、已有数据分布完全不同的新信息,很难凭空创造。但是 AI for science 的确能帮助人们更好地做科研。
蒋涛:行业变化非常快,你有哪些建议以帮助大家在大模型时代取得成功?
李大海:我认为大模型技术带来了一个全新的时代,虽然第四次技术革命是以大模型开端,但未来如超导可控核聚变等,都有可能在这个阶段集中爆发。我们必须拥抱这个时代。你需要转换成 AI 原生者,利用AI来扩大自己的能力边界,这非常重要。大模型引发的最本质变革在于“人与机器之间关系的重塑”,我们将迎来一个由智能体相互连接的世界。
对话嘉宾:
蒋涛,CSDN 创始人&董事长,中国开源软件推进联盟副主席。曾领导开发了巨人手写电脑、金山词霸和超级解霸。1999 年创办 CSDN。CSDN 是中国专业开发者社区平台,全球开发者社区网站排名第二,目前注册会员超过 4700 万,覆盖全球 95 %中文开发者群体。在开源开放的新时代,CSDN 致力于打造开发者工具生产力入口,共建中国十万亿技术大生态。
李大海,面壁智能联合创始人、CEO。负责公司战略发展和管理,主导面壁智能大模型研发、创新和落地应用。他同时兼任知乎合伙人、CTO,带领超过 1500 人团队,帮助知乎开拓信息流产品,并实现从百万到亿级 MAU 跨越。李大海毕业于北京大学数学系,获得硕士学位。毕业后,他加入谷歌,成为谷歌中国创始员工之一,并曾在云云网担任工程总监、在豌豆荚任搜索技术负责人。李大海拥有超过 12 年创业经历,具备从零搭建顶尖技术体系、战略规划、技术管理和商业化落地的丰富经验。
▶“用 40 亿条 if 语句,只为判断一个数字是奇是偶?”
▶我的同事是 GPT-4 机器人,我们在 Slack 上一起工作
▶苹果市值一夜蒸发 7660 亿元;雷军:小米汽车 50 万以内有对手吗?Blender 诞生三十周年|极客头条