查看原文
其他

o1核心作者演讲:激励AI自我学习,比试图教会AI每一项任务更重要

Founder Park Founder Park
2024-10-21

“o1发布后,一个新的范式产生了”

其中关键,OpenAI研究科学家、o1核心贡献者Hyung Won Chung,刚刚就此分享了他在MIT的一次演讲。

演讲主题为“Don’t teach. Incentivize(不要教,要激励),核心观点是:

激励AI自我学习比试图教会AI每一项具体任务更重要

思维链作者Jason Wei迅速赶来打call:

Hyung Won识别新范式并完全放弃任何沉没成本的能力给我留下了深刻的印象。
2022年底,他意识到了强化学习的力量,并从那时起就一直在宣扬它。

在演讲中,Hyung Won还分享了:
  • 技术人员过于关注问题解决本身,但更重要的是发现重大问题;

  • 硬件进步呈指数级增长,软件和算法需要跟上;

  • 当前存在一个误区,即人们正在试图让AI学会像人类一样思考;

  • “仅仅扩展规模” 往往在长期内更有效;

  • ……
下面奉上演讲主要内容。

文章转载自量子位。

01 

对待AI:授人以鱼不如授人以渔

先简单介绍下Hyung Won Chung,从公布的o1背后人员名单来看,他属于推理研究的基础贡献者。

资料显示,他是MIT博士(方向为可再生能源和能源系统),去年2月加入OpenAI担任研究科学家。

加入OpenAI之前,他在Google Brain负责大语言模型的预训练、指令微调、推理、多语言、训练基础设施等。

在谷歌工作期间,曾以一作身份,发表了关于模型微调的论文。(思维链作者Jason Wei同为一作)

回到正题。在MIT的演讲中,他首先提到:

通往AGI唯一可行的方法是激励模型,使通用技能出现。

在他看来,AI领域正处于一次范式转变,即从传统的直接教授技能转向激励模型自我学习和发展通用技能。

理由也很直观,AGI所包含的技能太多了,无法一一学习。(主打以不变应万变)

具体咋激励呢??

他以下一个token预测为例,说明了这种弱激励结构如何通过大规模多任务学习,鼓励模型学习解决数万亿个任务的通用技能,而不是单独解决每个任务。

他观察到:

如果尝试以尽可能少的努力解决数十个任务,那么单独模式识别每个任务可能是最简单的;
如果尝试解决数万亿个任务,通过学习通用技能(例如语言、推理等)可能会更容易解决它们。

对此他打了个比方,“授人以鱼不如授人以渔”,用一种基于激励的方法来解决任务。

Teach him the taste of fish and make him hungry.(教AI尝尝鱼的味道,让他饿一下)

然后AI就会自己出去钓鱼,在此过程中,AI将学习其他技能,例如耐心、学习阅读天气、了解鱼等。

其中一些技能是通用的,可以应用于其他任务。

面对这一“循循善诱”的过程,也许有人认为还不如直接教来得快。

但在Hyung Won看来:

对于人类来说确实如此,但是对于机器来说,我们可以提供更多的计算来缩短时间。

换句话说,面对有限的时间,人类也许还要在专家 or 通才之间做选择,但对于机器来说,算力就能出奇迹。

他又举例说明,《龙珠》里有一个设定:在特殊训练场所,角色能在外界感觉只是一天的时间内获得一年的修炼效果。

对于机器来说,这个感知差值要高得多。
因此,具有更多计算能力的强大通才通常比专家更擅长特殊领域。

原因也众所周知,大型通用模型能够通过大规模的训练和学习,快速适应和掌握新的任务和领域,而不需要从头开始训练。

他还补充道,数据显示计算能力大约每5年提高10倍。

总结下来,Hyung Won认为核心在于:

  • 模型的可扩展性
  • 算力对加速模型进化至关重要

此外,他还认为当前存在一个误区,即人们正在试图让AI学会像人类一样思考

但问题是,我们并不知道自己在神经元层面是如何思考的。

机器应该有更多的自主性来选择如何学习,而不是被限制在人类理解的数学语言和结构中。

在他看来,一个系统或算法过于依赖人为设定的规则和结构,那么它可能难以适应新的、未预见的情况或数据。

造成的结果就是,面对更大规模或更复杂的问题时,其扩展能力将会受限。

回顾AI过去70年的发展,他总结道:

AI的进步与减少人为结构、增加数据和计算能力息息相关。

与此同时,面对当前人们对scaling Law的质疑,即认为仅仅扩大计算规模可能被认为不够科学或有趣。

Hyung Won的看法是:

在扩展一个系统或模型的过程中,我们需要找出那些阻碍扩展的假设或限制条件。

举个例子,在机器学习中,一个模型可能在小数据集上表现良好,但是当数据量增加时,模型的性能可能会下降,或者训练时间会变得不可接受。

这时,可能需要改进算法,优化数据处理流程,或者改变模型结构,以适应更大的数据量和更复杂的任务。

也就是说,一旦识别出瓶颈,就需要通过创新和改进来替换这些假设,以便模型或系统能够在更大的规模上有效运行。


02 

训练VS推理:效果相似,

推理成本却便宜1000亿倍

除了上述,o1另一核心作者Noam Brown也分享了一个观点:

训练和推理对模型性能提升作用相似,但后者成本更低,便宜1000亿倍。

这意味着,在模型开发过程中,训练阶段的资源消耗非常巨大,而实际使用模型进行推理时的成本则相对较低。

有人认为这凸显了未来模型优化的潜力。

不过也有人对此持怀疑态度,认为二者压根没法拿来对比。

这是一个奇怪的比较。一个是边际成本,另一个是固定成本。这就像说实体店比其中出售的商品贵500000倍

对此,你怎么看?

Hyung Won Chung演讲PPT:
https://docs.google.com/presentation/d/1nnjXIuN2XDJENAOaKXI5srQscO3276svvP6JgivTv6w/edit#slide=id.g2d1161c9c52_0_20





更多阅读

o1发布后,信息量最大的圆桌对话:杨植麟、姜大昕、朱军探讨大模型技术路径
Claude工程师聊prompt:不要把模型当小孩子、不需要角色扮演、实话实说
8月份AI应用月活盘点,离超级应用有多远?ChatGPT还有机会吗?
OpenAI  o1是AGI下半场的开始,强化学习将成为新的 Scaling Law

转载原创文章请添加微信:founderparker
继续滑动看下一个
Founder Park
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存