来这里,与GenAI时代的前沿创业者对话 |【奇绩潜空间】第二季开始报名
为了给创业者们提供一个交流、学习和合作的平台,奇绩创坛建立了科研 / 创业人才社区【奇绩潜空间】,并找到了 GenAI 时代冲得最快的一批创业者 / Researchers ,让他们来分享自己的亲身经历和见解,希望可以为所有 GenAI 时代的创业者、从业者提供可借鉴、可复制的经验。
继第一季Kimi 智能助手开发商——月之暗面(Moonshot AI)创始人杨植麟、刘子鸣(MIT KAN)、吴翼(边塞科技创始人)、赵子豪( ALOHA)的分享后,奇绩潜空间第二季即将开始,我们邀请到了姚顺雨、吕骋、尤洋、蔡天乐等嘉宾,他们将继续为大家带来精彩的闭门分享。
【第1期嘉宾预告】姚顺雨 - 普林斯顿计算机系博士,ReAct 、思维树框架提出者, Agent 智能领域最早探索者之一。在本期分享中,姚顺雨将会带来更多关于 Agent 的理论挖掘与未来判断。
【第2期嘉宾预告】吕骋 - 最热 AI 硬件 Rabbit-R1 创始人,吕骋将在本次分享中分享 Rabbit R1产品的最新进展,更将带来关于跨时代 AI 硬件的独特认知与深度思考。
图片为吕骋创立的AI硬件 Rabbit-R1
【第3期嘉宾预告】尤洋 - 新加坡国立大学校长青年教授,曾创造 Imagenet、Bert 等多项训练速度世界纪录,曾任职谷歌、微软、英伟达等国际知名厂商。现任潞晨科技创始人。尤洋将分享大语言模型训练的分布式计算技术。
【第4期嘉宾预告】蔡天乐 - 普林斯顿“小天才”, Medusa 推理优化论文作者,曾任职谷歌、TogetherAI ,MyShell 模型核心贡献者、创业者、天使投资人。蔡天乐将带来大模型推理 (Large Model Inference) 的分享。
不仅如此,本次活动还增设专题【匹配合伙人 Cofounder Matching】环节,为你提供与一个与创业者和研究者深入交流的机会。
报名通道现已开启,欢迎扫描下方海报二维码报名!
【奇绩潜空间】第一季内容回顾
【内容回顾】杨植麟(Kimi智能助手开发商——月之暗面 Moonshot AI创始人)潜空间第1季第1期嘉宾
关键词:多模态 早期壁垒
杨植麟分享了 Moonshot AI 的创立过程以及与数百名候选人和投资人的交流经验。他认为大模型产品的难点在于加深人类对 AI 的信任感,需要更鲁棒的模型,而把产品看作一个环境,让很多用户输入反馈交互,模型在动态的数据集中不断去探索,训练结果能够优于规模定律的预测,更高效地获得鲁棒模型。
相比于文本数据,视频数据有更大的数据量级,但学习它的难点在于从图像本身学习并根据图像序列预测下一张图像,需要找到更有效的技术手段来捕捉和理解图像中的高信息量内容,以实现对复杂视觉内容的深入学习和预测,甚至学习到没有被文字表述,但存在于图像和真实世界的规律。
【核心观点节选】
“效率的提升跟效果的提升本质上是一回事,【更小的模型一样的效果】和【一样的模型更好的效果】,这两句是等价的。GPT-4o 的发布说明 OpenAI 模型能力效果有很大的提升,明显多模态建模的能力和效率 / 效果有提升。” “创业者更需要关注微调数据。有一个说法叫“数据即产品” (Data is the product) 。你希望你的产品长什么样,以及你希望得到什么样的体验——那你就去收集这种符合这种产品或这种产品体验的数据,这是早期搭建壁垒一个很好的方式。” “通用人工智能时代,本质上你的产品是在创造新的 GDP ——大部分的 GDP 是智能创造出来的,智能以前只有一个地方能产生,现在突然有新的地方可以产生——所以本质上是在从增量的 GDP 里面去抽成。”
【内容回顾】刘子鸣(MIT)潜空间第1季第2期嘉宾
关键词:KAN,AI+Physics
刘子鸣来自 MIT,他做出了 Kolmogorov-Arnold Networks 工作。他从学术视角介绍了 KAN 在多个方面展现出的优势。它能够有效简化多层神经网络需要解决的高维函数逼近问题,将其转化为更易于处理的一维函数,不仅提高了模型的效率,而且在科学发现领域,KAN 展现了出色的表现和更高的可解释性。
此外,KAN 被视作 AI 与科学结合的潜在"语言"模型,允许科学家通过调整模型结构和使用函数作为沟通媒介与模型进行交互,进而嵌入学科知识,以期获得更符合科学预期的效果。
总体而言,KAN 是 AI+Physics 领域的一次有趣尝试和有效探索,启发我们:像理解物理一样去理解 AI (Physics of AI);用数理规律和模型设计更好的 AI (Physics for AI);用 AI 物理学家来帮助人类物理学家进行科学发现 (AI for Physics)。
【核心观点节选】
“我们目前对 Scaling law 的理解更像是在地心说阶段,我们仍需要更多努力以更高维度(如全新数学角度)理解问题。对于少体问题,我们可以通过经典物理力学求解,多体问题(10 的 23 次方量级)我们采用统计物理去理解,但现在的大模型问题位于少体与多体之间。” “在人工智能发展过程中,符号主义和连接主义具有周期交替占据上风的趋势。KAN 作为一种神经网络,具有连续主义的特性,而 KAN 因为比较容易被简化和符号化,它从某种意义上来说也与符号主义也有一些关系。”
【内容回顾】吴翼(边塞科技创始人)潜空间第1季第3期嘉宾
关键词:强化学习 游戏 常识推理
吴翼以“狼人杀”游戏为例,验证通用人工智能在复杂推理游戏中的超人表现。游戏中,AI 需对发言可信度持续观察推理,并巧妙以不同身份完成诈唬、合作、对抗等行为的文字表达。
经过实验发现,由于训练方式和数据收集的问题,大语言模型在复杂场景下的学习偏差依然显著,而大语言模型与强化学习的结合展现出巨大潜力——虽然大语言模型在单独决策时存在偏差,但通过引入分层设计,大语言模型为强化学习提供了常识、推理和沟通的坚实基础,强化学习的策略性训练使 AI 在游戏中展现了卓越的决策能力,最终使其超越人类水平,揭示了 AI 与人类合作与交互的广阔前景。
【核心观点节选】
“强化学习的观念正在改变。过去,人们认为需要一个有明确的奖励或可模拟的场景,但 ChatGPT 的出现表明,可以学习一个奖励模型。然而,尝试寻找一个完美的奖励模型是不可能的,不可能仅通过离线数据集来创建一个超级准确的奖励函数,所以在线反馈至关重要。” “最近 LeCun 说如果你是一个学生,你想做 AGI,你现在应该不要去研究 LLM,而是去研究 LLM 以外的东西。我觉得 LeCun 这个观点没错,如果你想拿图灵奖,那么你现在做 LLM 就不太可能拿到,应该去做更费脑筋的事情。但对于学生来说,你可能还要做好平衡,可以在保留理想的同时先把工作做好。比如,先发表一些文章,做些研究让大家知道你,然后再去做一些基础研究。”
【内容回顾】赵子豪(ALOHA 项目)潜空间第1季第4期嘉宾
关键词:机器人 具身智能 数据集
在最后一期活动中,ALOHA 项目的创作者赵子豪深入探讨了机器人的发展路径。他主张模仿学习为机器人提供了一条相对稳健的学习之路。在经过大规模的模仿学习后,若能与强化学习相融合,通过针对性的目标优化,可显著提升模型或机器人的性能及其环境适应性。
然而,机器人学习面临的一个关键挑战是缺乏现成的数据集。因此,探索一种既可扩展又成本低廉的数据收集方法显得尤为重要,这样才能开发出能精确捕捉精细操作数据的模型。
子豪强调,只要有了强大的精细操作模型作为支撑,即便是简单的双抓夹也能灵活高效地完成众多任务。而 ALOHA 项目的终极目标,是让那些对硬件和机器人技术不甚了解的人也能轻松上手,利用仅需 35,000 美金的硬件,实现远超当前水平的性能表现。
【核心观点节选】
“机器人和大语言模型类似,更多需要解决数据问题,而不是解决算法问题。当时人们预期模型需要很精致的设计,但最后发现其实不需要做任何事情,只要数据量够大,模型够大,模型就会有内在的理解,自行去解决这个问题。具体来说,数据上可能需要一些过滤,而模型架构和损失函数则不需要做特别的处理。” “数据和算力比较,数据的瓶颈更大。事实上,具身智能的数据还远没有到可以让算力成为瓶颈的阶段。关于具身数据,我认为现实生活中收集数据更好,因为仿真软件还有局限性。生活中有一些任务,比如折纸、做菜,如果在仿真环境里去模拟,其准度和速度都较低,离实际运用还非常远。”
第一季参与者的反馈
第一季的活动吸引了一大批来自顶尖高校和知名科技公司的从业者参与,如 OpenAI 、Tesla 、月之暗面、智元、百度、字节、百川、清华、上交等等,我们也收集到了往期参会者的真实反馈:
“ Latent Space 分享的内容非常“干”(干货的干), 能有机会听到大模型领域最前沿的 Researcher 和创业者的分享,收获很大。借用嘉宾杨植麟说的一句话,视频数据是熵含量特别高的数据,我觉得潜空间也是熵含量特别高的活动。”—— Zuoning F23 校友
“我参加了两场,主要是去听报告,听完就撤了,所以后续的活动没有参加。我听的两场是吴翼和 tony 的,确实办得很好,请来的人都是年轻且有想法的,并且奇绩留了大量时间让嘉宾和观众交流,非常有收获。”——杨金宇 F23校友
“奇绩的 Latent Space 是个很好的学习机会,尤其是在一个高质量的学术环境里学习最先进的前沿技术方向,比如 KAN 和无损压缩,也是一个结识志同道合的新伙伴的好机会。”—— Austin S24 校友
“在奇绩创坛的具身智能活动上,我有幸聆听了 Tony Zhao 的精彩报告,从中获得了丰富的机器人领域经验和对未来发展方向的深刻见解。会议结束后,我还与领域内的同僚们进行了深入的交流,互相分享了各自的专业经验,这些互动无疑加深了我对具身智能领域的理解,并激发了我对未来研究的新思路。”——吴博士 清华