ICML直击丨包揽最佳论文、现场发offer抢人…学术顶会变成了“大厂”顶会
邮箱｜huangxiaoyi@pingwest.com
邮箱｜yokyliu@pingwest.com
7月27日，与ICLR（国际学习表示会议）、NeurIPS（神经信息处理系统会议）并称三大机器学习顶级会议的ICML（国际机器学习大会），在奥地利维也纳会展中心落下帷幕。
延续了另外两大顶会的火爆程度，本届ICML共收到了9473篇论文投稿，相比去年直接暴增44%。其中，2610篇论文被录用，录用率为27.55%，144篇论文获得了Oral的机会，还有191篇是Spotlight，最终有10篇论文荣获Best paper。另外，还有一篇“Test of Time Award”，奖励的是会议发表多年后依然被广泛引用和讨论的论文，颁给了贾扬清等人在2013年10月发表的关于DeCAF的论文。
2个多月前，同一地点还举办了ICLR，一位参会者感叹会议极致的成本控制水平，“不仅场馆没变，Poster的演讲板都是一样的，甚至周边T恤除了印花不同，款式、材质都像是一批。”
和ICLR一样的还有现场的氛围，Poster区围得水泄不通，“我觉得自己的Poster有点水，但是外国友人们还是很热情地在问问题，讲了2个小时嗓子冒烟了。”一位参会者提到，“氛围特别好，唯一的不足是午餐难吃，但其实我们也没时间吃。”
不过，尽管相似性很多，但从结果来看，ICML和ICLR的评判标准却不同。ICML的录用论文中，有相当一部分最初被ICLR拒绝，例如在ICML拿到十佳论文的《Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution》，就是ICLR被拒后修改的版本。
一位获得Oral（可以上台演讲介绍自己的研究）机会的论文作者分享说：“与ICLR相比，ICML更注重实验数据的结果。”另一位被ICML拒绝的论文作者也表示：“USC教授告诉我们，学术论文未被采用的原因之一是缺乏worst case bound（最坏情况的界限分析）。”
大模型爆火一年多，围绕着LLM（大语言模型）的落地关键问题、最近火热的视频生成模型的进一步推进，以及对Transformer架构以外的优化和探索，都使得本届的ICML作为顶级会议，受到了产业界的广泛关注。
甚至，作为最务实的会议，ICML从获奖论文的选择到现场的氛围，都在从一个“学术顶会”变成产业对接和人才招聘的大会，甚至，变成了“大厂”顶会。
十佳论文，被大厂包揽
从十佳论文也能看得出ICML的实用主义：作者团队多来自于产业界，Google直接占了一半，其中一篇还有合作作者来自OpenAI ；剩下五篇里，一篇来自Stability，一篇有作者来自Anthropic，一篇作者有Pika创始人之一Chenlin Meng，基本被大厂揽了下来。
“现在的好工作，要么是从0到1，要么是拓宽当前热点模型、架构的边界。”一位论文reviewer给出了自己的看法。从公开数据显示，此次大会中2610篇论文里超过600篇论文的关键词是LLM，大语言模型成了绝对的主角。
十佳论文中也多是基于LLM出发思考其用于实际生产时的解决方案，包括此前一直待解决的隐私安全问题和推理效率等等。
例如，《Debating with More Persuasive LLMs Leads to More Truthful Answers》提出了一种帮助非专家模型提高答案准确性的办法——让模型彼此进行辩论和裁定；《Probabilistic Inference in Language Models via Twisted Sequential Monte Carlo》通过扭曲序列蒙特卡洛方法，将大型语言模型的概率推理转化为采样问题，提升推理技术的准确性；《Stealing Part of a Production Language Model》关注的是安全问题；还有聚焦隐私问题的《Considerations for Differentially Private Learning with Large-Scale Public Pretraining》探讨了在大型公共数据集上预训练的非私有模型的迁移学习功能如何提高差分私有机器学习的性能。
此外，虽然本次大会不是CV的主场，但CV也仍然是主角，甚至是现场呼声最高的。
备受关注的Stable Diffusion 3的论文《Scaling Rectified Flow Transformers for High-Resolution lmage Synthesis》，通过改进噪声采样技术，提出了一种新的基于transformer架构的新生成模型架构，提升了高分辨率的文字-图像生成的表现效果。
来自Google的《VideoPoet: A Large Language Model for Zero-Shot Video Generation》，介绍了一个名为VideoPoet的新型大型语言模型，采用了仅有解码器的Transformer架构，可以处理多模态输入，包括图像、视频、文本和音频，并合成高质量视频。值得注意的是，它拥有零样本学习（Zero-Shot Learning）的能力，这意味着VideoPoet在没有经过特定任务训练的情况下，也能够生成视频，由此能够大大减少了对大量训练数据的依赖，使得模型更加灵活和通用。
同样来自Google的《Genie: Generative Interactive Environments》定义了生成式AI的新范式——生成式交互环境（Genie），也是第一个在无监督方式下，能从无标签的互联网视频中训练生成的交互式环境，能够根据文本、图像、草图和其他提示生成可操作的虚拟世界。
来自斯坦福大学、Pika Labs的《Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution》则是针对离散数据领域，提出了一种新的离散扩散模型，通过引入得分熵损失来弥补标准扩散模型在离散结构上的不足，并取得了显著的性能提升。
反而是机器学习算法的研究成了少数，一篇研究了随机凸优化背景下记忆与学习之间的相互作用；
一篇通过分析 135 个图像和文本数据集，探讨了机器学习数据集中“多样性”的概念化、操作化和评估问题。
而在十佳之外，寻找Transformer替身也是一个入选论文的热门方向，例如优化Transformer，在Attetion层加入新算法、提升推理效率等等，不过暂时还未能有效解决Transfomer的瓶颈，仍处于非常早期。
大厂HR现场挖人，顶会秒变“人才市场”
从去年开始，ICML的氛围就开始慢慢变成了大型“招聘现场”。
伴随着生成式AI爆发的，是人才争夺战。2024年之后，硅谷“人才荒”尤为明显，Meta CEO 扎克伯格和谷歌创始人谢尔盖·布林都亲自出马招揽AI人才。扎克伯格甚至担任猎头，直接写邮件挖墙脚，提出免面试录取。
许多公司提供高达百万美元年薪来吸引顶尖AI人才。OpenAI和特斯拉都在调高薪酬标准，谷歌则设立了特殊的股票薪酬池，希望通过大额股票激励对抗OpenAI的砸钱挖人策略。
熟悉套路的Researcher们渐渐带着简历去ICML和其他顶会上碰碰运气，而且相较于CV，ML领域的就业领域相对更广泛，几乎是每个科技企业的“灵魂团队”。
在这样的背景下，今年ICLR和ICML中聚集的学术界大量的顶尖学者，也就成了科技企业眼中的“肥肉”。
ICLR中，这种抢夺的苗头就已经开始展现了出来，OpenAI、DeepMind、Meta等企业都着重对人才进行了闭门“招待会”，拉出了各自的技术大牛坐镇、一位论文作者同时收到了四家招待会的邀请，尤其是OpenAI和Meta就在同一天同一时间进行。“晚上连续赶了两场，OAI不搞展台但是把钱都花在了招待会上，但在Meta现场‘活捉’了LeCun，只能说都很值。”
两个月之后的ICML中，这种火药味变得更浓了，暗流涌动的人才争夺也被搬到了台面上。“去年是有人在Poster环节问作者相关背景，今年直接打明牌。不少作者在现场都接到了DeepMind和Meta的面试邀请，甚至有人直接面试，在ICML举办期间就拿到了offer。”
当然，这其中也不乏中国科技企业的身影。Job Board上，腾讯和华为赫然在列，南京大学人工智能学院也在吸纳学者们。
不过Job Board只是常规途径，ICML除了Oral和Poster环节，在现场也设有展台区，不少企业通过展台的方式，向学术界递出橄榄枝。ICML官网信息显示，字节跳动、蚂蚁集团、百度、华为都设有展台，展示研究成果的同时，顺便进行现场面试。
“字节的展台直接配了HR，现场查Google Scholar中的论文发表数量，达标就面试，卷得不行。”一位参会人感慨道：“字节展台的人都是豆包大模型团队，HR也讲了岗位开放基本上都是豆包团队的。业务的+1和HR都在现场。”这个细节足以见出字节对豆包的重视。
除了科技巨头，投资人们也在虎视眈眈。
一位获得了十佳论文的作者告诉我们：“在现场逛了一圈，陆陆续续被几波投资人聊了半天，国内几家知名的CVC机构都去了。”
据硅星人了解到，6月份，国内一些CVC投资人就开始着手准备去维也纳“捞人”，其中腾讯战投的身影活跃，对模型压缩、可解释性提升和GPT Moblile 都很感兴趣。另一位论文作者讲到：“被腾讯战投负责AI投资和产业合作的人拉着聊了很久，大模型和上下游都投，也在攒局，几个相关领域的Researcher可能组一个创业项目。”
一位投资人分析道：“学术圈的人很集中，就算本人没有创业想法，师哥师姐可能就有。而且国内现在创业环境比较在意学术背景，如果导师比较出名就更容易拿到早期融资了。”
ICML这样的AI学术会议一直都是研究者集中线下相聚交流的场合，在大模型带来AI研究者前所未有的黄金时期后，交流的意味没有变，但参与者的构成已经悄然改变。维也纳上空飘荡着的不再只是晦涩的学术术语和token，现在还有了金钱和野心。