CVPR 2022 NAS研讨会再次启程,三大赛道邀全球高手参赛
CVPR 作为计算机视觉和模式识别领域的世界级学术顶会,不仅是学者们展示前沿科技成果的学术会议,也是企业界探索前沿应用的一大平台。
人脸识别、语音识别、机器翻译……每一项人工智能应用的背后都离不开 AI 技术算法模型,而神经网络结构对最终模型的效果起着至关重要的作用。为降低传统神经网络结构设计对人工经验和背景知识的依赖,近年来神经网络结构搜索(NAS)技术成为学术界和工业界研究的热点。
为了推动 NAS 技术的发展,去年百度联合悉尼科技大学和美国北卡罗来大学举办了 CVPR 2021 NAS workshop 和首届轻量级 NAS 国际竞赛,探讨了神经网络结构搜索技术(NAS)的现状和未来。
大赛最终吸引了全球69个国家和地区、超过600支队伍参加。比赛征集到众多优质的 NAS 解决方案,并邀请了多名国内外著名学者进行演讲,分享 NAS 领域最新进展和未来动向。
今年,为了进一步推动 NAS 技术的发展,百度继续联合悉尼科技大学和美国北卡罗来纳大学举办 CVPR 2022 NAS workshop,于3月22日正式启动第二届轻量级 NAS 国际竞赛,向全球开发者开放报名通道,为全球挑战者切磋交流前沿模型结构搜索技术提供绝佳机会。同时还邀请了王井东、欧阳万里和 Frank Hutter 等多名国内外著名学者进行演讲,分享 NAS 领域的最新进展。
本次研讨会仍以轻量级神经网络结构搜索技术为探讨话题,但今年挑战赛的赛题更具挑战性。不仅搜索空间更为复杂,而且数据集也比之前更具挑战。此外,本次还增加了搜索后网络结构在多任务应用中的效果评比,因此引入了统一特征表示优化技术(UFO:Unified Feature Optimization)的多任务超网络性能预测。UFO 是百度预训练基础模型 VIMER 中的多任务统一基础模型。
稍早前,VIMER-UFO 单模型刚刚刷新了10项公开数据集的最佳结果,并已开源:
https://github.com/PaddlePaddle/VIMER/tree/main/UFO
三赛道挑战升级
探索 NAS 技术革新之道
从实际技术研究中的关键问题出发,本次大赛特意设置了三大赛道:超网络一致性赛道,模型性能预测赛道以及未知数据赛道。参赛者可以任意选择参赛。
赛道一:超网络一致性 track
由于算法的高效性,One shot NAS 逐渐成为研究人员的研究热点。通过参数共享的方式,研究人员不再需要独立训练并评估每个子网络的性能而是只需要训练一个大的超网络,然后通过继承超网络参数的方式快速评估每个子网络的性能,从而可以非常高效的进行模型结构自动搜索。然而,独立训练子网络的性能、性能排序与子网络继承超网络参数的性能、性能排序之间有很大的偏差,从而导致搜索得到结构性能差无法使用。本赛道旨在解决超网络的一致性问题。相比去年的赛题,今年赛题采用更大的搜索空间,并提供了 ImageNet 的 NAS benchmark 用于评估模型的一致性。
赛道二:模型性能预测 track
在不训练的情况下,准确的预测任意模型结构性能非常重要。基于此,不仅可以深度的分析模型结构的性能优劣,同时还能够预测出满足任意硬件延时约束下的最优的模型结构。本赛事提供了部分(小样本)模型结构与模型精度之间对应关系的 benchmark,参赛选手既可以通过黑盒的方式直接进行训练,也可以使用白盒的方式进行参数估计。最终预测泛化性能最好的模型将夺得冠军。
与去年相比,今年赛题进一步增加难度,需要预测任意单模型在多个任务上的性能,希望单个模型能够覆盖所有主流的视觉任务。VIMER-UFO 是一个非常好的基准,可在人脸、人体、车辆、商品四个任务的10+公开数据集进行效果验证。
赛道三:未知数据 track
NAS 的评测常在 CIFAR-10 和 ImageNet 等已知数据集上进行,然而现实中会碰到各种各样的数据分步。本赛道主要考察 NAS 算法在几乎没有时间进行超参调优情况下“开箱即用”的效果。为了探索此问题,挑战赛设计了本赛道来评估 NAS 算法对未知任务和数据集的效果,同时专门消除了外部影响,如自定义预训练方案、超参数优化或数据增强策略。参赛者选手需要提供一个 NAS 算法,在给定一个未知任务和数据集时,输出该场景的最优模型。
扫码报名,了解赛事详情:
技术、平台、免费算力
百度连续两年助力 NAS 竞赛
作为人工智能技术领域的领军者与深耕者,百度在 NAS 领域拥有强大的技术优势和深厚技术积累,在 CVPR、ECCV 等国际比赛中多次夺冠并取得了多项行业认证。通过此次竞赛,百度期望与全球开发者就 NAS 技术展开广泛交流与学习,共同推进 NAS 技术的发展。
百度飞桨作为中国首个自主研发、功能丰富、开源开放的产业级深度学习平台,为本次竞赛参赛者提供了平台和 GPU 算力等技术支持,助力 AI 人才破除参赛桎梏。除了“以赛促学”、通过竞赛挖掘 AI 人才外,百度以飞桨为创新基座构建起涵盖学习、实践、比赛、认证、就业在内的全周期服务体系,已培养 AI 人才超100万。未来5年,百度还将培养超过500万人工智能技术与产业人才。
今年的竞赛为各位参赛者提供了丰富的参赛专属福利:报名即可免费申领 100h Tesla V100 GPU 算力(团队中每位成员均可领取),更有共计10,000美金的现金奖励等你来拿!
获胜的队伍会被邀请在 CVPR NAS workshop 上宣讲团队技术方案。此外,各 Track 的前三名队伍还会被邀请提交论文(可以不通过 cmt 系统提交,仅限 extended abstract 论文) 。
想进一步了解 CVPR 2022 NAS 国际竞赛详情和报名方式,可进入 workshop 比赛页面查看详细内容。
workshop 比赛页面:
https://www.cvpr-nas.com/
更多比赛福利信息,扫码进群了解
第二届轻量级 NAS 国际竞赛正式向你发出邀请,期待各位开发者在本场大赛中激发灵感,碰撞创意,收获硕果!