CVPR 作为计算机视觉和模式识别领域的世界级学术顶会，不仅是学者们展示前沿科技成果的学术会议，也是企业界探索前沿应用的重要平台。 人脸识别、语音识别、机器翻译……每一项人工智能应用的背后都离不开 AI 模型，而神经网络结构对最终的 AI 模型效果起着至关重要的作用。为降低传统神经网络结构设计对人工经验和背景知识的依赖，近年来神经网络结构搜索（NAS）技术成为学术界和工业界研究的热点。 为了推动 NAS 技术的发展，百度继 CVPR 2021 NAS Workshop 后，再度联合悉尼科技大学和美国北卡罗来纳大学举办了 CVPR 2022 NAS Workshop 和第二届轻量级神经网络搜索竞赛。竞赛从 NAS 研究的关键问题出发，设置超网络一致性、模型性能预测、未知数据三大赛道，吸引了全球45个国家和地区、超过400支队伍参赛，征集到来自阿里、腾讯、美团、OPPO 等公司以及清华大学、浙江大学、哥伦比亚大学、中科院等高校的众多解决方案，最终腾讯的太极伏羲队、个人组队的 AccNAS 队及 AltraRandom 队分别获得了三个赛道的冠军。 在刚刚过去的周末，CVPR 2022 NAS Workshop 在线上和线下同步顺利举行，本次 Workshop 不仅有竞赛冠军队伍宣讲技术方案，还邀请了王井东、欧阳万里、Baopu Li、Barret Zoph、Frank Hutter 等国内外著名学者进行演讲，分享了神经网络结构搜索技术（NAS）领域的最新进展和未来动向，并收录了来自华为诺亚方舟实验室、ETH 等企业/高校的论文。 三赛道挑战升级探索 NAS 技术革新之道 本次竞赛从网络结构搜索技术的关键问题出发，设置了三大赛道：超网络一致性赛道，模型性能预测赛道以及未知数据赛道。大赛为参赛者提供了1万美元的奖金，并提供了基于飞桨的基线方法。 ▍赛道一：超网络一致性 One shot NAS 是当前网络结构搜索技术的研究热点。得益于其参数共享的方式，研究人员不再需要独立训练评估多个网络的性能，只需训练一个超网络，并通过继承超网络参数的方式快速评估每个子网络的性能，实现高效的网络结构自动搜索。然而，独立训练子网络的性能、性能排序与子网络继承超网络参数的性能、性能排序之间有很大的偏差，该偏差会导致搜索得到结构性能差无法使用。本赛道设计了超网络一致性赛题探索该问题的解决方案。在超大规模搜索空间中基于 ImageNet 的 NAS benchmark 评估模型的一致性。 ▍赛道二：模型性能预测 AI 模型往往需要完成训练后进行性能效果测试，但训练过程本身需要消耗大量的时间和资源。如何在训练前准确的预测任意模型结构的性能、效果对 AI 应用落地极具价值。本赛道提供了部分（小样本）模型结构与模型精度之间对应关系的 benchmark，参赛选手既可以通过黑盒的方式直接进行训练，也可以使用白盒的方式进行参数估计。最终预测泛化性能最好的模型将夺得冠军。相比去年，今年赛题进一步增加难度，需要预测任意单模型在多个任务上的性能，希望单个模型能够覆盖所有主流的视觉任务。基于百度文心·CV 大模型 VIMER-UFO 技术方案，可在人脸、人体、车辆、商品四个任务的10+公开数据集进行效果验证。 ▍赛道三：未知数据 网络结构搜索技术的评测常在 CIFAR-10 和 ImageNet 等已知数据集上进行，然而现实中会碰到各种各样的数据分布。本赛道主要考察 NAS 算法在无超参调优情况下“开箱即用”的效果，在消除外部影响（如自定义预训练方案、超参数优化或数据增强策略）条件下，评测NAS算法对未知任务和数据集的效果。 NAS workshop 线上线下同时进行 在本次 Workshop 上，来自纽卡斯尔大学的 Stephen McGough 教授和来自百度的希滕博士分别在 New Orleans 现场和线上进行了开幕式致辞，并由希滕博士宣布了今年 NAS 国际比赛的胜出队伍。 本次研讨会共邀请到5位演讲嘉宾，百度视觉首席科学家王井东首先介绍了百度文心·CV 大模型 VIMER 的相关工作，并和现场及线上听众探讨了自监督预训练方案 Context Autoencoder （CAE）的原理与对下游任务效果提升；来自悉尼大学的欧阳万里教授介绍了 NAS 搜索空间设计的相关工作，并大家探讨了如何设计更好的搜索空间；Baopu Li 介绍了百度的 NAS 相关工作，与现场和线上观众探讨了 BNNAS 的更多应用场景；来自 Google 的 Barret Zoph 介绍了基于 MoE 大模型的相关工作，并与大家探讨了如何将 MoE和 NAS 相结合；来自 Freiburg 大学的 Frank Hutter 则介绍了 NAS Benchmark 的现状，并与现场和线上的听众一起探讨了 NAS Benchmark 的未来。
最后，百度主任研发架构师张刚、百度资深研发工程师希滕博士、来自 Red Hat 的 Rob Geada 博士分别主持了超网络一致性赛道、模型性能预测赛道以及未知数据赛道的获胜方案技术分享。 CVPR 2022 NAS Workshop 已经正式落下帷幕，会议中诞生的 Idea 也在陆续走向应用落地。百度在修炼好 AI 技术“内功”的同时，也将通过百度大脑不断向各行业场景输出技术能力与解决方案，进一步推动产业智能化升级发展。 研讨会的相关视频近期会同步到 NAS Workshop 官网：https://cvpr-nas.com/ 文心·CV 大模型 VIMER-UFO 开源地址:https://github.com/PaddlePaddle/VIMER/tree/main/UFO