自监督学习在CV进展？何恺明等最新ECCV2022教程《自监督表示学习计算机视觉研究》，全面讲述自监督视觉学习进展

本教程涵盖了自监督视觉表示学习领域的流行方法和最新进展。我们将介绍掩码自动编码器和对比学习等主题。我们将展示这些框架如何成功地从2D静态图像和动态视频信息中学习。最后，我们还将从机器学习的角度讨论自监督学习。总的来说，我们将展示不同自监督学习技术之间的联系和区别，并提供关于社区中流行方法的见解。

https://feichtenhofer.github.io/eccv2022-ssl-tutorial/

组织人员:

目录内容：

• Welcome and agenda - Xinlei Chen and Christoph Feichtenhofer, Meta AI

• Opening remarks - Yann LeCun, Meta AI and NYU

• Masked autoencoders as scalable vision learners  - Xinlei Chen, Meta AI

• Self-supervised learning from masked video and audio  - Christoph Feichtenhofer, Meta AI

• The virtuous cycle of object discovery and representation learning  - Olivier J. Hénaff, DeepMind

• Contrastive learning of visual representations - Ting Chen, Google

   Masked autoencoders as scalable vision learners 

论文链接：https://arxiv.org/abs/2111.06377

这篇论文展示了一种被称为掩蔽自编码器（masked autoencoders，MAE）的新方法，可以用作计算机视觉的可扩展自监督学习器。MAE 基于两个核心理念：研究人员开发了一个非对称编码器 - 解码器架构，其中一个编码器只对可见的 patch 子集进行操作（没有掩蔽 token），另一个简单解码器可以从潜在表征和掩蔽 token 重建原始图像。

研究人员进一步发现，掩蔽大部分输入图像（例如 75%）会产生重要且有意义的自监督任务。结合这两种设计，我们就能高效地训练大型模型：提升训练速度至 3 倍或更多，并提高准确性。

作者认为，这种可扩展方法允许学习泛化良好的高容量模型：例如在仅使用 ImageNet-1K 数据的方法中，vanilla ViT-Huge 模型实现了最佳准确率 (87.8%)。在下游任务中的传输性能优于有监督的预训练，并显示出可观的扩展能力。

Self-supervised learning from masked video and audio 

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“SSLC” 就可以获取《自监督学习在CV进展？何恺明等最新ECCV2022教程《自监督表示学习在计算机视觉》，全面讲述自监督视觉学习进展》专知下载链接

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取100000+AI(AI与军事、医药、公安等)主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“阅读原文”，了解使用专知，查看获取100000+AI主题知识资料