【活动通知】SFFAI103×CRIPAC 局部监督训练专题

SFFAI 合作机构 CRIPAC 简介

智能感知与计算研究中心（www.cripac.ia.ac.cn）为中科院自动化研究所独立建制的科研部门，致力于研究泛在智能感知理论与技术以及与之相伴的海量感知数据的智能分析与处理。瞄准国际学科前沿，面向国家公共安全、智能产业发展等重大战略需求，着眼于基础理论创新与关键技术突破以及系统解决方案的研制，努力打造成为国际一流的研究中心，是集人才培养、技术创新、产业孵化为一体的创新平台。中心目前主要在多模态智能计算、生物识别与安全、生物启发的智能计算、智能感知基础理论四个方面展开科学研究。

会议内容

会议简介

一般而言，深度神经网络以端到端的形式训练。尽管端到端训练在大量任务中都稳定地表现出了良好的效果，但由于其极大的显存开销和难以并行化，执行的效率有待提升。为了解决或缓解上述两点低效的问题，一个可能的方案是使用局部监督学习，即将网络拆分为若干个局部模块（local module），并在每个模块的末端添加一个局部损失，利用这些局部损失产生监督信号分别训练各个局部模块。本期我们邀请到王语霖同学，分享他在局部监督训练方向的研究。

讲者介绍

王语霖，清华大学自动化系二年级直博生，导师为吴澄院士和黄高助理教授。此前于北京航空航天大学自动化学院获工学学士学位。研究兴趣为深度学习模型的高效训练和推理方法。在T-PAMI、NeurIPS、ICLR、CVPR等国际一流期刊、会议上发表学术论文8篇。

会议题目

局部监督训练：深度神经网络的“浅度”学习方法

会议摘要

这项工作研究了一种比目前广为使用的端到端训练模式显存开销更小、更容易并行化的深度神经网络训练方法：将网络拆分成若干段、使用局部监督信号进行训练。我们指出了这一范式的一大缺陷在于损失网络整体性能，并从信息的角度阐明了，其症结在于局部监督倾向于使网络在浅层损失对深层网络有很大价值的任务相关信息。为有效解决这一问题，我们提出了一种局部监督学习算法：InfoPro。在图像识别和语义分割任务上的实验结果表明，我们的算法可以在不显著增大训练时间的前提下，将显存开销降低1.7~2.5倍，并略微提升性能。

会议亮点

1、从效率（显存开销及并行化）的角度反思端到端训练范式；

2、指出了局部监督学习相较于端到端的缺陷在于损失网络性能，并从信息的角度分析了其原因；

3、在理论上初步提出了解决方案，并探讨了具体实现方法。

直播时间

2021年4月18日（周日）20:00—21:00 线上直播

关注本公众号，对话框回复“SFFAI103”，获取入群二维码

注：直播地址会分享在交流群内

论文推荐

“SFFAI103期来自清华大学的王语霖同学推荐的文章主要关注于局部监督训练领域，你可以认真阅读讲者推荐的论文，来与讲者及同行线上交流哦。”

关注文章公众号

回复"SFFAI103"获取本主题精选论文

经典论文

01

推荐理由：前深度学习时代影响巨大的工作之一，提出采用无监督、逐层贪婪学习的方式训练生成模型（这里主要指deep belief networks），有效解决了深层网络训练困难的问题，该方法在效率、可解释性方面也具有显著的优势。

02

推荐理由：同样是影响巨大的工作之一，首次提出采用贪婪的形式对深度网络进行逐层训练，作为更好的初始化方式，避免模型陷入局部最优。

03

推荐理由：基于boosting方法，提出将ResNet逐层分解进行训练，理论证明完备。

前沿论文

04

推荐理由：基于VGG提出了一种局部监督训练算法，主要基于CIFAR和SVHN进行了实验验证。

05

推荐理由：基于VGG，首次在ImageNet上验证了，深度神经网络也可以采用逐层的方式进行训练，且效果不会变差。但其所提方法计算开销较大，且未考虑ResNet、DenseNet等较新的网络结构。

06

推荐理由：作者在ICML2019上发表的文章进行了进一步拓展，一方面降低了方法的计算开销，另一方面在理论上证明了其收敛性，也探讨了异步训练的可行性。

SFFAI招募！

现代科学技术高度社会化，在科学理论与技术方法上更加趋向综合与统一，为了满足人工智能不同领域研究者相互交流、彼此启发的需求，我们发起了SFFAI这个公益活动。SFFAI每周举行一期线下活动，邀请一线科研人员分享、讨论人工智能各个领域的前沿思想和最新成果，使专注于各个细分领域的研究者开拓视野、触类旁通。

SFFAI目前主要关注机器学习、计算机视觉、自然语言处理等各个人工智能垂直领域及交叉领域的前沿进展，将对线下讨论的内容进行线上传播，使后来者少踩坑，也为讲者塑造个人影响力。SFFAI还在构建人工智能领域的知识森林—AI Knowledge Forest，通过汇总各位参与者贡献的领域知识，沉淀线下分享的前沿精华，使AI Knowledge Tree枝繁叶茂，为人工智能社区做出贡献，欢迎大家关注SFFAI论坛：https://bbs.sffai.com。

SFFAI历史活动

更多SFFAI历史活动

请点击文章底部“阅读原文”查看

分享、点赞、在看，给个三连击呗！