【活动通知】SFFAI113×CRIPAC 算法优化专题

SFFAI 合作机构 CRIPAC 简介

智能感知与计算研究中心（www.cripac.ia.ac.cn）为中科院自动化研究所独立建制的科研部门，致力于研究泛在智能感知理论与技术以及与之相伴的海量感知数据的智能分析与处理。瞄准国际学科前沿，面向国家公共安全、智能产业发展等重大战略需求，着眼于基础理论创新与关键技术突破以及系统解决方案的研制，努力打造成为国际一流的研究中心，是集人才培养、技术创新、产业孵化为一体的创新平台。中心目前主要在多模态智能计算、生物识别与安全、生物启发的智能计算、智能感知基础理论四个方面展开科学研究。

会议内容

会议简介

近年兴起的深度学习方法存在泛化能力差的软肋，遇到与训练集不同的样本，缺乏真人那样举一反三和学以致用的能力。为了提升深度学习网络的泛化能力，正则化是一种常用的方式。正则化一般指通过对深度学习模型添加先验约束，提升模型的泛化能力，如常用的l2正则化。本期我们邀请到来自深圳大学的王振楠同学，分析他在新的正则化方法上的研究。

讲者介绍

王振楠，深圳大学博士生，聚焦于深度学习的基础性研究，如正则化、损失函数等，先后在ICCV和NeurIPS两个计算机领域顶级会议上发表论文。

会议题目

深度学习模型提升泛化性能的正则化新方法

会议摘要

不同于普通针对权重向量模长的正则化方式，本报告会介绍一种针对权重向量方向的正则化策略，使权重向量之间的相关性大幅减弱，降低网络的过拟合。此外，目前大多数正则化是在网络前向传播中添加的，本报告还会介绍一种在反向传播中隐性对梯度进行正则化的方法。作为对深度神经网络底层的改进，这些方法有可能与不同应用场景中的各类深度学习模型相结合。

论文标题：1. MMA Regularization: Decorrelating Weights of Neural Networks by Maximizing the Minimal Angles

2. PR Product: A Substitute for Inner Product in Neural Networks

论文下载：关注本公众号，对话框回复“SFFAI113”，获取下载

会议亮点

1、本报告介绍了一种使权重向量去相关性的正则化策略；

2、本报告介绍了一种对梯度正则化的策略，同样有去相关性的作用；

3、本报告介绍的正则化策略具有普遍适用性，可与多种任何多种模型结合使用。

直播时间

2021年7月4日（周日）20:00—21:00 线上直播

关注本公众号，对话框回复“SFFAI113”，获取入群二维码

注：直播地址会分享在交流群内

论文推荐

“SFFAI113期来自深圳大学的王振楠推荐的文章主要关注于基础研究的算法优化领域，你可以认真阅读讲者推荐的论文，来与讲者及同行线上交流哦。”

关注文章公众号

回复"SFFAI113"获取本主题精选论文

01

推荐理由：这篇论文是本报告内容的数理基础。类似的数学论文有很多，但这篇比较简洁全面的介绍了高维空间中的超球面上点的均匀分布问题，并且论述了常用的几类方法，还列出了几个常用的算法。

02

推荐理由：这篇比较早（据我所知，是第一篇）提出迭代的训练方式。也就是开始使用所有参数进行训练；一段时间后，把数值较小的参数去掉；继续训练一段时间后，把之前去掉的参数重新初始化接着训练。这样最后提升了模型的泛化性能。很新颖的训练方式。

03

推荐理由：这篇论文可以看成是上一篇的升华。主要有两点改进：①把DSD这种方式进行多次迭代；②在sparse阶段，使用权重向量的余弦相似性，来进行判断是否要去掉。这篇论文的写作对motivation有比较详细的叙述。

04

推荐理由：正交正则化在很多工作中都用，但据我所知，这是第一篇正式提出和论述正交正则化的论文。

05

推荐理由：这篇和本报告的内容非常相关。这篇论文也尝试使用均匀分布达到权重向量去相关性，但是其使用的是Thomson problem里面的势能函数，计算复杂、极小值点多。

06

推荐理由：这是上一篇论文的姊妹篇。首先证明了上一篇论文存在极小值点多的问题，并分析了其原因。然后，这篇论文提出一些解决这些问题的tricks。但是其解决方法并不涉及一种新的方案，属于对上篇论文方法的完善。

SFFAI招募！

现代科学技术高度社会化，在科学理论与技术方法上更加趋向综合与统一，为了满足人工智能不同领域研究者相互交流、彼此启发的需求，我们发起了SFFAI这个公益活动。SFFAI每周举行一期线下活动，邀请一线科研人员分享、讨论人工智能各个领域的前沿思想和最新成果，使专注于各个细分领域的研究者开拓视野、触类旁通。

SFFAI目前主要关注机器学习、计算机视觉、自然语言处理等各个人工智能垂直领域及交叉领域的前沿进展，将对线下讨论的内容进行线上传播，使后来者少踩坑，也为讲者塑造个人影响力。SFFAI还在构建人工智能领域的知识森林—AI Knowledge Forest，通过汇总各位参与者贡献的领域知识，沉淀线下分享的前沿精华，使AI Knowledge Tree枝繁叶茂，为人工智能社区做出贡献，欢迎大家关注SFFAI论坛：https://bbs.sffai.com。

SFFAI历史活动

更多SFFAI历史活动

请点击文章底部“阅读原文”查看

分享、点赞、在看，给个三连击呗！