科研速递 | 理工学院尹峰教授指导学生在 ICLR-2022 上发表文章

近日，香港中文大学（深圳）—深圳市大数据研究院—华为未来网络系统优化创新实验室，广东省大数据计算基础理论与方法重点实验室的核心成员尹峰教授与学生在深度学习领域顶级会议ICLR 2022上发表以“Fast Generic Interaction Detection for Model Interpretability and Compression”为题的文章。

会议链接：

https://iclr.cc

文章链接：

https://openreview.net/forum?id=fQTlgI2qZqE

代码链接：

https://github.com/zhangtj1996/ParaACE

01

会议介绍

ICLR是公认的深度学习领域国际顶级会议之一，关注有关深度学习各个方面的前沿研究，在人工智能、统计和数据科学领域以及机器视觉、语音识别、文本理解等重要应用领域中发布了众多极其有影响力的论文。ICLR采取完全公开评审规则，任何对论文有兴趣的研究者都可以参与到关于论文评审意见的讨论中。这使得ICLR论文评审的透明性和广泛性在深度学习顶级会议中独树一帜，同时也大大增加了论文被接收的难度。

02

研究背景

深度学习模型通常过参数化，可解释性差，提高模型压缩效率和模型可解释性一直是业界和学界关心的问题。

本文聚焦于对特征间非线性交互作用的检测和挖掘，利用通过解释黑盒模型得到的特征交互作用的信息，重新设计模型，从而达到简化模型结构、提升模型精度的目的。

03

研究方法

文章的主要方法分为两步，特征交互作用的检测和参数化ACE模型（ParaACE）构建。

图 1 主要方法概览

步骤一：从黑盒模型中检测特征交互作用

文章中作者从特征交互作用的定义出发，利用二阶导数信息检测特征交互作用，并用有限差分法进行数值计算。

作者发现对于模型的特征交互检测任务，有限差分的扰动h并不是越小越好，较大的h反而能提高交互作用检测的准确率，并从理论上说明了这样做的有效性。

另外，针对黑盒模型（任意函数F）计算开销大的情况，作者提出用UCB算法对特征交互作用检测来降低计算复杂度。若模型F中的交互作用具有稀疏性的特点，我们没有必要对相对弱的交互作用对进行过多的采样。

作者利用此方法在加州房价，帕金森综合征、药物组合发现等数据上得到了有趣的发现。

步骤二：参数化ACE模型（ParaACE）构建

利用检测到的特征交互，作者构建了参数化ACE模型（图1右），使得模型得以压缩并兼具可解释性和预测精度。从ParaACE的模块中，人们可以可视化观察特征和特征交互对是如何变换的，从而了解其中的含义。

作者在10个仿真数据集和5个真实数据集上验证了该方法的有效性见表一和表二（NRMSE越小越好，压缩率CR越大越好）。

表1 仿真数据预测精度NRMSE

表2 真实数据预测精度 NRMSE

04

研究结论及展望

此工作中作者提出了一种通用的特征间交互作用快速检测方法，并用于模型再设计。该交互作用检测方法不受限于模型的种类，可以适用于任意模型；根据特征交互作用设计的新模型ParaACE具有参数量少、所需训练样本少、预测精度高、可解释性强等特点。上述方法有望应用于金融、医疗、生物、通信等黑盒模型广泛使用但缺乏解释的领域，帮助人们更好的理解和迭代模型。

05

作者简介

本文第一作者是博士研究生张天健，由香港中文大学（深圳）理工学院的尹峰教授与罗智泉教授共同指导。

罗智泉教授于1984年在北京大学数学系获学士学位。同年他经美国数学学会以及美国工业与应用数学学会联合选拔（又称陈省身项目），获赴美攻读博士资格，进入美国麻省理工学院电子工程与计算机科学系以及运筹学中心学习，并于1989年获得博士学位。1998年成为加拿大麦克马斯特大学终身教授。2000年至2003年，任加拿大麦克马斯特大学电子与计算机工程系主任以及加拿大国家科研讲席教授。2003年至2014年，任美国明尼苏达大学电子与计算机工程系终身教授以及ADC讲席教授。自2014年5月，罗智泉教授被聘为香港中文大学（深圳）副校长，主管学术和科研。自2016年3月起，罗智泉教授兼任深圳市大数据研究院院长。自 2018年 6月起，罗智泉教授兼任香港中文大学（深圳）-腾讯 AI LAB 机器智能联合实验室主任。2020年9月，罗智泉教授兼任香港中文大学（深圳）—深圳市大数据研究院—华为未来网络系统优化创新实验室主任。

罗智泉教授曾荣获2010年美国运筹学和管理学研究协会（INFORMS）颁发的Farkas奖，以表彰他在最优化领域的杰出贡献。2018年，他获得 Paul Y. Tseng 连续优化纪念奖（Paul Y. Tseng Memorial Lectureship in Continuous Optimization） 。他在优化、信号处理及通信等领域的研究成果曾分别获得2004年、2009年、2011和2015年IEEE信号处理学会、2011年国际通信大会以及2011年欧洲信号处理学会的最佳论文奖。2021年4月，他被授予2020世界华人数学家联盟最佳论文奖（银奖） 。罗教授同时是电子工程师学会（IEEE）会士和美国工业与应用数学学会（SIAM）会士 。2014年他当选加拿大皇家科学院院士。2016年，他入选广东省领军人才。2021年，他当选中国工程院外籍院士。

罗智泉教授的研究主要集中在优化理论、算法设计以及其在信息科学中的应用。他多次被邀请在国际重要学术会议上做大会特邀报告，他是2003年国际数学规划会议大会以及2011年IEEE决策与控制大会特邀报告人、2006年IEEE SAM Workshop的杰出演讲者、2013年IEEE SPAWC会议以及2014年IEEE通信理论国际研讨会的大会特邀报告人。他曾任IEEE信号处理学会SPCOM技术委员会主席，曾担任IEEE信号处理期刊主编以及《运筹学数学》（Mathematics of Operations Research）, 《管理科学》（Management Science）和《数学规划》（Mathematical Programming）等国际著名杂志的编委。除了教学科研，罗教授还长期为国内外高科技企业以及政府研究机构提供技术咨询。

尹峰在上海交通大学攻读电子信息工程专业并于2008年获得本科学位。本科毕业之后，他来到德国达姆斯塔特工业大学继续攻读电子信息工程，并于2011年和2014年分别获得硕士和博士学位。在攻读博士学位期间，他获得了国家优秀自费留学生奖学金。在2014年，他从欧盟获得了玛丽居里学者奖学金。博士毕业后，他加入了瑞典爱立信研发部。他的主要研究方向为统计信号处理，数据融合，和机器学习。尹峰于2016年6月加入香港中文大学（深圳）和深圳市大数据研究院。

张天健2018年本科毕业于西安交通大学应用物理系，同年加入香港中文大学（深圳）理工学院和深圳市大数据研究院联合培养项目攻读博士学位。张天健的主要研究兴趣包括可解释机器学习，因果推断及其应用。

【END】

点击以下链接，进入理工时刻：