黄铠教授团队在IEEE TNNLS发表论文，用低秩约束模型训练，助力轻量化人工智能部署

近日，我院黄铠教授团队在国际电气与电子工程师协会（Institute of Electrical and Electronics Engineers）期刊Transactions on Neural Networks and Learning Systems（TNNLS）发表题为“Deep Learning Model Compression with Rank Reduction in Tensor Decomposition”的文章。该工作由来自AIRS、香港中文大学（深圳）、深圳大数据研究院的四位作者合作完成，为人工智能模型轻量化部署作出了重要贡献。

论文提出了一种新的模型压缩方法。研究团队提出的基于低秩张量分解的对偶模型训练方法，设计了自适应秩的方法，使得在不严重损失模型精度的条件下，极大地提升压缩率和计算效率。文中分析了该方法的收敛性和计算存储效率。团队在MNIST、CIFAR-10和ImageNet数据集对于LeNet、VGG、ResNet、EfficientNet和RevCol的实验中压缩率和模型推理速度均超过了一般的张量分解方法，且结果与理论结果相符。

论文链接:

https://ieeexplore.ieee.org/document/10321737

01

期刊介绍

TNNLS前身是IEEE Transactions on Neural Networks，由 IEEE于1990年创办，目前拥有全球150多位编委。2023年TNNLS最新的影响因子为10.4，在JCR期刊COMPUTER SCIENCE类中排名为3/54，目前位列中科院期刊分区一区。该期刊属人工智能、机器学习、计算机科学的交叉学科领域，主要刊发神经网络和学习系统相关的最新研究成果，是IEEE计算智能学会的旗舰刊物，神经网络和学习系统方面的国际顶级期刊。

02

研究内容

近几年，深度学习在各个领域取得了巨大成功，然而训练深度学习模型的开销仍然依靠海量的参数支持，这为部署深度学习模型到轻量化边缘设备带来困难，也给联邦学习的带宽需求带来压力。深度学习模型压缩技术是解决该问题的潜在方法，低秩张量分解是一种有效的方法。然而，现有的基于张量分解的压缩方法有两点缺陷。1：模型训练没有低秩约束，这导致低秩张量分解会使得模型丢失大量信息；2：秩-准确度难以权衡，现有方法往往需要预设秩作为超参数，这往往成为模型压缩的额外开销。

为了解决以上问题，研究团队提出了一种对偶模型训练方法，对深度模型训练进行低秩约束，并自适应地选择张量的秩，避免了模型压缩中繁重的超参数搜索。

研究团队提出的对偶模型训练方法，通过训练未压缩模型-减秩-训练低秩模型的循环训练方法，使得深度模型在低秩空间中，尽可能拥有较低的秩。

研究团队在MNIST、CIFAR-10和ImageNet数据集上，利用LeNet、VGG、ResNet、EfficientNet和RevCol网络进行压缩实验。对比其它基于张量分解的方法，该方法有较大提升。

消蚀实验中，研究团队发现卷积神经网络的秩，在进出通道方向上，能够快速地降低超过一半以上。这说明了低秩约束模型训练的有效性。

03

研究结论

在本文中，研究团队提出了一种新颖的对偶练方法来解决低秩深度神经网络压缩中存在的两个挑战。提出的方法将DNN模型显式约束在低秩空间中，以通过张量分解以及迭代和自适应秩降低实现最小精度下降和高压缩比。自适应秩降低显着减少了低秩压缩中的超参数搜索。压缩模型的推理时间和存储成本要低得多。对于CIFAR-10数据集上的VGG-16，文中的压缩模型提高了0.88%的准确度，存储减少10.41倍，加速6.29倍。对于ImageNet数据集上的ResNet-50，我们的压缩模型使得存储减少2.36倍，加速2.17倍。研究团队为所提出方案的收敛性提供了理论保证，并分析了时间和空间复杂度。使用文中的方法进行训练期间，联邦学习系统中的通信成本显着降低。该方案减少了13.96倍的通信开销。

实验结果表明，迭代降阶方案在压缩率、模型验证精度和FLOPs下降率方面优于其他张量分解压缩方法，并且适用于不同的数据集和网络。

04

作者简介

第一作者：戴维

戴维是香港中文大学（深圳）理工学院博士生，师从黄铠教授。他在香港中文大学（深圳）取得学士学位，在美国明尼苏达大学双城校区取得硕士学位。他的主要研究方向为人工智能、深度学习、联邦学习。博士论文专注于高效深度学习技术，包括模型压缩、深度学习加速、数据剪枝与异常检测。

通讯作者：黄铠

黄铠教授，伯克利加州大学计算机科学博士。黄铠教授曾在美国南加大与普渡大学任教多年，2018年加入香港中文大学（深圳）担任校长讲座教授，兼任深圳市人工智能与机器人研究院高性能智能计算中心主任。他在计算机结构、并行处理、云计算与物联网方面著作等身，桃李满天下。被评选入全球2%顶级科学家。他发表了10部专著，以及300多篇学术论文，被Google Scholar引用超过25000次。2005年获中国计算机学会CCF首届海外杰出贡献奖，2012年获世界云计算大会（CloudCom）终身成就奖。2019年获全球华人影响力盛典颁发的建国70年科技创新成就奖，2020年团队获得吴文俊人工智能自然科学奖。

其他作者：樊继聪

樊继聪现为香港中文大学（深圳）数据科学学院助理教授。他于2018年在香港城市大学电子工程系获得博士学位，并分别于2013年和2010年在北京化工大学获得控制科学与工程硕士学位和自动化学士学位。在加入香港中文大学（深圳）之前，他是康奈尔大学的博士后。他还曾在美国威斯康星大学麦迪逊分校和香港大学担任研究职位。他的研究方向是人工智能和机器学习，他在矩阵/张量方法、聚类算法、异常/离群点/故障检测、深度学习和推荐系统等方面做了大量研究工作。他的研究成果曾在多个知名学术期刊与著名国际会议上发表，如IEEE TSP/TNNLS/TII、KDD、NeurIPS、CVPR、ICLR和AAAI等。他是IEEE高级会员，目前担任期刊Neural Processing Letters的副编辑，主持国家自然科学基金青年项目一项、面上项目一项。

其他作者：缪一铭

缪一铭，香港中文大学（深圳）数据科学学院研究助理教授，兼任深圳市人工智能与机器人研究院高性能智能计算中心副研究员，IEEE会员，深圳市高层次人才。近五年主要从事数据驱动的通信、边缘计算与物联网的研究，连续负责承担了多项国家、省部、市厅级科研项目。在上述研究领域发表论文30余篇，包括8篇IEEE Trans./Journal论文。2016年获得第七届EAI国际云计算会议最佳学生论文奖，2021年获得MDPI《Big Data and Cognitive Computing》特刊封面论文奖。现担任《IEEE Transactions on Industrial Informatics》《IEEE Transactions on Intelligent Transportation System》《IEEE Wireless Comm.》《IEEE Network》《IEEE Trans. Big Data》《ACM Computing Surveys》等多个SCI期刊的审稿人，曾任国际会议IWCMC 2022 & 2021的研讨会主席，TRIDENTCOM 2017的网络主席和CloudComp 2016的本地主席。

* 相关信息由论文作者提供

相关阅读：