国防科技大学卢孟龙等：正则风险最小化的小批量割平面法

内容介绍

中文摘要：

虽然最近求解非凸问题的研究十分热门，尤其在机器学习需要可解释性模型情况下，凸优化仍然重要。求解凸问题可得到全局最优解，故而最终模型可用数学方法解释。通常为防止过度拟合，凸问题被重新描述为一个正则风险最小化问题。无论目标函数是否可微，割平面法是求解凸问题最佳方法之一。然而，割平面法及其变体无法充分应对大规模密集型数据，因为这些算法每次迭代都需访问整个数据集，大大增加了计算负担和内存成本。为解决这一问题，提出一种新的小批量割平面法。该算法通过对小批量采样数据进行计算，得到估计切割平面用于迭代，使其能处理大规模数据。此外，小批量割平面法使用“sink”算子检测和调整噪声估计以保证收敛性。在大量实际数据集上的数值实验证明了小批量割平面法有效性，收敛速度优于正则风险最小化的bundle法和普遍使用的随机梯度下降法。

关键词：

机器学习；优化方法；梯度法；割平面法

作者：

卢孟龙，乔林波，冯大为，李东升，卢锡城

单位：

国防科技大学并行与分布处理国家重点实验室，中国长沙市，410073

本文引用格式：

Meng-long Lu, Lin-bo Qiao, Da-wei Feng, Dong-sheng Li, Xi-cheng Lu, 2019. Mini-batch cutting plane method for regularized risk minimization. Frontiers of Information Technology & Electronic Engineering, 20(11):1551-1563.

https://doi.org/10.1631/FITEE.1800596

本文精要导读：

、

全文下载地址：

http://www.jzus.zju.edu.cn/oldversion/opentxt.php?doi=10.1631/FITEE.1800596

关于本刊

Frontiers of Information Technology & Electronic Engineering（简称FITEE，中文名《信息与电子工程前沿（英文）》，ISSN 2095-9184，CN 33-1389/TP）是信息电子类综合性英文学术月刊，SCI-E、EI收录，最新影响因子1.033。前身为2010年创办的《浙江大学学报英文版C辑：计算机与电子》，2015年更为现名，现为中国工程院信息与电子工程学部唯一院刊。覆盖计算机、信息与通信、控制、电子、光学等领域。文章类型包括研究论文、综述、个人视点、评述等。现任主编为中国工程院院士潘云鹤、卢锡城，实行国际同行评审制，初次转达意见一般在2~3个月内。文章一经录用将快速在线。

FITEE官网：http://www.jzus.zju.edu.cn

期刊Springer主页：

http://www.springer.com/computer/journal/11714

在线投稿地址：

http://www.editorialmanager.com/zusc

微信加群

---

为方便广大科研人员交流讨论，本平台建有以下学科微信群。有需要加群的用户，请加小编个人微信号fitee_xb，并留言想要加入的群，小编会拉您进群。营销广告人员请勿扰。

计算机科学与技术学术群	光学工程与技术学术群
控制科学与技术学术群	信息与通信学术群
电力电子学术群	人工智能学术

加关注  ID: fitee_cae

本公众号为中国工程院院刊《信息与电子工程前沿（英文）》（SCI-E、EI检索期刊）官方微信，功能包括：传播期刊的学术文章；为刊物关联学人（读者、作者、评审人、编委，等）提供便捷服务；发布学术写作、评审、编辑、出版等相关资讯；介绍信息与电子工程领域学术人物、学术思想、学术成果，展示该领域科学研究前沿进展；为该领域海内外学者提供友好互动平台。