【AutoML】损失函数也可以进行自动搜索学习吗？

大家好，欢迎来到专栏《AutoML》，在这个专栏中我们会讲述AutoML技术在深度学习中的应用，这一期讲述在优化目标设计中的应用。

作者&编辑 | 言有三

一个有效的损失函数在深度学习任务中起了关键作用，然而损失函数都是人为设定，不仅需要有经验的人员进行反复尝试，也只能获得次优的方案，如果可以让模型自动对优化目标进行学习，将有望以更低的成本学习到更优的模型。

1 AM-LFS

AM-LFS[1]将不同任务的损失函数用一种统一的形式表示，设计了一个搜索空间，利用了强化学习的思想来自动搜索合适的损失函数的超参数，使用双层次优化框架来同时更新损失函数参数分布和网络结构权重参数，流程如下：

首先作者将softmax及其一些变种统一到一个框架，这里的τ和t都是函数。τ控制着样本不均衡变换，t控制着类内与类间的度量距离比例。

因此搜索空间就可以是一个分段线性函数构成的参数空间，可以使用强化学习方法进行高效的搜索。

任务的损失包含了两个，第一个是最小化任务的损失，第二个就是最大化模型奖励，此处奖励使用map等指标。具体的实现是在内层循环最小化任务的损失，外层循环最大化奖励，前者学习模型权重，后者学习损失函数的超参数，步骤如下：

当然，研究者们还对衰减机制也进行了搜索学习，感兴趣的读者可以去阅读原文。

2 其他

Learning to teach with dynamic loss functions[2]也是致力于学习最优的损失函数，但是它不是基于强化学习，而是直接基于梯度下降。具体到图像分类任务中softmax损失来说，需要学习一个sigmoid权重函数σ。

这可以看作是一种attention机制，状态向量st包含当前时刻t，当前的训练集和测试集以及每一个类的精度。

Learning Effective Loss Functions Efficiently[3]中则对正则化技术进行了学习，式子中的r就是一个分段线性凸函数。

Learning to teach[4]中不仅仅对损失进行了学习，对数据的使用等也进行了学习，感兴趣的同学可以拓展阅读。

[1] Li C, Lin C, Guo M, et al. AM-LFS: AutoML for Loss Function Search[J]. arXiv preprint arXiv:1905.07375, 2019.

[2] Wu L, Tian F, Xia Y, et al. Learning to teach with dynamic loss functions[C]//Advances in Neural Information Processing Systems. 2018: 6466-6477.

[3] Streeter M. Learning Effective Loss Functions Efficiently[J]. arXiv preprint arXiv:1907.00103, 2019.

[4] Yang Fan, Fei Tian, Tao Qin, Xiang-Yang Li, and Tie-Yan Liu. Learning to teach. In Interna-tional Conference on Learning Representations, 2018. 

总结

优化目标的自动学习是一个非常具有价值的研究方向，将大大降低研究人员在参数调试上的工作，同时寻找到更有利于任务学习的目标。

下期预告：AutoML在模型剪枝中的应用。

有三AI秋季划

有三AI秋季划已经正式启动报名，模型优化，人脸算法，图像质量共24个项目，助力提升深度学习计算机视觉算法和工程项目能力。

转载文章请后台联系

侵权必究

往期文章