【AutoML】AutoML专栏上线，跟Google一起见证调参党的末日？
大家好，今天开设新专栏《AutoML》，即Automated Machine Learning。在这个专栏中，我们会讲述AutoML相关的内容，覆盖数据使用，模型架构，优化算法等内容。
我大概在两年前的时候开始关注深度学习自动化相关的技术，AI自动化的那天早晚都会到来，它不仅会把图像识别等技术自动化，也会逐渐蚕食写程序，设计类的工作岗位，最后把开发AI的人也给干掉，这一篇我们先来大致看看在深度学习领域，它们已经做到什么程度了。基本上所有的研究都是从谷歌开始，谷歌再次全面领导了新的革命。
作者&编辑 | 言有三
作为第一篇，我们先粗略介绍一下AutoML技术是什么，以及可以做些什么？
1 什么是AutoML
所谓AutoML，全称是Automated Machine Learning，即自动机器学习技术，它的发展现状可以参考下面的综述文章。
Zoller M, Huber M F. Survey on Automated Machine Learning.[J]. arXiv: Learning, 2019.
AutoML的目标是让机器学习的整个流程的创建完全自动化，从应用领域来说，这通常要包括数据的使用，特征的选择，模型架构的设计，优化方法的使用，所以这些方向都会涉及到超参数的自动调节。
有了AutoML技术后，各个领域的专家便能够低门槛地使用机器学习技术，而不用依赖于机器学习专家。
2 数据使用与特征选择
智能系统与机器学习技术的发展，本身就伴随着对数据的使用方法的进化。从传统的专家系统，到有监督的机器学习算法，到深度学习，本身就属于AutoML的范畴，它解决了特征选择的问题，让特征的学习来源于数据，而不是手工设计。
所以深度学习也被称之为特征学习，它利用CNN等架构，实现了特征选择的过程。
另一方面，在机器学习/深度学习领域中，还有一个很重要的问题，就是数据增强。在解决各类任务的过程中，常常没有足够多的数据，数据太少便意味着过拟合，因此数据增强技术至关重要。
曾几何时，我们采用各种各样的几何变换，颜色变换策略来进行数据增强。随机裁剪，颜色扰动，都对提升模型的泛化能力起着至关重要的作用。
技术发展到了现在，AutoML技术开始在数据增强领域展露头脚，以Google Brain提出的AutoAugment为代表的方法，使用增强学习对不同的任务学习到了各自最合适的增强方法，具体细节，大家可以参考论文和我们之前的往期文章解读，以后我们也会继续开篇讲述更新的研究。
Cubuk E D, Zoph B, Mane D, et al. AutoAugment: Learning Augmentation Policies from Data.[J]. arXiv: Computer Vision and Pattern Recognition, 2018.
数据使用和特征选择作为最早被AutoML技术攻陷的领域，是机器学习算法走向智能和商业化落地的关键，
3 网络结构设计NAS
一直以来，网络结构的设计是一个非常需要经验且具有挑战性的工作，研究人员从设计功能更加强大和更加高效的模型两个方向进行研究，我之前在知乎上也做了两个live直播讲述对应的核心技术，感兴趣可以去听听。
随着各类经典网络设计思想的完善，如今要手工设计出更强大的模型已经很难，而以AutoML为代表的技术在三年前开始被研究。
Google首次提出了自动设计网络模型的思想，利用增强学习进行最佳架构的搜索。学习方法如下，基本思想是从一个定义空间中选取网络组件，使用网络的准确率作为指导指标，使用强化学习进行学习。
学习到的网络结构如下：
从上面的结构可以看出，它拥有以下特点：
(1) 跨层的连接非常多，说明信息融合非常重要。
(2) 单个通道数不大，这是通道使用更加高效的表现。
从Flops指标来看，已经非常的高效，不过因为结构相对复杂，实际在硬件平台上运行时性能并不一定优于MobileNet等模型，但是仍然是非常高效的网络。
以上研究催生了Google Cloud AutoML，并在2018年1月被Google发布，AutoML技术的研究进入高潮，这两年成为机器学习/深度学习的大热门。
我们公众号还没有更新到相关内容，可以参考隔壁机器之心等媒体的文章，以及相关综述。现在NAS算法所用的基本结构和模块都是已有的模块，未来的方向应该是更广阔的搜索空间。
[1] Zoph B, Le Q V. Neural Architecture Search with Reinforcement Learning[J]. international conference on learning representations, 2017.
[2] Zoph B, Vasudevan V, Shlens J, et al. Learning Transferable Architectures for Scalable Image Recognition[J]. computer vision and pattern recognition, 2018: 8697-8710.
[3] Elsken T, Metzen J H, Hutter F, et al. Neural Architecture Search: A Survey[J]. Journal of Machine Learning Research, 2018, 20(55): 1-21.
4 优化方法的搜索
曾几何时，我们设计，比较，分析sigmoid，tanh，relu等激活函数对网络性能的影响。
而Google Brain提出的以Swish为代表的方法，在一系列一元函数和二元函数组成的搜索空间中，进行了组合搜索实验，利用数据学习到了比ReLU更好的激活函数，可以参考往期文章(点击图片)。
Ramachandran P, Zoph B, Le Q V. Searching for activation functions[J]. arXiv preprint arXiv:1710.05941, 2017.
曾几何时，我们还在争论是最大池化好还是平均池化好，如今基于数据的池化策略已经被广泛研究。
Saeedan F, Weber N, Goesele M, et al. Detail-Preserving Pooling in Deep Networks[J]. computer vision and pattern recognition, 2018: 9108-9116.
曾几何时，我们还在不知道选择什么样的归一化方法好，如今，对每一个网络层学习最合适的归一化策略也是可行的。
Luo P, Ren J, Peng Z, et al. Differentiable Learning-to-Normalize via Switchable Normalization[J]. international conference on learning representations, 2019.
曾几何时，我们在各种各样的优化方法中迷茫，如今，自动学习优化方法也开始被研究。
Bello I, Zoph B, Vasudevan V, et al. Neural Optimizer Search with Reinforcement Learning[J]. international conference on machine learning, 2017: 459-468.
曾几何时，我们还在想尽办法设计损失函数，如今，使用AutoML进行损失函数的学习也开始了。
Wu L, Tian F, Xia Y, et al. Learning to Teach with Dynamic Loss Functions[J]. neural information processing systems, 2018: 6466-6477.
曾几何时，我们在各种模型压缩技巧中鏖战，如今，使用AutoML技术用于模型压缩的研究也新鲜出炉。
He Y, Lin J, Liu Z, et al. AMC: AutoML for Model Compression and Acceleration on Mobile Devices[J]. european conference on computer vision, 2018: 815-832.
这可能是一个新的时代的开始，GAN正在各大领域中狂奔，AutoML又开始席卷各大领域。
如果你想好好学习AutoML，给大家推送一个GitHub项目，一本书，东西在精不在多，希望对你有用。另外，关注我们公众号肯定是没错的。
https://github.com/hibayesian/awesome-automl-papers
https://www.automl.org/wp-content/uploads/2019/05/AutoML_Book.pdf
总结
如果你足够细心，应该就会发现上面所有的研究，基本上都离不开Google的身影。感谢谷歌，正在让深度学习的一切开始自动化。同时也要警惕Google，它正在抢走你的饭碗。
下期预告：AutoML与数据增强策略。
知识星球推荐
有三AI知识星球由言有三维护，内设AI知识汇总，AI书籍，网络结构，看图猜技术，项目开发，Github推荐，AI1000问七大学习板块。
计算机视觉协会主要涉及机器学习、深度学习等领域，主要致力于人脸检测、人脸识别，多目标检测、目标跟踪、图像分割等研究方向。
今日网络结构
转载文章请后台联系
侵权必究
往期精选