几十秒构建端到端 AI，NeurIPS 2020 AutoDL 竞赛夺冠“黑马”原来靠的是这门技术！
「AI 技术生态论」 人物访谈栏目是 CSDN 发起的百万人学 AI 倡议下的重要组成部分。通过对 AI 生态顶级大咖、创业者、行业 KOL 的访谈，反映其对于行业的思考、未来趋势判断、技术实践，以及成长经历。
本文为 「AI 技术生态论」系列访谈第二十四期，通过背后的企业——深度赋智的创始人兼CEO 吴承霖，来了解一下这项技术的详细解读，以及在特殊时代背景下，这家 AutoML 公司的创业经历，揭开国内 AutoML 企业的技术“家底”，折射 AutoML 技术本身的发展现状与趋势。
百万人学 AI 你也有份！今日起，点击阅读原文报名「2020 AI开发者万人大会」，使用优惠码“AIP211”，即可免费获得价值299元的大会在线直播门票一张。限量100张，先到先得。
4 月 18 日，由 NeurIPS 举办历时四个月的 AutoDL 2019-2020（自动深度学习） 系列竞赛总决赛落下帷幕，冠军被一匹“黑马”——深度赋智的 DeepWisdom 团队夺得。该团队背后的企业此前并不为人所熟知，但提交的方案在 Feedback 阶段和 Final 阶段取得了双项总分第一的成绩，以两阶段平均排名 1.2 和 1.8 的分数稳定且大幅领先所有队伍。
Feedback-phase Leaderboard榜单
Final-phase Leaderboard榜单
深入了解之后，CSDN 发现，让这支团队获得冠军的核心技术，在于其独立研发的 Fully Automatic Machine Learning 系统（完全自动化机器学习系统），这套系统背后的研发团队更是不简单，他们有来自腾讯、Google、百度、华为的架构师、研究员，也有来自牛津、帝国理工、UCL、CMU、清华、北大、厦大等高校的学生，共同完成了这套量化了 AI 生产的所有环节的系统，可以全自动、端到端地生产全流程 AI，摆脱了以往的 AI 设计需要诸多人类经验的过程。
史上最难任务，代码已开源！
首先按照惯例，放上获得 NeurIPS-AutoDL 总决赛冠军的技术解决方案开源代码：https://github.com/DeepWisdom/AutoDL，感兴趣的同学可以打开学习一下。
据称，此次 AutoDL Challenge 竞赛堪称史上最难，参赛选手需要设计开发出能解决包括图像、视频、语音、文本和结构化表格数据等多模态、多领域的全自动多标签分类系统，无论是从数据还是评估方式（ALC(Area under ROC Learning Curve)）上来说，挑战赛难度都很大，参赛选手需要面对如何在不同的数据中自动发现有效信息，如何为不同领域的任务自动提取有用特征，如何自动处理不同领域的数据，如何自动高效地选择恰当的机器学习模型与超参数等目前对于大多数 AutoML 方案来说难度极大的挑战。
拿挑战中自动构建多模态、多领域的全自动多标签分类系统这一任务来说，吴承霖说，做到这一点实际上是很难的事情，比如金融的文本和法律的文本完全不同，需要用极大差异的模型来做，如何自动适配？人声的 REID 和乐曲的识别完全不同，但它们都是音频的多标签分类，应该怎么做？现实世界的类似问题很多，如何用一套方法全自动达到较好的效果？这些都是 AutoML 面临的难题，而只有 Full-AutoML 才可以解决这些问题，帮助企业在多模态、多领域做任意的多标签分类。
本次竞赛吸引了美国、德国、瑞士、日本、韩国等全球多地队伍，来自包括清华大学、北京大学、南京大学、卡内基梅隆大学、首尔大学、弗莱堡大学、汉诺威大学等国内外著名前沿科研院校，以及 Google、微软、阿里、腾讯、浪潮等国际一流公司，参赛队伍总计进行了超过 2600 余次提交，深度赋智能在如云高手中脱颖而出，实属不易。
核心技术 Full-AutoML 技术详解
深度赋智的核心技术在于其独立研发的 Fully Automatic Machine Learning（后文简称 Full-AutoML / 全自动机器学习）系统，这套系统量化了 AI 生产的所有环节，可以全自动、端到端地生产全流程AI，摆脱了以往的 AI 设计需要诸多人类经验、难以快速落地的约束。
以往基于人类 AI 工程师的简单AI生产过程需要 3-6 个月，复杂AI生产过程需要 1-2 年，而 Full-AutoML 接入数据之后最短几十秒就可以构建出一套近似最优的端到端 AI，并且随着线上反馈数据，可以不断对 AI 持续优化。
Full-AutoML 具体是如何实现的？我们展开来讲：
与人类 AI 工程师类似，Full-AutoML 需要接触较多的学习任务，以掌握在不同任务上的共性与特异性技巧。其中 MetaAI 子系统模拟了人类 AI 工程师的学习过程，通过观察已有任务的数据流形与策略效果，以进行全自动的探索性优化。经过观察，MetaAI 可以很好地总结不同任务知识，将原本耗时数年的 AI 构建过程缩短到最短数十秒。
DeepWisdom MetaAI for AutoDL
从上图中可以看到，这套系统包含自动数据探索、自动数据处理、自动特征工程、自动模型搜索、自动模型设计、自动模型压缩、自动超参优化、自动集成等多项核心组件，内含小样本学习、弱监督学习、迁移学习、集成学习等多类特性。
这些特性使得这个系统可以做到一般 AutoML 系统做不到的事情，例如，现实世界充满了脏（ill-posed）问题，比如正样本少、噪音大、数据脏、大量未标注样本、没有负样本、样本极度不平衡、样本问题复杂（需要很多模型一起解决）等。这些问题很常见，一般的 AutoML，即 Semi-AutoML 擅长解干净问题，致力于干净数据集（如 ImageNet）提升 1-2 个点的效果，但实际上现实问题绝大部分情况下并不关心这 1-2 个点的效果。现实世界中，人们更关心整套方案中是否有短板，是否会导致木桶效应，因为缺了一块板就拼命漏水（降低 30-40 个点）。而 Full-AutoML 可以在大部分的现实数据中表现很好（优于人类专家），弥补大部分的Semi-AutoML 在现实数据中的短板，达到可用状态。
Full-AutoML工作流程
吴承霖告诉 CSDN，Full-AutoML 做的实际上是上图传统流程的第 2 到 第 9 步，所有过程都用 AI 进行自动制作。具体的工作流程和模态有一定关系，后续将在论文中说明，但现在不便公开，但大的思路都是一样的：用 AI 模仿人做 AI，代替人类做查找有效数据、清洗数据、转换数据、特征工程、模型选择、基于线上效果调优等工作。
这样的优势，使得深度赋智的 Full-AutoML 方案与其他亚马逊、谷歌、微软等大厂以及国内企业推出的AutoML 产品相比，有着明显的优势。
值得注意的是，深度赋智产品矩阵已开发的自动内容理解系统，能较好处理本次竞赛涉及的包含结构化和非结构化数据分类任务，该系统已经在智能搜索、智能推荐、智能决策等场景发挥了核心作用。
错失成“千万富翁”机会，但埋下做Full-AutoML的种子
这套系统能够在国际赛事上取得这样的成绩，离不开其背后的支持者，也就是深度赋智创始人兼 CEO 吴承霖。一家企业与产品的调性，往往带有企业高管的品味与色彩， Full-AutoML 技术解决方案也不例外。
了解过他的经历之后，就会感觉到这位出身于厦门大学计算机专业的理科生在创业之路上，颇有些与众不同味道。
2010 年，吴承霖出于兴趣，开始用进化算法和神经网络做股市预测，在做全自动设计网络结构和各类参数上，吴承霖可以说是国内做 AI 量化，乃至 AutoML+ 量化最早的人。在这段经历中，其中的一个实验让他印象深刻，是用道琼斯指数从 1930 年到 2010 年之间 60 年的历史数据做训练，20 年数据做测试，用 AI 做双边交易可以做到带杠杆 40% 左右的年化，不带杠杆 12% 左右的年化（基线 7%）。于是，当大多数同学还疲于奔忙学业时，吴承霖已经用这套系统为自己赚了些生活费。
吴承霖说，AI 量化或许是股市的圣杯，而如何自动生产 AI，则是 AI 的圣杯。尝过甜头之后，他的心里从此就埋下了要做 Full-AutoML 的种子。
2012 年毕业，吴承霖去了华为，一边做 AI 层底层产品，一边做开源，用他的话说，“混”了十几个社区，成为很多个开源社区的第一个/第二个中国贡献者。而在这段时间，发生了一件让吴承霖哭笑不得的事。他为一位斯坦福教授做的开源社区写代码，之后代码却被对方打包，卖了十几亿美元，而吴承霖贡献的那部分代码算下来也值几千万美元，经常有同学开玩笑说他身价倍增。
在这件事中，吴承霖虽然失去了成为“千万富翁”的机会，但由于技术能力过硬，他经常被抓到全国各地做“救火队员”，各大 SE（软件工程师） 在一起开会设计架构，他一边参与设（吵）计（架），一边满脑子想着 bug 怎么调。
2014 年，吴承霖去了大厂腾讯，对于他来说，这是一段既痛苦，又幸福的时光。吴承霖回忆，当时他从内容理解做到内容分发，要做的事很多，但人太少了，配套又不齐全，所以做起事来很痛苦。那时候，吴承霖揽下了 NLP、知识图谱、CV、用户画像、搜索、推荐等一大堆事情，而很多是从零开始做起，需要有非常强的攻坚和抗压能力，那时的吴承霖和普通程序员一样，在地铁上也拿着论文绞尽脑汁想突破口。所幸，他负责的事情最后都完成得比较漂亮，给公司赚了不少钱，吴承霖也因此在 27 岁时就拿了 T3.3，并进了部门的专家实验室。
2018 年，吴承霖进了一家小公司，担任首席科学家，负责整体的 AI中台，其实做的就是背后这一整套内容理解与分发业务。在这里，业务模块很多，技术复杂，做出的成效也很明显。
2019 年 7 月，吴承霖单飞，成立了深度赋智，专心投入到用全自动 AI 中台服务更多企业的事业中来。
至于为什么决定要自己创业，吴承霖将之归结为一种信念。他说，之前他有过拿到价值亿元期权的机会，但放弃了，而年幼时就有的预感——他一定会踏上一条强 AI 之路愈发强烈，不管有多曲折，他也要走上来。而之所以选择做 AutoML，是因为 10 年时上学期间做 AutoML+ 量化工作时意识到这项技术非常实用，以帮助企业以上百倍于人工开发的速度落地，真正是在做“AI”。虽然他承认现在做的事情离强 AI 还有很长的路要走，但经越来越近了。
实现完全 AutoML，要突破全能、快速找解两大难题
谈完大佬的经历，现在回归技术本身。吴承霖说，虽然 AutoML 技术的出现很大程度上简化了企业部署 AI 的难度，但在他眼里，目前业界做 AutoML 的技术生态并不是很完善，因为企业所做的 AutoDL 大多是 Semi（半自动）AutoML，只关注 NAS、超参调整等领域，但工业界的同学都很清楚，深度学习的落地还要解决非常多的现实问题，只做 Semi-AutoML 是不太好用的。一句话概括，自动化机器学习的未来，在于完全自动化。
除此之外，AutoDL 在底层技术上的不完美也是清晰可见的，核心还是模拟人类的“全知全能”需要很大的工作量。吴承霖说，AI 还无法真正自主发现新的模式，需要先“人为的”全知全能才能学习、演化。
其次，现实世界的数据往往是ill-posed（不适定）的，问题极多，而解这些问题的方法成百上千，很难做出选择，类似的问题叠加起来，可能有着 10^200 次方的解空间，那么找出最优解的开销，可想而知有多大。
吴承霖解释到，这里他所说的“全知全能”，是指清楚人类 AI 工程师做的所有（或大部分）工作，就是全知；把人类 AI 工程师做的所有工作抽象为标准化部件，就是全能。
要实现完全自动化机器学习，吴承霖认为还需要克服两大难点：
首先，AutoDL 要全能。AI 落地是不能有短板的，有一块短板就可能带来 20%-30% 的准确率损耗，Semi-AutoML 存在着明显的短板。
其次，找解的速度要非常快。解的空间很大，如何在巨大的解空间中快速找到最优解，这是一个非常核心的问题。
当前，AutoDL 的技术生态已经相对较完善，随着 2018-2019 年 BERT 的逐渐优化，各个领域的自监督模型逐步发展，吴承霖认为这个领域的产业化进程会加快。
在落地层面，深度赋智的 AutoDL 主要应用于电商场景，未来还将向新零售、金融、工业领域拓展。吴承霖告诉 CSDN， AutoDL 在真正落地时，其实还是面临着很多难点与痛点，最重要的在于场景的转化上，很多客户的需求需要被理解、转化成 AI 可解的问题，这样才能更好地解决现实问题。
AutoML 路在何方？
作为一项可能极大促进强 AI 发展的技术，AutoML 被业界和学界所关注，其中关于效率和泛化性的问题更是人们研究的热点方向。在这一个问题上，深度赋智的做法可能会给研究人员带来一些启发。
为提高模型和算法的效率和泛化性，深度赋智提出了上文中提到的 MetaAI 技术，这项技术的核心就在于模仿人类的优化操作，比如人类在做过一系列类似数据集之后就会有 sense，知道 A pattern 要设置大 batch size、用 focal loss 做均衡，B pattern 则要用 mish 做激活、radam 做优化器。而深度赋智的 AI 可以拟人化，学到这些操作，进而学习如何针对不同的数据集做泛化。随着 AI 见过的数据集越来越多，效果会随之越来越好。而在效率问题上，只要见过类似的数据集，MetaAI 就可以即刻给出近似最优解，最快只需几秒，就可以实现人类的长周期效果。
未来，AutoML 会向着什么方向发展呢？这是所有人都关心的问题。对此，吴承霖给出了一个值得思考的回答：“可能 Full-AutoML 是一个真正的开始，我们真正走向AI演化AI的第一步。什么时候它能够演化自己，那可能奇点就到来了。”
这个奇点何时才能到来呢？就要看各界专家的成果了，将来说不定你就是最终时刻催动质变的一份子！
更多精彩推荐
☞AI 世界的硬核之战，Tengine 凭什么成为最受开发者欢迎的主流框架？
☞程序员内功修炼系列：10 张图解谈 Linux 物理内存和虚拟内存