ICML 2020百度AI之行：入选7篇论文，举办3场EXPO
ICML 2020会议论文投稿量再创新高，接收率下降至21.8%左右。百度AI在激烈的投稿竞争中，成功入选论文7篇，涵盖深度学习、迁移学习、自然语言处理、数据隐私以及语音等众多热门子领域；同时，百度AI积极申办ICML EXPO，获得3场举办资格，这是主办方对百度AI技术实力的肯定，也展示出百度AI在全球人工智能产业的行业领先地位。
近年ICML等顶级人工智能大会广泛受到学界、业界重视，文章评选门槛逐年抬高，录选文章含金量大幅提升。今年，ICML 2020会议论文投稿量再创新高，4990篇有效投稿中，仅1088篇被成功收录。相较2019年的接收率22.6%，今年接收率再次下行，约为21.8%左右。在投稿竞争逐年激烈、论文接收率四年连降之时，百度作为中国科技企业代表，突出重围，成功入选论文7篇，涵盖深度学习、迁移学习、自然语言处理、数据隐私以及语音等众多热门子领域，彰显中国企业在AI技术领域的深厚科研实力。以下为百度ICML 2020入选论文的亮点集锦：
Non-Autoregressive Neural Text-to-Speech
论文链接：
https://proceedings.icml.cc/static/paper_files/icml/2020/5861-Paper.pdf
关键词：文本到语音、非自回归模型、变分自动编码器
该论文提出了“ParaNet”的概念，即可通过使用非自回归seq2seq模型将文本转换为声谱，采用了完全卷积的结构。相较DeepVoice3，ParaNet在合成时达到了46.7倍的提速，并且获得了很好的语音质量。通过逐层迭代地提高注意力，ParaNet在具有挑战性的测试句子集上实现了文本和语音之间的稳定对齐。除此之外，该论文构建了并行文本到语音系统，同时测试了各种并行的神经声码器。这些声码器可通过一次前向传递，直接从文本中合成语音。论文还根据VAE探索了一种全新方法，用以训练基于逆自回归流（IAF）的并行声码器。与先前的方法相比，新方法仅需训练一个模型，从而避免了单独训练WaveNet的繁琐。
WaveFlow: A Compact Flow-based Model for Raw Audio
论文链接：
https://proceedings.icml.cc/static/paper_files/icml/2020/647-Paper.pdf
GitHub链接：
https://github.com/PaddlePaddle/Parakeet/tree/develop/examples/waveflow
关键词：生成流模型、最大似然估计、文本到语音
该论文发布了WaveFlow，即通过体积非常小的生成流对原始语音进行建模，并采取了最大似然估计的方法进行训练。WaveFlow使用了扩张的二维卷积架构来处理一维波形中的长距离结构，同时使用了自回归函数来描述段距离结构。WaveFlow提供了针对一维数据的似然模型的统一视图，WaveNet和WaveGlow皆可看作其特殊情况。相较WaveNet，WaveFlow生成了可与之媲美的语音，与此同时取得了高达几个数量级的提速。此外，它可以显著降低自回归模型与流模型之间的似然差距。最后，轻型WaveFlow仅含有591万个参数，相比WaveGlow小了15倍。在单V100 GPU上，可以生成22.05 kHz的高质量音频，提速42.6倍。
Optimal Estimator for Unlabeled Linear Regression
论文链接：
https://proceedings.icml.cc/static/paper_files/icml/2020/6318-Paper.pdf
关键词：无标签、线性回归、非凸优化
无标签线性回归（回归系数和(X, Y)对应关系未知），由于其在恢复数据的对应关系和去数据匿名化方面的应用，近期受广泛的关注。然而，它的计算过程异常繁琐，所有已知算法都需要相当长的时间，尤其是对高维数据的情形。该论文中，百度AI提出一个在计算和统计意义上皆是最优的估计量来恢复线性回归的对应关系，并且这个估计量仅需一步计算。在计算角度上，统计量和标准情形（已知回归系数，然后进行匹配）的算法拥有相同的复杂度；在统计角度上，统计量正确恢复对应关系所需的信噪比和理论最小值最多相差
Lower complexity bounds for finite-sum convex-concave minimax optimization problems
论文链接：
https://proceedings.icml.cc/static/paper_files/icml/2020/4031-Paper.pdf
关键词：下界复杂度、随机一阶算法、鞍点问题
该论文研究了n个独立光滑的凸-凹型函数有限和形式的鞍点问题的一阶算法复杂度的下界。百度AI考察的PIFO算法可在每次查询中获取到函数对应的梯度算子和Proximal算子的结果。对于强凸强凹型的函数，证明了PIFO算法不能在少于(n+kappa)log(1/epsilon)的迭代步数内得到epsion-鞍点，其中kappa是目标函数的条件数。这个下界在一些特殊的双线性问题上可以和一些一阶增量Proximal算法完全匹配。论文设计了一种新的方法来处理Proximal 算子，将矩阵的行进行分解,并非同往常在IFO框架下进行堆叠。新方法对于处理Proximal算子和梯度算子皆很友好，进而将一般的凸-凹型函数也做了对应的下界分析。
RIFLE: Backpropagation in Depth for Deep Transmatchfer Learning through Re-Initializing the Fully-connected LayEr
论文链接：
https://proceedings.icml.cc/static/paper_files/icml/2020/3745-Paper.pdf
GitHub链接：
https://github.com/haozhe-an/RIFLE-Paddle-Implementation
关键词：深度学习、迁移学习、反向传播
微调一个预训练好的深度卷积网络，可帮助从大型数据集学到的知识转移给目标任务。当目标任务数据集较小时，虽然这种方法可以提升效果，但由于反向传播带给深层卷积层的更新较小，迁移学习得到的模型经常被限制在预训练模型附近。百度AI在该论文中提出一种应用于迁移学习的简单策略RIFLE，来加深反向传播，通过在微调过程中周期性地重新初始化全连接层。RIFLE给卷积网络的深层带来有意义的更新，提升低层次特征的学习，同时在整个学习过程中，全连接层随机初始化后很容易重新收敛。实验结果表明使用RIFLE显著提升了迁移学习效果，且超过已有的同类方法如Dropout、Dropconnect、Stochastic Depth, Disturb Label、Cyclic Learning Rate，在多个数据集上效果提升0.5%-2%。百度AI还通过经验学习和消融学习进一步证明RIFLE给网络深层带来了有意义的更新。
On the Noisy Gradient Descent that Generalizes as SGD
论文链接：
https://proceedings.icml.cc/static/paper_files/icml/2020/3155-Paper.pdf
论文关键词：深度学习、学习理论、随机梯度下降
随机梯度下降（SGD）的梯度噪音被认为在深度学习的强泛化能力中扮演重要角色。先前研究中，确认了梯度噪音的大小和协方差结构对于正则化非常关键，但仍不清楚噪音分布的种类是否重要。该论文研究提供了一个否定的答案，说明了SGD中使用不同类型的噪音仍能有效对梯度下降做正则化。百度AI基于针对SGD噪音结构，探索出了一个新发现，即SGD噪音是梯度矩阵和小批量采样所带来噪音的乘积；并且采样噪音统一了两种属于高斯类型的梯度正则化噪音：一种是使用费雪分布协方差，另一种是SGD梯度协方差作为协方差。最终，依据噪音选取的灵活性，提出了一种算法来实施泛化能力好的有噪音的梯度下降，其变种还能使得大批量SGD训练不损失泛化能力。
Scalable Differential Privacy with Certified Robustness in Adversarial Learning
论文链接：
https://proceedings.icml.cc/static/paper_files/icml/2020/3815-Paper.pdf
GitHub链接：
https://github.com/haiphanNJIT/PrivateDeepLearning/tree/master/StoBatch
关键词：深度学习、对抗学习、差分隐私
在该论文中，百度AI旨在开发一种可扩展的算法,可在深度神经网络对抗学习中保护差分隐私，其中对抗样本具有经过验证的鲁棒性。通过利用差分隐私中的顺序组合理论(sequential composition theory)，将输入和隐空间随机化，以增强经过认证的稳健性界限。为了兼顾模型效用，隐私丢失和鲁棒性这三者，基于差分隐私中的后处理属性设计了原始的对抗目标函数，以加强模型的敏感性。通过避开差分隐私深度神经网络中的传统逐批迭代训练，一种新的随机批处理训练被提出并应用于大型深度神经网络和数据集的机制中。端到端的理论分析和评估表明，这种机制显著提高了差分隐私深度学习网络的鲁棒性和可扩展性。
另外，这次ICML 2020大会， 经过激烈角逐，百度成功申请到举办3场EXPO的资格，这是大会主办方给予百度AI的极大肯定。在这次的ICML EXPO中，百度分享了产业级深度学习平台飞桨、自动化深度学习、搜索广告等多个领域的最新技术创新和应用进展，以下是百度在ICML EXPO中基本情况。
EXPO1
PaddlePaddle - An Industry-grade End-to-End Deep Learning Platform
该报告中，百度展示了源自于产业实践的飞桨开源开放的深度学习平台，飞桨包含灵活易用的用户编程、大规模并行训练、多端多芯片部署、官方模型库四大特色，围绕着飞桨的核心能力，在EXPO上演讲者也展示了PaddleRec、Fleet、PaddleServing、PaddleFL、ERNIE等工业级开源代码库的内容。AIStudio给飞桨的开发者带来了全面的课程和教程，丰富的中文社区材料也是该教育平台的一大特色。此外，飞桨企业版BML和EasyDL，面向企业提供深度学习应用开发的全栈流程，零基础、入门以及专业的开发者都能在飞桨企业版产品中获得益处，吸引了较多参会人员的注意。
Baidu AutoDL: Automated and Interpretable Deep Learning
该报告介绍了百度开发的深度学习技术AutoDL。百度AutoDL以让深度学习“平民化”为目标， 提供自动化网络构建、迁移学习、联邦学习和可解释性等多项实用工具，降低了工业界使用深度学习技术的门槛，促进深度学习在实际生活中的应用，推动深度学习同样向着百度所追求的“简单可依赖”的方向发展。此外，百度通过主持AutoDL自动化和可解释深度学习的专家座谈，邀请了6位海内外知名计算机科学家探讨相关技术，为参加座谈的学者和工业界人士答疑解惑，引领大家对“自动化构建神经网络模型”和“理解与创造可解释的深度学习模型”产生新的感悟与启迪。
Data-Driven based Keyword Matching Paradigm in Baidu's Sponsored Search
该报告主要讲述百度如何利用基于数据驱动的深度学习技术来解决搜索广告中的关键词匹配问题。关键词匹配位于整个搜索广告系统的上游，负责将query和关键词按照广告主指定的匹配模式关联起来。报告百度如何基于BERT来做匹配模式的识别，如何使用图网络和翻译技术来克服词汇鸿沟，以及基于知识萃取，同义压缩的技术来解决ERNIE在工业环境中的部署。这些方法已经在百度搜索广告中成功落地并取得了很好的效果，希望给搜索广告系统的设计带来一些启发和帮助。