AI 的 2017

作者简介：Denny Britz过去是谷歌Brain团队的一名成员，致力于研究自然语言处理（NLP）问题，比如机器翻译、对话式建模和总结。他曾就读于斯坦福大学的计算机学系（研究用于信息提取的概率模型）和加州大学伯克利分校（研究Spark这种流行的集群计算框架）。

2017年已翻篇，我在去年写的文章太少了，原本打算写好多文章。但我希望明年有所改变，会有更多的教程关于强化学习、进化方法和贝叶斯方法！还有什么比总结2017年发生的所有惊讶的事情更好的开头呢？回顾过去一年，下列主题一再出现。我难免会遗漏几个重要的里程碑事件，欢迎留言补充！

强化学习在自己的游戏中击败人类

去年最轰动的成功故事可能是AlphaGo（https://storage.googleapis.com/deepmind-media/alphago/AlphaGoNaturePaper.pdf）：

这个强化学习代理击败了世界上最出色的围棋选手。由于围棋有极其庞大的搜索空间，它被认为是机器学习技术多年都力不能及的领域。这真是一个惊喜！

AlphaGo的第一个版本使用来自人类专家的训练数据进行引导，通过自我下棋和对蒙特卡洛树搜索稍加改动，进行进一步的改进。不久后，AlphaGo Zero（https://www.nature.com/articles/nature24270.epdf?author_access_token=VJXbVjaSHxFoctQQ4p2k4tRgN0jAjWel9jnR3ZoTv0PVW4gB86EEpGqTRDtpIz-2rmo8-KG06gqVobU5NSCFeHILHcVFUeMsbvwS-lxjqQGg98faovwjxeTUgZAUMnRQ）

更进了一步，学会从零开始学下围棋，不需要任何人为训练数据，使用之前在《使用深度学习和树搜索进行既快又慢的学习》论文（https://arxiv.org/abs/1705.08439）中发表的一项技术，

它还轻松击败了AlphaGo的第一个版本。去年年底，我们看到了AlphaGo Zero算法的另一个演绎：AlphaZero，它不仅精通围棋，还精通国际象棋和日本象棋，使用了一模一样的技术。有意思的是，这些软件走的步连经验最丰富的围棋选手都感到惊讶，激励围棋选手向AlphaGo学习，相应地调整自己的棋风。为了让这更容易，DeepMind还发布了AlphaGo 教学工具。

但是围棋不是我们取得重大进展的唯一游戏。Libratus（http://science.sciencemag.org/content/early/2017/12/15/science.aao1733.full）是卡内基•梅隆大学的研究人员开发的一个系统，它在为期20天的“一对一无限注德州扑克”（Heads-up, No-Limit Texas Hold’em）标赛中成功击败了顶尖扑克玩家。稍早些时候，查尔斯大学、捷克技术大学和艾伯塔大学的研究人员共同开发的DeepStack系统（https://www.deepstack.ai/）成为第一个击败职业扑克玩家的系统。请注意，这两个系统玩的都是单挑扑克比赛，这在两名玩家之间进行，比多个玩家扑克比赛容易得多。后者极可能会在2018年取得另外的进展。

强化学习的下一个领域似乎是更复杂的多人游戏，包括多人扑克。DeepMind正在积极研究《星际争霸2》，发布了一种研究环境，而OpenAI在1v1 Dota 2中展示了初步的成功，目的在于在不远的将来能够玩转真正的5v5游戏。

https://v.qq.com/txp/iframe/player.html?vid=q0527dihprs&width=500&height=375&auto=0

进化算法卷土重来

就监督式学习而言，使用反向传播算法的基于梯度的方法一直效果极好。这不太可能在短期内发生变化。然而在强化学习中，进化策略（ES）似乎卷土重来。由于数据通常不是iid（独立同分布），因此错误信号较稀疏；又由于需要探查，不依赖梯度的算法可以很好地工作。此外，进化算法可以线性扩展至数千台机器，实现极快的平行训练。它们不需要昂贵的GPU，但可以在大量（通常是成百上千）便宜的CPU上加以训练。

去年早些时候，OpenAI的研究人员证明，进化策略可以获得与标准的强化学习算法（比如Deep Q-Learning）相匹敌的性能。去年年底，优步的一个团队发布了一篇博文和一组（五篇）研究论文（https://eng.uber.com/deep-neuroevolution/），进一步证明了遗传算法和新颖搜索的前景。使用一种极其简单的遗传算法，不需要任何的梯度信息，他们的算法就可以学会玩很难的雅达利（Atari）游戏。这个视频显示了遗传算法策略在玩Frostbite游戏时得分10500，而DQN、AC3和ES在玩这款游戏时得分低于1000。

https://v.qq.com/txp/iframe/player.html?vid=e0527e21o41&width=500&height=375&auto=0

2018年我们会在这个方向看到更多的工作，这种可能性很大。

WaveNets、CNN和注意机制

谷歌的Tacotron 2文本转语音系统可生成其令人惊叹的音频样本，基于WaveNet，这种自动回归模型还被部署在谷歌助理（Google Assistant）中，去年在速度方面有大幅提升。 WaveNet之前也被应用于机器翻译，缩短了递归架构的训练时间。

逐渐远离训练时间长、开销大的递归架构，似乎是机器学习这个子领域的一个大趋势。在《注意力是你需要的一切》（https://arxiv.org/abs/1706.03762）中：

研究人员完全摈弃了递归和卷积，使用一种更复杂的注意力机制，以极小的训练成本获得最先进的成果。

深度学习框架元年

如果非要我用一句话来总结2017年，那就是2017年是框架元年。Facebook凭借PyTorch大放异彩。由于类似Chainer的动态图形构建机制，PyTorch备受自然语言处理领域的研究人员的喜爱，他们经常要处理动态递归的结构，这种结构很难用Tensorflow之类的静态图形框架来声明。

Tensorflow在2017年很成功。2月份发布了Tensorflow 1.0，随带一套稳定且向后兼容的API。目前，Tensorflow的版本是1.4.1。除了主框架外，还发布了几个Tensorflow配套库，包括面向动态计算图的Tensorflow Fold、面向数据输入管道的Tensorflow Transform以及DeepMind的更高级的Sonnet库。Tensorflow团队还宣布了一种新的Eager Execution模式，其工作方式类似PyTorch的动态计算图。

除了谷歌和Facebook外，其他许多公司搭上了机器学习框架这趟快车：

• 苹果宣布了CoreML移动机器学习库。

• 优步的团队发布了Pyro，这是一种深度概率编程语言。

• 亚马逊宣布了Gluon，这是MXNet中一种更高级的API。

• 优步发布了其内部Michelangelo机器学习基础设施平台的详细信息。

又由于框架数量众多，Facebook和微软宣布了ONNX开放格式，以便跨框架共享深度学习模型。比如说，你可以在一个框架中训练模型，然后将模式导入到另一个框架中的生产环境。

除了通用深度学习框架外，我们还看到大量的强化学习框架在发布，其中包括：

• OpenAI Roboschool是一款用于机器人仿真的开源软件。

• OpenAI Baselines是一套强化学习算法的高质量实现。

• Tensorflow Agents包含经过优化的基础设施，用于使用Tensorflow训练强化学习代理。

• Unity ML Agents让研究人员和开发人员得以使用Unity Editor开发游戏和模拟，使用强化学习来训练它们。

• Nervana Coach让人们可以试验最先进的强化学习算法。

• Facebook面向游戏研究的ELF平台。

• DeepMind Pycolab是一个可定制的gridworld游戏引擎。

• Geek.ai MAgent是一个面向多代理强化学习的研究平台。

由于旨在让深度学习更易于使用，我们还有面向Web的几个框架，比如谷歌的deeplearn.js和MIL WebDNN执行框架。但至少有一种非常流行的框架已死，那就是Theano。在Theano邮件列表上的公告中，开发人员声称1.0将是Theano的最后一个版本。

学习资源

由于深度学习和强化学习越来越受欢迎，2017年越来越多的讲座、培训班和活动已在网上录制和发布。以下是我最喜欢的一些资源：

• OpenAI和加州大学伯克利分校联合开设的的深度强化学习培训班，课程内容围绕强化学习方面的基础知识以及最新研究成果。

• 斯坦福大学的视觉识别卷积神经网络课程2017年春季版。还可访问课程网站（http://cs231n.stanford.edu/）。

• 斯坦福大学的自然语言处理与深度学习课程2017年冬季版。还可访问课程网站（http://web.stanford.edu/class/cs224n/）。

• 斯坦福的深度学习理论课程。

• 新的Coursera深度学习专业。

• 蒙特利尔深度学习和加强学习暑期班。

• 加州大学伯克利分校的深度强化学习2017年秋季课程。

• Tensorflow开发峰会，内容涉及深度学习方面的基础知识和相关的Tensorflow API。

几个学术会议延续了在网上发布大会演讲内容这个新传统。如果你想紧跟前沿研究，可以观看NIPS 2017、ICLR 2017或EMNLP 2017的一些录音资料。

研究人员还开始在arXiv上发布易于获取的教程和调查论文。以下是去年我最喜欢的一些资源：

• 深度强化学习：概述

• 工程师机器学习简介

• 神经机器翻译

• 神经机器翻译和序列到序列模型：教程

应用：AI和医学

2017年好多人大胆地声称，深度学习技术可解决医疗问题，击败人类专家。外面有好多炒作，想了解真正的突破对于不是医学科班出身的人来说并非易事。想了解全面的评论，我建议大家不妨阅读Luke Oakden-Rayner所写的《人类医生已穷途末路》博客文章系列（https://lukeoakdenrayner.wordpress.com/2017/04/20/the-end-of-human-doctors-introduction/）。我在这里简要介绍一些发展动向。

去年的头条新闻是斯坦福大学的一个团队发布了一种深度学习算法的细节，该算法在识别皮肤癌方面与皮肤科医生一样出色。可以在这里阅读《自然》杂志上的这篇文章（https://www.nature.com/articles/nature21056.epdf?author_access_token=8oxIcYWf5UNrNpHsUHd2StRgN0jAjWel9jnR3ZoTv0NXpMHRAJy8Qn10ys2O4tuPakXos4UhQAFZ750CsBNMMsISFHIKinKDMKjShCpHIlYPYUHhNzkn6pSnOCt0Ftf6）。斯坦福大学的另一个团队开发出了一种模型，可以凭借单导联心电图信号来诊断不规则心律（又叫心律失常），比心脏病专家还准。

但今年并非没有失误。DeepMind为英国国民保健署（NHS）所搞的项目充斥着“不可原谅”的错误。美国全国卫生研究所（NIH）向科学界发布了胸部X射线数据集，但仔细观察后发现，它其实不适合训练诊断型AI模型。

应用：艺术与GAN

去年开始获得更多人关注的另一个应用是面向图像、音乐、草图和视频的生成式模型。 NIPS 2017年大会去年首次开设了《面向创意和设计的机器学习研讨会》。

最流行的应用之一是谷歌的QuickDraw，它使用神经网络来识别你的涂鸦。使用已发布的数据集，你甚至可以教机器替你完成绘图。

生成式对抗网络（GAN）今年取得了重大进展。比如说，CycleGAN、DiscoGAN和StarGAN等新模型在生成人脸方面取得了举世瞩目的成果。GAN传统上难以生成逼真的高分辨率图像，但pix2pixHD令人印象深刻的结果表明，我们有望解决这些问题。GAN会成为新的画笔吗？

应用：自动驾驶汽车

自动驾驶汽车领域的大玩家有拼车应用服务优步和Lyft、Alphabet旗下的Waymo以及特斯拉。由于软件错误（而不是之前报道的人为错误），去年年初优步遇到了几次挫折：其自动驾驶汽车在旧金山没有注意到几盏红灯。后来，优步透露了内部使用的汽车可视化平台方面的细节。去年12月份，优步的自动驾驶汽车项目的行驶里程达到了200万英里。

与此同时，Waymo的自动驾驶汽车在4月份迎来了第一批真正的乘客，后来在亚利桑那州菲尼克斯城行驶时完全不用操作人员。Waymo还公布了其测试和模拟技术方面的细节。

Waymo模拟图显示了经过改进的车辆导航技术。

Lyft宣布它在自行开发自动驾驶软硬件。它在波士顿的第一个试验项目正在进行中。特斯拉自动驾驶（Autpilot）还没有太多的更新，不过这个领域有一个新来者：苹果。蒂姆•库克（Tim Cook）证实，苹果正在为自动驾驶汽车开发软件；苹果的研究人员已在arXiv上发表了与地图技术有关的论文（https://arxiv.org/abs/1711.06396）。

https://v.qq.com/txp/iframe/player.html?vid=q0527s3zmti&width=500&height=375&auto=0

应用：酷炫的研究项目

去年发布了好多值得关注的项目和演示，这里不可能一一列举。然而，去年有几个还是脱颖而出：

• 使用深度学习去除背景（https://towardsdatascience.com/background-removal-with-deep-learning-c4f2104b3157）

• 使用深度学习创作动漫角色（http://make.girls.moe/#/）

• 使用神经网络使黑白照片变成彩色照片（https://blog.floydhub.com/colorizing-b&w-photos-with-neural-networks/）

• 神经网络玩《马里奥赛车》（SNES）游戏（https://www.polygon.com/2017/11/5/16610012/mario-kart-mariflow-neural-network-video）

• 实时《马里奥赛车》64 AI（https://github.com/rameshvarun/NeuralKart）

• 使用深度学习发现赝品（https://www.technologyreview.com/s/609524/this-ai-can-spot-art-forgeries-by-looking-at-one-brushstroke/）

• 猫的边缘（https://affinelayer.com/pixsrv/index.html）

至于偏向研究方面的项目：

• 非监督式情绪神经元――这个系统可以学会准确地表示情绪，尽管被训练只是为了预测亚马逊评论文本中的下一个字符。

• 学会沟通――软件代理开发出自家语言方面的研究。

• 为学习索引结构正名――使用神经网络，速度比针对缓存优化的B-Trees最多快70%，同时针对几个实际数据集，将内存资源节省了一个数量级。

• 注意力是你需要的一切。

• Mask R-CNN――用于对象实例分割的一般框架。

• 用于去噪、超分辨率和修补的深度图像先验（Deep Image Prior）。

数据集

众所周知，用于监督式学习的神经网络需要大量数据。这就是为什么开放数据集对研究社区作出了至关重要的贡献。以下是去年脱颖而出的几个数据集：

• Youtube边界框

• 谷歌QuickDraw数据

• DeepMind开源数据集

• 谷歌语音命令数据集

• 原子视觉动作（AVA）

• 对开放图像数据集的几次更新

• 注释音符的Nsynth数据集

• Quora问题对

深度学习、可再现性和炼金术

去年，几名研究人员对学术论文结果的可再现性提出了疑问。深度学习模型常常需要大量的超参数，这些超参数必须经过优化，才能获得好得足以发表的结果。这种优化所需要的开销可能变得很大，只有像谷歌和Facebook这样的公司才负担得起。研究人员并不总是发布代码，忘记把重要的细节添加到已完成的论文中，使用略有不同的评估程序，或者针对同样的splits不断优化超参数，从而对数据集过拟合。这使得可再现性成为一个大问题。研究人员在《很重要的强化学习》（https://arxiv.org/abs/1709.06560）中表明，取自不同代码库的相同算法得到的结果大不一样，相差很大：

在《GAN天生一个样吗？大规模调查研究》（https://arxiv.org/abs/1711.10337）中，研究人员表明，如果经过充分调优的GAN使用昂贵的超参数搜索，可以击败声称出类拔萃的更复杂的方法。与之相似的是，在《神经语言模型的前沿评估》（https://arxiv.org/abs/1707.05589）一文中，研究人员表明，如果加以适当规范和调优，简单的LSTM架构其性能比最近的模型更胜一筹。

在引起许多研究人员共鸣的一次NIPS演讲上，阿里·拉希米（Ali Rahimi）将最近的深度学习方法比作炼金术（https://www.youtube.com/watch?v=Qi1Yry33TQE），呼吁更严谨的实验设计。伊恩·乐坤（Yann LeCun）却认为这是一种侮辱，第二天作了回应（https://www.facebook.com/yann.lecun/posts/10154938130592143）。

加拿大和中国的人工智能

由于美国移民政策收紧，许多公司似乎日益在海外开设办事处，加拿大成为首要目的地。 谷歌在多伦多开设了一个新的办事处，DeepMind在加拿大埃德蒙顿开设了新的办事处，Facebook AI研究部门也将触角拓展到了蒙特利尔。

中国是另一个备受关注的目的地。由于拥有大量资金、庞大的人才库和唾手可得的政府数据，中国在AI开发和生产部署方面正与美国正面较量。谷歌还宣布它很快会在北京开设一个新的实验室。

硬件大战：英伟达、英伟达、谷歌和特斯拉

众所周知，现代深度学习技术需要价格昂贵的GPU来训练最先进的模型。到目前为止，英伟达一直是大赢家。去年，它宣布了新的Titan V旗舰GPU。顺便说一下，它的颜色是金色。

不过竞争在加剧。谷歌的TPU如今在谷歌云平台上可供使用，英特尔的Nervana推出了一系列新的芯片，连特斯拉都承认它在致力于开发自己的AI硬件。竞争还可能来自中国，专门从事比特币挖掘的硬件制造商希望进入面向AI的GPU这个领域。

炒作和失败

炒作多厉害，责任就有多大。主流媒体报道的情况与研究实验室或生产系统中实际发生的情况几乎根本对应不起来。IBM Watson是营销手法炒作过度的典范，未能拿出相对应的成果。去年，每个人都讨厌IBM Watson，由于它在医疗保健领域一再失败，这也就不足为奇了。

炒作最猛的新闻故事可能非Facebook的“研究人员关闭发明自家语言的AI”莫属。这个新闻造成的危害已经够大了，你可以上网搜索一下。当然，这个标题大错特错，离真相太远了。实际上，研究人员只是终止了一项结果似乎并不好的标准实验。

但是炒作过度的罪魁祸首不仅仅是媒体。研究人员也在超越边界，他们所写论文的标题和摘要并不体现实际的实验结果，比如在介绍自然语言生成的这篇文章（https://medium.com/@yoav.goldberg/an-adversarial-review-of-adversarial-generation-of-natural-language-409ac3378bd7）中，或者在介绍面向市场的机器学习这篇文章（http://zacharydavid.com/2017/08/06/fitting-to-noise-or-nothing-at-all-machine-learning-in-markets/）中。

重大招聘和离职

Coursera的联合创始人吴恩达可能因其机器学习大型开放式网络课程（MOOC）而享誉全球，去年他数次被媒体竞相报道。去年3月份吴恩达离开百度（之前他负责AI部门），筹集到新的1.5亿美元资金，宣布成立一家新的初创公司landing.ai，专注于制造业。在其他新闻中，加里•马库斯（Gary Marcus）辞去了优步人工智能实验室主任一职，Facebook请来了Siri的自然语言理解负责人，几位知名的研究人员离开OpenAI，创办了一家新的机器人公司。

学术界的科学家流向工业界这个趋势也在继续，大学实验室抱怨，自己无法与行业巨头们开出的高薪相竞争。

初创公司投资和收购

就像前一年那样，AI初创公司生态系统正在蓬勃发展，出现了几次重大的收购：

• 微软收购了深度学习初创公司Maluuba

• 谷歌云收购了Kaggle

• 软银收购了机器人制造商波士顿动力（众所周知该公司并不使用大量的机器学习）

• Facebook收购了AI助理初创公司Ozlo

• 三星收购Fluently，进一步开发Bixby

另外，多家新公司筹集到了大笔资金：

• Mythic筹集到880万美元，把AI做在一块芯片上

• 便于其他公司构建AI解决方案的平台Element AI筹集到1.02亿美元

• Drive.ai筹集到5000万美元，吴恩达加入董事会

• Graphcore筹集到3000万美元

• Appier筹集到3300万美元C轮资金

• Prowler.io筹集到1300万美元

• Sophia Genetics筹集到3000万美元，帮助医生使用AI和基因组数据进行诊断

最后，祝大家新年快乐！感谢您耐着性子看完这么长的文章：）

相关阅读：