重磅丨谷歌大脑的 2016 实现了哪八个小目标？Jeff Dean 亲自撰文回顾
AI 科技评论按：提起 Google Brain（谷歌大脑）团队，它在 2016 年因为推出了基于神经网络的机器翻译功能火了一把。AI 科技评论也在近日参加了硅谷人工智能前沿论坛 AI Frontier，会上谷歌大脑团队负责人 Jeff Dean 解析了谷歌大脑及 Tensorflow 的相关研究进展。
而在今天，Jeff Dean 代表整个团队撰文回顾了谷歌大脑的 2016 年，并发表于 Google Research Blog 上，让我们和 AI 科技评论一起了解，这个为世界带来科技惊喜的团队究竟如何看待自己的 2016 年吧。
谷歌大脑团队的宏愿一如既往：团队致力于通过多领域的纯研究及应用性研究，创造更多的智能软件及智能系统，以此提升人们的生活水平。
“虽然这一蓝图是我们仰望星空的长期愿景，但我们也需要脚踏实地，回顾一下我们过去一年完成的小目标，并与你们一同分享那些会为 2017 年新成就奠基的点点滴滴。”
一、科研刊发，硕果累累
在国际顶级的期刊及学术会议（如 ICML、NIPS 及 ICLR）上提交论文是科研水平的质量保证，谷歌大脑团队同样寄望于此。过去一年间，团队共有 27 篇论文实现了这个小目标，领域涉猎广泛，包括：（雷锋网附上了所对应论文/文章的链接，方便读者查阅）
程序合成：《Neural Programmer: Inducing Latent Programs with Gradient Descent》；
链接：
http://jamanetwork.com/journals/jama/article-abstract/2588763
神经网络间的知识迁移：《Net2Net: Accelerating Learning via Knowledge Transfer》；
链接：
https://arxiv.org/abs/1511.05641
机器学习的分发式训练：《Revisiting Distributed Synchronous SGD》；
链接：
https://openreview.net/pdf?id=D1VDZ5kMAu5jEJ1zfEWL
语言的生成式模型：《Generating Sentences from a Continuous Space》；
链接：
https://openreview.net/forum?id=D1VVBv7BKS5jEJ1zfxJg
机器人的无监督学习：《Unsupervised Learning for Physical Interaction through Video Prediction》；
链接：
http://papers.nips.cc/paper/6161-unsupervised-learning-for-physical-interaction-through-video-prediction
定理的自动证明：《DeepMath - Deep Sequence Models for Premise Selection》；
链接：
http://papers.nips.cc/paper/6280-deepmath-deep-sequence-models-for-premise-selection
神经网络理论理解：《Toward Deeper Understanding of Neural Networks: The Power of Initialization and a Dual View on Expressivity》；
链接：
http://papers.nips.cc/paper/6427-toward-deeper-understanding-of-neural-networks-the-power-of-initialization-and-a-dual-view-on-expressivity
改进强化学习的算法：《Continuous Deep Q-Learning with Model-based Acceleration》
链接：
http://jmlr.org/proceedings/papers/v48/gu16.html；
……
谷歌大脑还在许多其它优秀期刊及学术会议上提交了论文，包括：
自然语言处理（ACL 及 CoNNL）；
语音识别（ICASSP）；
视觉领域（CVPR）；
机器人（ISER）；
计算机系统（OSDI）等。
团队目前已经向机器学习研究的顶尖学术会议 ICLR 2017 提交了 34 篇论文。AI 科技评论附上了提交论文的清单，如果感兴趣的用户可以点击查看。
链接：https://research.google.com/pubs/BrainTeam.html
二、自然语言理解
谷歌大脑研究的重点方向之一在于如何让计算机更好地理解人类语言。
2014 年年底，三位谷歌大脑团队的成员发布了一篇名为《利用神经网络实现序列到序列的学习》的论文，提出了此方法可应用于机器翻译。
2015 年，团队证明了此方法同样能够应用于生成图像标题、分析句子成分及解决计算化的几何问题当中。
2016 年，谷歌大脑团队与谷歌翻译团队进行密切合作，将谷歌翻译算法以一种完全端到端的学习系统所取代。该系统缩小了原有系统与人类高质量翻译之间的差距，而这一数字达到了 85%。
在数周后，谷歌大脑团队又发布了「zero-shot」翻译系统，即使是系统之前从没学习过的样本对，机器也能够顺利翻译出来。目前，这一系统已经顺利上线谷歌翻译，而它所处理的语言对数量也在不断增加。
「zero-shot」链接：
https://research.googleblog.com/2016/11/zero-shot-translation-with-googles.html
Jeff Dean 还特别专门提及了 AI 科技评论于本文开始时提及的文章，这篇发布于《纽约时报》，原名为《超级 AI 正在觉醒》的文章详细描述了谷歌翻译是如何一步步进阶深度学习的。
《超级 AI 正在觉醒》链接：
https://www.nytimes.com/2016/12/14/magazine/the-great-ai-awakening.html?_r=0
三、教机器人学会学习
Jeff Dean 也回顾了谷歌大脑在机器人领域取得的成果，他表示，传统机器人的控制算法是通过精心设计并进行人工编程而实现的，因此，如何将新的能力「传授」给原有的机器人也成为一个挑战。谷歌大脑团队相信，机器人如果能掌握机器学习能力，那么让它自动掌握这些新的技能也绝非难事。
在 2016 年，谷歌大脑团队与 Google X 团队合作实现了机械臂的手眼协调功能，并经过 80 万次的抓取实验，让它们在不断的学习过程中汲取自学经验，雷锋网此前也做过报道和覆盖。
链接：https://arxiv.org/abs/1603.02199
“随后，我们探索了三种机器人学习新技能的三种可能方式，包括强化学习、通过机器与物体的交互，以及人类的操作示范等。谷歌大脑团队将在这些工作的基础上继续前行，以实现让机器人在复杂的现实环境中习得新技能，并成功运用的目标。”
三种机器人学习新技能链接：
https://research.googleblog.com/2016/10/how-robots-can-acquire-new-skills-from.html
值得一提的是，为了让其它机器人研究者也能尝试在该领域探索，谷歌大脑团队共享了数个机器人数据库。
链接：https://sites.google.com/site/brainrobotdata/home
四、医学影像领域：提升诊断效率
机器学习有着巨大潜力，包括应用于医学诊断领域。谷歌大脑同样注意到了这一进步，并在今年 6 月的美国医学学会刊物上（Journal of the American Medical Association）发布了一篇名为《深度学习算法的应用及有效性：因糖尿病引致的视网膜病变》的论文，详细了目前机器学习系统在疾病诊断上的新成果。「如果没能筛查出早期的视网膜病变，将会有四亿人面临失明风险。通过这项技术，我们希望能够帮助更多人口在眼科医生稀缺的情况下获得适当的检查。」AI 科技评论了解到，谷歌 DeepMind 目前已经与英国国家医疗服务体系（NHS）进行了二度合作，将和 Moorfields 眼科医院一同开发识别视觉疾病的机器学习系统。
论文链接：http://jamanetwork.com/journals/jama/article-abstract/2588763
除此之外，谷歌大脑团队也致力于拓展医学影像的其它领域，并相信机器学习能够在接下来一年内又好又快地提升医患的就医体验。
五、创作，从音乐到艺术
不论是印刷出版、电影或是电吉他，人们利用科技定义媒体内容的创造与分享。在 2016 年，谷歌大脑成立了一个名为 Magenta 的项目，以探索艺术与机器智能的灵感火花，并利用机器学习丰富人类的创造力。
Magenta 项目链接：https://research.googleblog.com/2016/02/exploring-intersection-of-art-and.html
先是用机器学习建立起音乐与图像生成之间的联系，再是文本生成与虚拟现实，Magenta 正在成为内容创作的最佳生成模型。
谷歌大脑团队通过举办研讨会及展览会的方式，对音乐创作及艺术风格迁移等主题进行探讨。而这些探索也同样获得了学界的认可， demo 在年底的 NIPS 2016 上获得了最佳奖项的首肯。
Demo 链接：
https://magenta.tensorflow.org/2016/12/16/nips-demo/
六、安全公平，AI 有责
「当我们开发出强大且完善的 AI 系统，并广泛应用于这个世界之时，谷歌大脑团队同样也心系安全与公平。我们同样希望拥有能帮助人类更好理解机器生产的工具。」
在 AI 安全领域，谷歌大脑通过与斯坦福、伯克利及 OpenAI 等机构的合作，发布了名为《AI 安全的具体问题》的白皮书，提及了人工智能领域可能设计的具体安全问题，而谷歌大脑团队也致力于在训练数据的隐私问题、涉及不同项目的隐私界定，以及知识迁移技术方面提出可行的保护方案。
《AI 安全的具体问题》链接：
https://arxiv.org/abs/1606.06565
而在另一篇名为《监督学习中的机会公平性》的文章中，谷歌大脑也以 FICO 评分系统为例，尝试通过调整训练的预测因子，以避免结果出现不必要的歧视。
《监督学习中的机会公平性》链接：
https://arxiv.org/abs/1610.02413
如果你对此感兴趣，欢迎通过他们的可视化项目了解。
七、TensorFlow 初长成
TensorFlow 于 2015 年 11 月开源，当时作为一个希望机器学习社区都能从中受益的开源平台而存在。一年来，TensorFlow 已经成为了 GitHub 上最受欢迎的机器学习项目，拥有超过 570 贡献者的上万次提交。而得益于社区的贡献，TensorFlow 目前仅在 GitHub 上就有多于 5000 个与 TensorFlow 相关的项目了。
谷歌大脑团队表示，TensorFlow 目前已经得到了许多研究团队与大型企业的认可（如 DeepMind），此外在寻找海牛或帮助日本农夫选黄瓜等特别的小项目中也取得了喜人的进展。
而谷歌为 TensorFlow 所做的还不止这些：
TensorFlow 目前已经在性能上已经有了大量改进，增加了分布式训练的支持；
兼容 iOS、树莓派和 Windows，此外还与大数据框架进行了整合；
拓展了可视化系统 TensorBoard，能够用于可视化计算图表及 embedding；
开放了 Go、Rust 及 Haskell 的接口；
发布了最优秀的图像分类模型；
回答了 GitHub、StackOverflow 等论坛及 TensorFlow 邮件里收到的上千个问题；
TensorFlow Serving 得以简化 TensorFlow 模型在生产应用的难度；
获得了 Google Cloud Machine Learning 的托管服务。
在庆祝 TensorFlow 成立一周年之际，谷歌大脑还在 OSDI 上提交了一篇名为《TensorFlow：大范围机器学习系统》的论文。
通过与编译器团队的合作，谷歌大脑也在致力开发用于 TensorFlow 的后端编译器 XLA，并已经在其中添加了一个 alpha 版本。
八、初探机器学习社区
谷歌大脑同样也在努力教育指导人们如何使用机器学习，并开展相关研究。
2016 年 1 月，谷歌大脑团队的一名研究负责人 Vincent Vanhoucke 在优达学城上开设了一门免费的深度学习在线课程。此外，团队还组织了 TensorFlow Playground，这个交互式系统能够通过可视化的方式，帮助人们更好地理解简单的神经网络学习是如何完成任务的。
在去年 6 月，首届 Google Brain Resident 项目在 2200 名申请者中筛选出了 27 名学员，并在过去的 7 个月时间内开展了大量原创研究，并完成了 21 篇论文。
8 月份，许多谷歌大脑的成员都参与了 Reddit 的 MachineLearning 小组上的 AMA 问答，为网友们解答了机器学习社区及对团队的种种疑问。
在 2016 年，我们接纳了 46 名实习生（大部分是博士生），他们与团队成员一同开展了研究。
九、让机器学习无处不在
除了上述公开活动外，谷歌大脑也在谷歌内部开展工作，以期将机器学习专业及精神渗透到其它产品团队中。谷歌大脑团队希望公司能做为一个整体，接纳并利用新生的机器学习研究成果。比如与平台团队紧密合作，为在 Google I/O 大会上提及的机器学习加速器 ASIC（张量处理单元 TPU）提出了个性化且高水平的目标。这种定制芯片能够在数量级上提升机器学习的性能，并广泛应用于谷歌产品中，包括 RankBrain、神经机器翻译系统，还有在 3 月份击败李世石的 AlphaGo。
总而言之，对于谷歌大脑团队及谷歌上上下下所有同事与合作伙伴而言，2016 是令人为之欢欣鼓舞的一年，而团队也同样期待机器学习研究能在 2017 年更上一层楼。
via google blog，AI 科技评论编译
点击阅读原文查看 Jeff Dean 在硅谷人工智能前沿论坛 AI Frontiers 的演讲，AI 科技评论在现场跟进了该演讲。