剑桥大学：PyTorch 已 碾 压 TensorFlow
关注上方“Python数据科学”，选择星标，
关键时间，第一时间送达！
NeurIPS 接收论文中，29% 的作者有中国大学的本科学位，但他们在毕业后有 54% 会去美国攻读研究生博士，这其中又有 90% 选择留美工作。剑桥大学的 2020 版《AI 全景报告》写出了 AI 领域哪些值得关注的新观察？
人工智能是基础科学与工程实践结合的技术领域，近年来已经融合了越来越多的其他方向。在数字化逐渐成型的今天，AI 将为技术进步产生推动作用。
近日，剑桥大学的 2020 版《AI 全景报告》终于出炉，这是该年度报告的第三期。和往年一样，该报告援引的数据来自知名科技公司和研究小组。新版 AI 全景报告以几个方面分别介绍了人工智能领域最近一段时间的发展趋势：研究、人才、业界、政策和未来展望。
该调查的两位主要作者 Nathan Benaich 与 Ian Hogarth 均来自剑桥大学。
报告地址：https://www.stateof.ai/
一、人工智能研究进展
人工智能领域的发展虽然伴随着开源的框架和活跃的社区，但在今年报告的开头，我们还是需要以数据说话，首先明确一点：AI 研究的开放性并没有我们想象的那么高。
在深度学习框架上，正如我们最近所感受到的，在各个 AI 顶会的论文中，研究人员已经广泛使用了 PyTorch，其抢占了大部分原来 TensorFlow 的位置。
在 GitHub 上，PyTorch 相比 TensorFlow 也有更多的新研究实现：据统计现在约有 47% 的实现是基于 PyTorch 的，而 TensorFlow 的大约为 18%。
另一方面，大尺寸模型正在推动着 NLP 领域的技术进步，OpenAI 的 GPT-3 等新研究已经把深度学习模型的参数数量推到了千亿。根据目前的云服务算力价格，训练每 1000 参数的模型平均需要 1 美元，拥有 1750 亿参数的 GPT-3 可能需要花费百万美元级别的费用，有专家认为这一数字超过了 1000 万美元。高昂的训练费用，让研究人员们在探索新方向时遭遇了挑战。
在 AI 模型训练需求越来越多算力的同时，传统计算机架构却在逐渐接近摩尔定律的终点。MIT 等大学的研究称，科学家如果希望将 ImageNet 数据集图像分类任务的错误率从 11.5% 降到 1%，可能需要数百亿美元的投入。
不过，人们也在研究提高模型效率的方法，OpenAI 的统计表明：自 2012 年起，训练深度学习神经网络进行 ImageNet 图像分类要想达到特定的水平，其所需的算力每 16 个月减半。
毋庸置疑的是，GPT-3、BERT 等模型已经让 NLP 领域的研究进入了新的阶段。现在甚至出现了自动翻译编程语言的无监督机器翻译工具。在 GitHub 上把 C++ 函数翻译至 Java 准确率达到 90%。
技术的快速发展源于人工智能领域的高研究力度。据统计，全球有关 AI 方法（深度学习、NLP、计算机视觉、强化学习等）的论文数量自 2017 年起每年增长 50%，在 2020 年，我们可能将会看到超过 21000 篇 AI 领域的新论文。
不过，当前的大多数机器学习应用是通过统计来实现功能的，其忽略了人类学习知识的重要方法——因果推理。在为患者寻找诊疗方案等任务中，因果推理是更好的方式。Judea Pearl、Yoshua Bengio 等人工智能先驱者都认为，因果推理是使得机器学习系统更好地泛化，更强大稳健，并为决策作出更大贡献的新方向。
二、AI 人才：美国占主导
人工智能领域研究者的分布情况近几年呈现出几种新的趋势。
人才流动
首先，学术界面临人才外流的情况，美国许多研究教授离开大学，前往科技公司任职。从 2004 年至 2018 年，谷歌、DeepMind、亚马逊、微软已经从美国大学聘请了 52 位终身教授。卡内基梅隆大学、华盛顿大学和伯克利大学在同一时期失去了 38 名教授。值得注意的是，仅 2018 年一年就有 41 位 AI 教授离开。
从 AI 顶会的角度看，在中国有过教育经历的研究者近几年为 AI 领域的研究做出了突出贡献。以人工智能国际顶会 NeurIPS 2019 为例，接收论文的作者中有 29% 都曾在中国获得本科学位。
但是从国内的大学毕业后，继续在 NeurIPS 上发表论文的毕业生中有 54% 都去了美国。
在人工智能领域里，美国仍然是国际研究的中心，有 90% 在美国毕业的留学博士都会留美继续工作。
而非美国籍的 AI 博士毕业生毕业之后很有可能到大型科技公司就职，而美国籍的博士毕业生更有可能去初创公司就职或加入学术界的研究行列。
与此同时，许多 AI 领域的美国博士毕业生毕业之后会前往英国和中国就职。
接下来我们再从研究机构的角度分析一下 AI 领域的概况。
以 NeurIPS 2019 为例，谷歌、斯坦福、卡内基梅隆大学、MIT 和微软发表的论文数量位居前五。
人才供不应求
作为当下最热门的研究领域之一，AI 领域的人才需求不断增长。许多一流大学也在扩大 AI 专业的招生规模。以斯坦福为例，最近几年斯坦福 AI 领域的学生是 1999-2004 年的十倍之多，与 2012-2014 年相比 AI 领域学生数量也是翻了一倍。尽管如此，来自 Indeed 的数据显示，招聘职位的数量仍约为求职者数量的三倍。
但不可避免的是，2020 年人工智能领域的人才市场受到了新冠疫情的严重影响。根据领英发布的数据，2020 年机器学习领域职位原本强劲的增长趋势在 2 月受到打击，开始下滑。
三、业界快速发展
人工智能设计的药物，在日本已经开始了一期临床试验。在人工智能医疗领域，众多创业公司收集了巨额资金，实现了「平台战略」。
在新冠疫情期间，众多科技公司也快速将 AI 医疗影像识别技术投入了实用化。最近一段时间里，美国医疗保险和医疗补助服务中心提出了基于深度学习的医疗成像产品费用标准。AI 系统可以快速扫描胸透等多种医疗影像，并将筛查结果提交给人类专家，排除非敏感因素。
说到人工智能最引人关注的自动驾驶。自 2018 年以来，在加利福尼亚州拥有自动驾驶汽车测试许可的 66 家公司中，只有 3 家被允许在没有安全驾驶员的情况下进行测试，其分别为 Waymo（谷歌）、Nuro 和 AutoX。
即使在政策最为开放的加州，迄今为止自动驾驶汽车的行驶里程相比人类也是微不足道——自动驾驶汽车公司在 2019 年的自动驾驶里程比 2018 年增加了 42％。但这仅相当于 2019 年有驾照加州驾驶员行驶里程的 0.000737％。
使用每次人工干涉之前，汽车自动驾驶的行驶里程作为评判标准，其实不一定是最客观的。在美国一些州，驾驶员双手完全脱离方向盘的行驶里程并没有记录。
不过最近，我们看到了这项数据的新变化。百度的自动驾驶已经达到了人工每次干涉之间 18,050 英里，超过了 Waymo（谷歌）的 13,219 英里。对于不断加强 AI 投入的百度来说，最近的投入已经开始得到回报。
自动驾驶领域的公司，必须要有强大的资金支持。13 亿美元被亚马逊收购的 Zoox，其自 2015 年以来收获的融资已超过了 9.55 亿美元，Zoox 最新的估值约为 32 亿美元。交易文件显示，Zoox 在 2020 年初每个月要烧掉 3000 万美元。
国内的出行公司滴滴最近也把自动驾驶业务剥离，并从软银远景基金等机构筹集了 5 亿美元。今年 7 月，滴滴在上海推出了自动驾驶汽车服务。
目前，自动驾驶系统中的大多数机器学习算法只专注于车辆周围的事物，并基于工程量巨大的手写规则。研究人员正在开发类似于 AlphaGo，学习大量人类驾驶经验进行训练的新算法。最近，Waymo、Uber 和 Lyft 都展示了模仿学习和逆强化学习的新技术。
自动驾驶等领域的发展也需求大量算力，Graphcore、英伟达等公司今年推出的新一代芯片成为了人们的希望。
政策变化
除了 AI 研究方向之外，人工智能应用的快速落地也引起了人们对于隐私和伦理的担忧。
人脸识别技术正面临着前所未有的争议
目前，世界上 50% 的地方都允许使用人脸识别技术，只有 3 个国家 (比利时、卢森堡、摩洛哥) 部分禁止该技术，只允许在特定情况下使用。
那些头部科技公司，对于人脸识别技术的使用也更加谨慎：
微软删除了其 1000 万张人脸的数据库——这是目前可用的最大数据库。数据库中的人脸是从网络上抓取的，并未取得当事人的许可。
亚马逊宣布一年内暂停警方使用其面部识别工具 Rekognition，以便「国会有足够时间制定适当的规定」。
IBM 宣布放弃其人脸识别产品及技术。
纽约大都会运输署 (MTA) 要求苹果允许乘客戴口罩时启用 FaceID，以防止新冠病毒扩散。
这一年以来，人脸识别技术所面临的争议比以往都要汹涌。
美国继续在军用 AI 系统上投入大量资金
随着机器学习技术的落地，军方在该方面的探索也越来越多，尽管我们尚不清楚这一趋势对现实世界的影响程度。
美国总务管理局和美国国防部联合人工智能中心授予博思艾伦咨询公司一份为期 5 年、总共 8 亿多美元的订单，内容简介中包括「数据标签、数据管理、人工智能产品开发」等关键词。
在国防层面，还有更多与此相关的 AI 公司正在获得丰厚的政府合同和风险投资。戴尔旗下 Pivotal 软件公司获得了美国国防部 1.21 亿美元的合同，还有一些从事无人机、高分辨率卫星地图、信息管理等业务的公司获得了大量风险投资，例如 Anduril、Rebellion、Skydio。
美国国防部高级研究计划局（DARPA）组织了一场虚拟空战大赛，一众 AI 系统相互竞争，最终胜出的「选手」、苍鹭系统公司开发的顶级 AI 以 5:0 的成绩击败了人类飞行员。
从 AlphaGo、AlphaStar 到 AlphaDogfight，借助深度强化学习技术，人工智能正在更多的领域击败顶尖人类选手。这也充分说明，在游戏对战环境中所训练的取胜技术，可以迅速迁移到军事环境中。被击败的飞行员表示：「作为战斗机飞行员，我们往常的标准操作方法已经不起作用了。」
美国国防部长 Mark T. Esper 表示，这些在模拟战斗环境中训练的算法，将在 2024 年应用于真实世界的战争中，包括全尺寸战术飞机。机器学习将对未来世界的战争产生结构性影响，他指出：「那些率先利用最新迭代技术的人，往往会在未来战场上占据决定性优势。」
两大 AI 顶会采用全新的道德规范
NeurIPS 和 ICLR 都提出了新的伦理规范，但并未强制代码和数据共享。以人工智能领域最顶级会议 NeurIPS 为例：
NeurIPS 将创建一个专门的子团队，由机器学习和伦理学交叉领域的专家组成。
NeurIPS 现在要求论文作者提交关于「该工作可能产生的更广泛的影响，包括道德方面以及未来的社会影响」。
鉴于 Facebook 和谷歌等公司在 NeurIPS 中的影响力日益增强，因此「作者必须提供明确披露资金来源以及竞争利益点」。
NeurIPS「强烈鼓励」共享数据和模型，但没有强制性规定。
在这方面，机器学习领域落后于生命科学领域，例如在 Nature 期刊上发表论文的条件之一是，作者必须「及时向读者提供材料、数据、代码和相关协议」。
华为在智能手机领域的主导性增强，并在机器学习技术上大量投资
这也是 9 年来第一次由苹果和三星之外的公司占据了市场领先地位，但到了 2020 年 9 月中旬，由于美国的制裁，华为面临着芯片供应的困境。
使用美国芯片制造设备的外国公司必需获得美国政府的许可，才能向华为提供某些芯片。华为消费者业务 CEO 余承东在中国信息化百人会 2020 年峰会上表示：「我们手机业务现在很困难，芯片供应困难，很缺货。」
华为的麒麟 AI 芯片由台积电代工，受到美国制裁政策影响，台积电接受的最后一笔订单是在 2020 年 5 月 15 日。目前，华为正尝试向中芯国际（SMIC）寻求芯片制造方面的支持。
但台积电在研发支出和半导体制造方面仍占据业内主导地位。台积电的研发费用与中芯国际的收入相当，前者是目前唯一商用 5nm 制造工艺 (N5) 的制造商，目前正致力于 3 纳米制造工艺 ，其功率效率比 7 纳米高出 2 倍，性能比 7 纳米高出 33% 。不久之前，中芯国际也表示，2020 年会将资本支出增至 67 亿美元(高于原定目标 31 亿美元)。
未来展望：8 个趋势
在最后一部分，剑桥 2020 年度 AI 全景报告给出了关于未来 12 个月的 8 项趋势预测。
1、搭建更大语言模型的竞赛仍将持续，我们将会见证第一个 10 万亿参数级模型的诞生。
2、基于注意力的神经网络将从 NLP 领域迁移到 CV 领域，实现新的 SOTA。
3、随着母公司战略的调整，一家大型企业的 AI lab 即将关闭。
4、作为对美国国防部活动和美国军事 AI 初创公司融资的回应，一部分中国和欧洲的国防 AI 企业将在未来的 12 个月内融资超过 1 亿美元。
5、一家头部 AI 药物发现初创公司（比如 Recursion、Exscientia）要么进入 IPO，要么以超过 10 亿美元的价格被收购。
6、DeepMind 将在结构生物学和药物发现方面取得重大突破。
7、Facebook 将凭借 3D 计算机视觉技术在 AR 和 VR 上取得重大突破。
8、NVIDIA 最终不会完成对 Arm 的收购。