Google高级研究员Jeff Dean：神经网络的发展离不开硬件的优化

在 8 月 22 日的 2017 年国际高性能微处理器研讨会（Hot Chips 2017）上，谷歌的高级研究员、Google Brain 项目的负责人 Jeff Dean 发表了关于深度神经网络的相关演讲，在他看来，深度神经网络大范围普及的时代即将来临。

他提到神经网络如今已经渗透进计算设备的方方面面，包括语音、视觉、搜索、机器人和医疗保健等等。在这种情况下，硬件系统经过不断优化之后可以执行少量特定的操作，而在此基础上所形成的大量机器学习模型又反过来创造出更加强大的神经网络。

Dean说：“建立专门运行神经网络的计算机是非常有意义的，一以贯之，打造出一个非常擅于精准操作的系统也是我们一直追求的目标。”

图丨Google高级研究员杰夫·迪恩（Jeff Dean）在演讲

在美国国家工程院(National Academy of Engineering,NAE)于 2008 年提出的 21 世纪 14 大工程难题中，Dean 认为神经网络至少可以解决其中的 5 个难题，例如修复和改善城市基础设施、在健康信息学方面取得成就、开发更有效的药品、发展大脑逆向工程学等。不过 Dean 还谈到，认为神经网络最具潜力的应用是解决其中的终极难题：发明科学探索新工具。

Dean 表示：“人们已经意识到我们需要更多的计算能力来解决很多这些问题。”

谷歌最近开始给客户和研究人员提供接入第二代 TPU 机器学习 ASIC 芯片的云服务。一块装有四个二代设备的定制加速板的浮点运算能达到 180 teraflops，同时配备 64G 的高带宽内存（HBM） 。

Dean 表示，这些设备将被连接在放置在更大的配置中。用 64 个第二代 TPU 组合成一个“TPU pod”，这个运算阵列， 最多可以为单个机器学习训练任务提供每秒 11.5 亿次的浮点计算能力，大大加速机器学习模型的训练，并提供 4 TB 的 HBM 内存。他补充说，Google 正在为致力于开放机器学习研究的顶尖研究人员免费提供 1,000 个云 TPU。

Dean 说：“我们对解决更大问题的可能性增加感到非常兴奋。”

2015 年，Google 发布并开源了用于机器学习的 TensorFlow 软件库，目标是建立一个发布机器学习想法和系统的通用平台，现在已经形成了一个相当大的社区，“这是非常有益的”，Dean 说。

图丨Google的第二代TPU

Dean 表示，得益于过去 20 年间计算机能力的迅猛发展，神经网络在过去的五年取得了火箭般的上升速度。而在一份 Dean 写于 1990 年的关于神经网络的论文中，他当时就预测到，只要计算能力再提升 60 倍，那神经网络就距离实现不远了。

“事实证明，我们真正需要的是超过现在 100 万倍的计算能力，而不只是区区几十倍的增长。”Dean 说。

-End-

欲知会员计划详情，请点击以上图片