高性能计算领域专业媒体HPCwire发表文章，介绍了英特尔研究人员对人工智能与高性能计算结合的技术展望。

将针对特定问题的深度神经网络扩展到具有数千个节点的大型系统是一项具有挑战性的工作。事实上，这是将人工智能（AI）和高性能计算（HPC）进行融合时面临的几个障碍之一。英特尔院士（Intel Fellow）、英特尔并行计算实验室（Parallel Computing Lab）主管撰写了一篇博客，描述英特尔为了更好地了解和解决这个问题所做的努力，并承诺将在2017年全球超级计算大会（SC2017）上提供更多详情。

该主管在上周发布的博文提出了一个关于人工智能与高性能计算融合的问题：需要怎样才能实现？这篇博文让我们认识到前进的道路是不平坦的。除了上述扩展性问题，博文中还写道：“雪上加霜的是，传统的高性能计算程序员对用于并行编程和分布式编程的低级应用程序接口（API）（如OpenMP或MPI）非常熟悉，而在超级计算机上训练深度神经网络的典型数据科学家可能只熟悉某些基于高级脚本语言的框架，如Caffe或TensorFlow。”

毫不奇怪地是，英特尔正在努力解决扩展性问题。“通过与美国国家能源研究科学计算中心（National Energy Research Scientific Computing Center， NERSC）、美国斯坦福大学（Stanford University）和加拿大蒙特利尔大学（University of Montreal）的研究人员进行合作，我们在深度学习训练方面取得了突破性进展。我们已经在Cori超级计算机上将其扩展到超过9千个基于英特尔至强融核（Intel Xeon Phi）处理器的节点中，同时保持了与当前流行的使用混合参数更新方案的随机梯度下降变量法相同的准确性和小分组限制。我们将在2017年11月12日至17日在美国丹佛市举行的全球超级计算大会（Supercomputing Conference）上分享这项工作。”

该博客链接到一篇有趣的论文——《深度学习的大分组数据训练：泛化误差和尖锐收敛》（On Large-Batch Training For Deep Learning: Generalization Gap And Sharp Minima）。这篇文章是英特尔和美国西北大学（Northwestern University）的研究人员为解决上述扩展性问题而共同撰写的。

其中一段摘要如下：“我们调查了大分组机制中泛化性下降的原因，并给出了数值证据，以证明大分组方法将收敛于训练和测试函数的尖锐最小值。众所周知，尖锐收敛将导致较差的泛化性。相比之下，小分组方法一致收敛到平坦最小值，且我们的实验支持一个公认观点，即导致出现上述结果的原因是梯度估计方法中存在固有的噪声。我们讨论了几种策略，以期帮助大分组方法消除这种泛化误差。”

该博文具有很好的阅读价值，并对英特尔的工作与思考进行了简述。根据博文作者的个人简介，其研究重点是在未来计算环境中能够有效处理新的计算应用与数据密集型应用范式的计算机架构。