前沿研究丨深度神经网络加速器体系结构概述
本文选自中国工程院院刊《Engineering》2020年第3期
作者：陈怡然，谢源，宋凌皓，陈凡，唐天琪
来源：A Survey of Accelerator Architectures for Deep Neural Networks[J].Engineering,
2020,6(3):264-274.
编者按
一般来说，现代机器学习算法可分为两类：人工神经网络（ANN）和脉冲神经网络（SNN）。机器学习（ML）方法已成功应用于解决学术界和工业界的许多问题，尽管大数据应用的高速增长为ML的发展提供动力，但它也给传统计算机系统带来了数据处理速度和可扩展性方面的严峻挑战。
中国工程院院刊《Engineering》刊发的《深度神经网络加速器体系结构概述》一文，主要关注人工神经网络，特别总结了用于深度神经网络的加速器设计（即DNN加速器）的最新进展，从计算单元、数据流优化、网络模型等方面讨论支持DNN执行的各种体系结构。文章在介绍机器学习和深度神经网络的基础上，分别介绍了几种代表性的DNN片上加速器和独立加速器，描述了各种基于新兴内存技术的DNN加速器，简要总结了新兴应用程序的DNN加速器。另外，还展望了AI芯片设计的未来趋势。
视频介绍丨深度神经网络加速器体系结构概述
视频来源：陈怡然
经典哲学将人类思维过程描述为对符号的机械操纵。长期以来，人类一直试图创造出具有意识智能的人造物件，这是人工智能（AI）的最初发芽。在近几十年中，AI经历了几次起伏。最近，由于可供使用的大数据和计算能力的快速增长，人工智能重新获得了巨大的关注和投资。机器学习（ML）方法已成功应用于解决学术界和工业界中的许多问题。
尽管大数据应用的高速增长为ML的发展提供动力，但它也给传统计算机系统带来了数据处理速度和可扩展性方面的严峻挑战。具体而言，传统的冯·诺依曼计算机具有单独的处理和存储部件。处理器与片外存储器之间频繁的数据移动限制了系统性能和能效，而AI应用程序中数据量的飙升进一步加剧了这种情况。专为AI应用程序设计的计算平台已经从对冯·诺依曼平台的补充发展到必备的独立技术解决方案。这些平台属于更大的类别，被称为“专有域计算”，专注于针对AI的特定定制。通过克服众所周知的“内存墙（Memory Wall）”和“电源墙（Power Wall）”的挑战，已经实现了数量级能效和性能的提高。最近的特定于AI的计算系统（即AI加速器）通常由大量高度并行的计算和存储单元构成。这些单元以二维方式组织，以支持神经网络（NN）中常见的矩阵向量乘法。片上网络（NoC），高带宽存储器（HBM）和数据重用等被用于进一步优化这些加速器中的数据流。
除了传统的CMOS设计之外，最近在AI加速器设计中还探索了新兴的非易失性存储器的应用，例如金属氧化物阻性随机存取存储器（ReRAM）等。这些新兴的存储器具有高存储密度和快速访问的特点，并且具有实现存内计算的潜力。具体而言，ReRAM阵列不仅可以存储神经网络，而且还能够以模拟方式执行原位（in-situ）矩阵矢量乘法。与最先进的CMOS设计相比，基于ReRAM的AI加速器由于模拟计算的低功耗特性，可以实现3-4个数量级的更高计算效率。另一方面，由于机器学习算法对噪声和错误表现出极大的抵抗力，模拟运算的噪声在很大程度上可以被机器学习算法所容忍。
《深度神经网络加速器结构研究综述》一文特别总结了用于深度神经网络（DNN）的加速器设计的最新进展，从计算单元、数据流优化、网络模型等方面讨论支持DNN执行的各种体系结构，总结支持小规模神经网络的片上加速器设计。而后，为支持大规模神经网络处理要求高性能和高能效的独立加速器被提出，以来自学术界的DianNao系列和来自工业界的TPU作为例子加以介绍，同时，也涉及目前广为使用的数据流（Data Flow）技术。
由于新兴存储器技术使得存内计算（Processing in Memory）变为可能，文章介绍了基于阻性存储器和混合存储立方体（HMC）这两种新兴存储器的加速器架构。稀疏神经网络、低精度神经网络、生成对抗网络等新兴应用为加速器架构设计提出了新的要求，也介绍了针对新兴应用的加速器架构。
最后，文章讨论了DNN训练加速器、基于ReRAM的PIM加速器以及边缘（Edge）DNN加速器这三种可能的未来加速器的研究趋势。
图1 深度神经网络加速器结构研究综述
改编丨宋凌皓
注：本文内容呈现形式略有调整，若需可查看原文。
改编原文：
Yiran Chen, Yuan Xie, Linghao Song, Fan Chen, Tianqi Tang.A Survey of Accelerator Architectures for Deep Neural Networks[J].Engineering,2020,6(3):264-274.
☟ 如需阅读全文，请扫描二维码或点击文末“阅读原文”
☟ “人工智能”专题更多相关文章，请点击标题链接或扫描二维码查看
Artificial Intelligence: Enabling Technology to Empower Society
吕跃广
扫描二维码，阅读原文
Multiple Knowledge Representation of Artificial Intelligence
潘云鹤
扫描二维码，阅读原文
如何解读机器知识
How to Interpret Machine Knowledge
李发伸，李廉，殷建平，张勇，周庆国，况琨
扫描二维码，阅读原文
The General-Purpose Intelligent Agent
卢策吾，王世全
扫描二维码，阅读原文
The Next Breakthroughs of Artificial Intelligence: The Interdisciplinary Nature of AI
庄越挺，蔡铭，李学龙，罗先刚，杨强，吴飞
扫描二维码，阅读原文
From Brain Science to Artificial Intelligence
范静涛，方璐，吴嘉敏，郭雨晨，戴琼海
扫描二维码，阅读原文
因果推理
Causal Inference
况琨，李廉，耿直，徐雷，张坤，廖备水，黄华新，丁鹏，苗旺，蒋智超
扫描二维码，阅读原文
深度神经网络加速器体系结构概述
A Survey of Accelerator Architectures for Deep Neural Networks
陈怡然，谢源，宋凌皓，陈凡，唐天琪
扫描二维码，阅读原文
神经自然语言处理最新进展——模型、训练和推理
Progress in Neural NLP: Modeling, Learning, and Reasoning
周明，段楠，刘树杰，沈向洋
扫描二维码，阅读原文
Artificial Intelligence in Healthcare: Review and Prediction Case Studies
荣国光，Arnaldo Mendez，Elie Bou Assi，赵博，Mohamad Sawan
扫描二维码，阅读原文
Ethical Principles and Governance Technology Development of AI in China
吴文峻，黄铁军，龚克
扫描二维码，阅读原文
The Next Breakthroughs of Artificial Intelligence: The Interdisciplinary Nature of AI
朱毅鑫，高涛，范丽凤，黄思远，Mark Edmonds，刘航欣，高枫，张驰，Siyuan Qi，吴英年，Joshua B. Tenenbaum，朱松纯
扫描二维码，阅读原文
深度学习中的对抗性攻击和防御
Adversarial Attacks and Defenses in Deep Learning
任奎，Tianhang Zheng，秦湛，Xue Liu
扫描二维码，阅读原文
深度学习的几何学解释
A Geometric Understanding of Deep Learning
雷娜，安东生，郭洋，苏科华，刘世霞，罗钟铉，丘成桐，顾险峰
扫描二维码，阅读原文
点击图片阅读丨人工智能专题
中国工程院院刊
工程造福人类
科技开创未来
微信公众号ID ：CAE-Engineering
说明：论文反映的是研究成果进展，不代表《中国工程科学》杂志社的观点。