【期刊】一种具有高通用性和高能效的忆阻神经网络矩阵方程求解器

矩阵方程求解是科学计算和数据密集型任务的核心之一，遍布于物理学、统计学、信号处理和机器学习等领域中。与神经网络相似，它同样涉及到对大量数据的搬移与迭代运算，这导致了极高的硬件资源开销与时间开销。虽然忆阻存内计算范式已显示出加速矩阵方程求解的潜力，但现有的忆阻矩阵方程求解器仍受到系统通用性和忆阻阵列计算精度较低的限制。因此，能否发展出具有高通用性、高计算精度、高计算能效的忆阻矩阵方程求解器，对于推动忆阻存内计算在建模、预测、优化等问题中的应用至关重要。

在这项工作中，我们基于忆阻阵列中的矩阵向量乘法运算，展示了一种基于神经网络算法的通用矩阵方程求解。该方法通过硬件级的计算加速实现了高通用性、低时间复杂度的矩阵方程求解，计算能效对比现有存内计算技术实现了进一步的提升。本工作的主要创新点如下：

1. 本文提出了一种混合存内计算硬件架构来实现神经网络的训练过程，通过神经网络的拟合能力来实现对矩阵方程的求解。该硬件系统利用忆阻器阵列执行高并行度的矢量矩阵运算，利用数字计算机执行高精度运算操作。因此，该硬件架构可以在保证计算精度的同时降低计算延时，提升计算能效。

2. 本文针对忆阻存内矩阵运算精度低，且现有精度补偿技术性能损失较大的问题，提出了“权重分割（weight slice）”技术来补偿忆阻器的模拟计算精度。权重分割技术将二进制数据的高位数据映射到二值忆阻阵列中，将低位数据映射到多值忆阻阵列中。如此，既保证了计算的准确性，也保证了计算的高能效。

3. 该矩阵方程求解器被用于求解形如AX=B的矩阵方程，并且，针对多种类型的系数矩阵A，该硬件求解器均能逼近到理想数值解，验证了该求解器的通用性。性能分析方面面，该方程求解器的求解时间复杂度为O(nln(n))，作为对比，现有数值计算机的求解时间复杂度为O(n3)。此外，相较于文献中的“位分割（bit slice）”存内精度补偿技术，“权重分割”技术的INT8 运算能效提升了2.25倍。

图1. 通用忆阻矩阵方程求解器设计示意。(a)求解器利用神经网络提供矩阵方程的近似解。(b)为加速神经网络求解算法而设计的混合架构。(c)具有较高精度和高能效的权重分割矩阵计算方法。

图2 (a) 求解不同维度的矩阵逆时解残差的收敛情况。(b) 迭代步数y与矩阵维数x的拟合曲线。(c) 单个忆阻阵列的运行能效与ADC 采样频率之间的关系。(d) 权重切片技术与位切片技术的运算能效对比

Jiancong LI, Houji ZHOU, Yi LI, Xiangshui MIAO. A memristive neural network based matrix equation solver with high versatility and high energy efficiency. Sci China Inf Sci, 2023, 66(2): 122402

作者简介

李祎

华中科技大学集成电路学院 副院长、副教授

李健聪

华中科技大学集成电路学院 博士研究生

---

推荐阅读

蔻享学术 平台介绍

蔻享学术平台，国内领先的一站式科学资源共享平台，依托国内外一流科研院所、高等院校和企业的科研力量，聚焦前沿科学，以优化科研创新环境、传播和服务科学、促进学科交叉融合为宗旨，打造优质学术资源的共享数据平台。

识别二维码，

下载 蔻享APP  查看最新资源数据。

点击阅读原文，查看更多！