谷歌和MIT的量子算法，指数加速训练深度神经网络

光子盒研究院出品

用于训练广义和经典神经网络的量子算法已经成为量子计算机应用中最有前途的研究领域之一。虽然神经网络在许多基准任务中取得了最先进的结果，但是现有的量子神经网络尚未清楚地证明涉及经典数据集的任务的量子加速。鉴于深度学习对计算的要求越来越高，使用量子计算机来有效训练深度神经网络是一个可以从进一步探索中受益匪浅的研究领域。

为了加速训练深度神经网络(DNN)，麻省理工学院(MIT)和谷歌量子AI团队提出了一种量子算法，旨在对数时间内训练这种网络。该团队在标准MNIST图像数据集上提供了令人信服的证据，证明了他们提出的方法的有效性。

作者包括谷歌量子AI实验室主任Hartmut Neven和HHL量子算法的提出者Seth Lloyd

尽管当前大多数量子机器学习算法都是基于线性代数的方法，但神经网络依赖非线性来充当通用逼近器。因此，最近的研究引入了神经正切核(NTK)，它将过度参数化神经网络表示为应用于非线性特征的线性化模型。

NTK定义了任意一对数据样本之间的核，通过梯度下降描述深度神经网络在训练过程中的进化。例如，在无限宽度极限中，使用由该核描述的高斯分布的神经网络可以产生与用梯度下降训练的网络相当的结果。

NTK通过增加隐藏层的数量揭示了DNN的好处。随着神经网络的加深，NTK矩阵的条件变得更好，通过梯度下降加速网络的训练。虽然通过梯度下降收敛所需的NTK的有效条件对应于有效量子算法训练神经网络的必要条件，但由于矩阵稀疏性等严格的理论限制，现有量子算法在这方面往往失败。

MIT和谷歌工作的主要贡献是设计了一种量子算法，在NTK近似下训练广度和深度的神经网络，随着训练集的增大，估计训练神经网络的输出误差为零。

研究团队提供了两种不同的近似值：一种是稀疏NTK，它只允许任何行或列中的O(log n)个非对角元素为非零；另一种是对角线NTK，它将NTK的所有对角线元素设置为零。在这两种情况下，都是通过NTK的矩阵元素边界来实现逼近的收敛，而相同的边界也直接实现了有效的梯度下降。

该团队将他们提出的关于近似NTK的全量子算法的方法总结为：1)假设存在量子随机存取存储器(QRAM)，以存储和访问任何必要的量子态；2)使用振幅估计和中值估计来评估数据样本之间的内积，以计算NTK元素；3)后选择，准备测试数据点和训练集之间的NTK。

该团队对MNIST二值图像分类任务进行了实验，以评估他们的方法。

实验结果表明，MNIST图像数据集满足有效输入/输出的必要条件，验证了MIT和谷歌提出的量子算法在梯度下降中实现端到端指数加速的能力。

参考链接：

[1]https://arxiv.org/abs/2107.09200

[2]https://syncedreview.com/2021/07/28/deepmind-podracer-tpu-based-rl-frameworks-deliver-exceptional-performance-at-low-cost-71/#comments

—End—

相关阅读：

#光子盒社群招募中#

进入光子盒社群，与我们近距离互动，了解量子领域更多产业、商业、科技动态，领取量子技术产业报告。

现添加社群助手微信Hordcore即可进群 ，与我们一起展望未来！

你可能会错过：