百度提出量子自注意力神经网络
光子盒研究院出品
量子计算已成为一个越来越有吸引力的研究领域，因为它在解决优化、密码学、化学和量子自然语言处理(QNLP)等新兴领域的复杂现实问题方面具有巨大的潜力。然而，现有的QNLP方法需要大量资源的句法分析和用于不同句法句子结构的不同参数化量子电路，限制了它们的可扩展性、灵活性和实用性，尤其是在处理大规模现实世界数据集时。
最近，来自百度量子计算研究所和悉尼科技大学的一个团队在他们的新论文《用于文本分类的量子自注意力神经网络》[1]中解决了这些限制，提出了一个简单而强大的量子自注意力神经网络(QSANN)架构，该架构有效并可扩展到大型现实世界数据集，在文本分类任务上优于QNLP和经典自注意力网络。
研究团队总结了他们的主要贡献如下：
他们的方案是第一个基于自注意力机制的QNLP算法，具有详细的电路实现方案。这种方法可以在NISQ(含噪声中等规模量子)设备上实现，与之前已知的基于句法分析的QNLP方法相比，在大数据集上更为实用。
在QSANN中，他们引入了高斯投影量子自注意力，它可以有效地挖掘高维量子特征空间中单词之间的相关性。此外，文本分类任务中自注意力系数的可视化证实了其关注最相关单词的能力。
他们通过在几个用于文本分类的公共数据集上实验证明，QSANN优于现有的基于句法分析和简单经典自注意力神经网络的QNLP文本分类方法。数值结果还表明QSANN对量子噪声具有弹性。
他们提出的QSANN架构包括量子自注意力层(QSAL)、损失函数、分析梯度和分析。为了进行文本分类，QSANN首先将输入单词编码到一个大的量子希尔伯特空间，然后通过量子测量将它们投影回一个低维的经典特征空间。因此，他们可以通过利用高维量子特征空间和投影量子模型来利用量子优势，发现隐藏的文本相关性和使用传统方法难以甚至不可能跟踪的特征。
量子自注意力层(QSAL)示意图。在量子设备上，经典输入{ys(L-1)}被用作量子ansatzes(紫色虚线框)的旋转角度，以将其编码为相应的量子态{|ψs〉}。然后，对于每个状态，需要执行三个不同的ansatzes类(红色虚线框)，其中顶部的两个类表示query和key部分，底部的一个类表示value部分。在经典计算机上，通过高斯函数计算query部分〈Zq〉s和key部分〈Zk〉j的测量输出，得到量子自注意力系数αs,j(绿圈)；我们计算value部分(彩色小方块)测量输出的经典加权和，并将输入相加，得到输出{ys(l)}，其中权重为归一化系数α~s,j。
针对文本分类的QSANN训练
该团队在MC(语义分类)和RP(关系从句评估)数据集上的简单任务上，将提出的QSANN的文本分类性能与基于句法分析的量子模型进行了比较；并与经典自注意力网络(CSANN)和Yelp、IMDb和亚马逊公众情绪分析数据集上的原生方法进行了对比。在评估中，QSANN在MC任务上实现了100%的准确率，并在Yelp、IMDb和亚马逊数据集上超过了CSANN基准。
在Yelp、IMDb和亚马逊数据集上测试QSANN与CSANN和原生方法的准确性。每列中的最高精度以粗体显示。在所有三个数据集上，QSANN在三种方法中实现了最高的精度，同时使用的参数比CSANN少得多。
最后，研究人员还展示了QSANN在近期量子设备上的易于实现性及其对低水平量子噪声的鲁棒性，验证了将自注意力和量子神经网络结合起来用于复杂现实世界任务的潜力。
参考文献：
[1]https://arxiv.org/abs/2205.05625