深度学习大神Bengio为什么选择量子计算？

光子盒研究院出品

上周，量子计算公司Multiverse Computing宣布[1]和世界上最大的深度学习学术研究中心Mila启动了新的合作伙伴关系，双方将使用量子和量子启发方法，推进人工智能和机器学习(ML)；此次合作将涵盖多个领域，最初的重点是生物技术和制药行业。

Multiverse的量子专家将与Mila的研究人员合作推进增强型机器学习。Multiverse使用张量网络来支持这项工作，Mila拥有多名在该领域具有专业知识的研究人员：这些网络使用基于量子物理学的模型，可以提高训练ML模型的速度和精度。

01

全球最大的深度学习中心——Mila

Mila即蒙特利尔学习算法研究所，由蒙特利尔大学教授、深度学习三巨头之一、数据估值研究所（IVADO）主任Yoshua Bengio创立。Yoshua Bengio是加拿大计算机科学家，2018年，Bengio与Geoffrey Hinton和Yann LeCun一起获得了“计算领域的诺贝尔奖”——图灵奖，以表彰他们在30年间奠定的概念基础和工程进步：因强大的图形处理单元(GPU)计算机的普及以及对海量数据集的访问而显着推进；近年来，这些发现也奠定了计算机视觉、语音识别和机器翻译等技术跨越式发展的基础。Bengio获奖的具体研究包括[2]：

• 序列的概率模型：在1990年代，Bengio将神经网络与序列的概率模型（例如隐马尔可夫模型）相结合。这些想法被纳入AT&T/NCR用于读取手写支票的系统中，被认为是1990年代神经网络研究的巅峰之作，现代深度学习语音识别系统正在扩展这些概念。
• 高维词嵌入和注意力：2000年，Bengio撰写了具有里程碑意义的论文“A Neural Probabilistic Language Model”，该论文引入了高维词嵌入作为词义的表示。Bengio的见解对自然语言处理任务产生了巨大而持久的影响，包括语言翻译、问答和视觉问答。他的团队还引入了一种注意力机制，这种机制在机器翻译方面取得了突破，并形成了深度学习顺序处理的关键组成部分。
• 生成式对抗网络：自2010年以来，Bengio的关于生成深度学习的论文，特别是与Ian Goodfellow开发的生成式对抗网络(GAN)，催生了计算机视觉和计算机图形学的一场革命：计算机实际上可以创建原始图像，这曾被认为是人类智能标志的创造力。

得益于此，Bengio、Hinton和LeCun有时也被称为“人工智能教父”和“深度学习教父”。

Yoshua Bengio

拥有麦吉尔大学的电气工程学士学位、计算机科学硕士学位和计算机科学博士学位；

曾被任命为加拿大勋章官员、加拿大皇家学会会员和玛丽-维克多奖。

2018年10月，Yoshua Bengio与来自IBM和MIT的量子计算专家一起进行了小组讨论；参与者包括最著名的量子算法背后的人Peter Shor。Bengio表示[3]，他热衷于探索新的计算机设计，并向合作小组成员提出了关于量子计算机可能具备什么能力的问题。这奠定了Bengio与量子计算的渊源。

如今，Mila汇集了1000多名专注于机器学习的研究人员，因其对深度学习领域的重大贡献而享誉全球，特别是在语言建模、机器翻译、对象识别和生成模型方面。目前，Mila在多个垂直领域拥有广泛的企业合作伙伴网络，包括生物和制药、农业科技和工业4.0。

自成立以来，Mila的应用研究团队已开展超过112个项目，帮助国内外企业加快人工智能在其产品和服务中的开发和部署。“人工智能的社会责任发展是Mila使命的基本组成部分。”Mila表示：“我们将继续推动社会进步以及有益于社会的应用程序和项目开发。”

02

量子深度学习：巨大的飞跃

量子计算的核心是“通过计算成本更低的技术解决经典难题”。正如近年来深度学习和量子计算的研究并行发展一样，因此，许多人现在正在研究这两个领域的交叉点：量子深度学习。

如果对量子计算完全陌生，一个重要的介绍性概念是经典计算（我们通常用于计算任务）和量子之间的区别。在经典计算机上，当执行程序时，编译器用于将程序的语句转换为二进制比特上的操作。

与经典计算机上的比特在任何时候都代表1或0不同，量子比特能够在这两种状态之间“叠加”。只有当被测量时，量子比特才会“探索”到它的一种状态。“叠加”对于量子计算任务至关重要：通过叠加，量子计算机可以并行执行任务，不需要完全并行的架构或GPU来处理并行计算任务。这是因为如果每个叠加状态对应一个不同的值，如果对叠加态进行操作，则该操作同时在所有状态上执行。

叠加量子态的一个例子如下：

其中，a和b指的是概率幅度，它给出了一旦执行测量就投射到一个状态的概率。叠加量子态是通过使用量子逻辑门创建的。

那么，什么又是纠缠呢？

正如叠加是量子物理学中的一个重要原理一样，另一个需要讨论的关键领域是纠缠。纠缠是指在两个或多个粒子之间以某种方式产生或引起相互作用的行为，这意味着这些粒子的量子态不再能够彼此独立地描述，即使相隔很远也是如此。当粒子被纠缠时，如果一个粒子被测量，那么与之纠缠的另一个粒子将立即测量为相反的状态（这些粒子没有局部状态）。

随着对量子比特和纠缠的理解的发展，现在可以讨论贝尔态。这些是量子比特的最大纠缠态，它们是：

|00⟩ → β → 1 √2 (|00⟩ + |11⟩) = |β00⟩,

|01⟩ → β → 1 √2 (|01⟩ + |10⟩) = |β01⟩

|10⟩ → β → 1 √2 (|00⟩ - |11⟩) = |β10⟩

|11⟩ → β → 1 √2 (|01⟩ - |10⟩) = |β11⟩

使用以下量子电路创建贝尔态：

贝尔态电路。来自：Perry’s Temple of Quantum Computing

这里显示了一个贝尔态电路，它接受量子比特输入并应用Hadamard和CNOT门来创建一个纠缠的贝尔态。

如今，贝尔态已被用来开发一系列量子计算应用程序。例如，Hegazy、Bahaa-Eldin和Dakroury提出了贝尔态和超密集编码可用于实现“无条件安全”的理论。

在介绍了量子计算之后，我们现在将开始讨论深度学习的经典方法，特别是卷积神经网络(CNN)——卷积神经网络(CNN)已被证明在图像分类等任务中很受欢迎，因为它们能够构建模式层次结构，例如首先表示线条，然后表示这些线条的边缘。这允许CNN建立在层之间的信息上并表示复杂的视觉数据。

CNN具有卷积层，由过滤器组成，这些过滤器在输入中“滑动”并产生“特征图”，允许检测输入中的模式。CNN还使用池化层来减小特征图的大小，从而减少学习所需的资源。

卷积神经网络(CNN)

回到本文的主题，定义了经典的CNN，现在可以探索量子CNN如何利用这些传统方法并对其进行扩展：开发量子神经网络的一种常见方法是开发一种“混合”方法，引入所谓的“量子卷积层”——一种基于随机量子电路的变换，作为经典CNN中的附加组件。

虽然目前已经开发了量子CNN的方法，但该领域的主要挑战之一是实现理论模型所需的硬件尚不可用。除此之外，还存在与混合方法相关的挑战，混合方法引入了量子卷积层以及CNN的经典计算方法。

如果我们考虑量子计算的主要好处之一是可以解决“通过计算成本更低的技术解决经典难题”，那么这些解决方案的一个重要方面就是“量子加速”：在探索量子机器学习的好处时，与经典实现相比，预计量子算法将具有多项式甚至指数级的加速时间。然而，“量子加速”增益对于需要对经典数据和测量进行一致解码/编码的算法（例如QCNN）是有限的；目前关于如何最好地设计编码/解码和需要最少测量的协议以从“量子加速”中受益的信息有限。

更一般地说，纠缠已被证明是量子机器学习的重要属性。QCNN利用强纠缠电路，可以生成纠缠态作为其全连接层，从而允许模型进行预测。纠缠已在其他地方用于辅助深度学习模型，例如纠缠从图像中提取重要特征。此外，已经发现在数据集中使用纠缠可能意味着模型能够从比以前预期的更小的训练数据集中学习，从而完善了所谓的无免费午餐定理。

综上，本文提供了经典深度学习方法和量子深度学习方法的比较，以及利用量子层（包括强纠缠电路）生成预测的QCNN的概述，并讨论了量子深度学习的好处和局限性，包括纠缠在机器学习中更普遍的应用。

现在，可以考虑量子深度学习的下一步，特别是QCNN；除此之外，我们还看到了量子硬件的进步，PsiQuantum等公司的目标是开发百万量子比特的量子处理器。因此，虽然我们已经看到与应用量子神经网络相关的挑战，但随着研究在深度学习和量子计算的“交叉点”继续进行，我们可以期待看到量子深度学习的进一步发展。

参考链接：

[1]https://multiversecomputing.com/resources/Multiverse%20Computing%20and%20Mila%20Join%20Forces%20to%20Advance%20Artificial%20Intelligence%20with%20Quantum%20Computing

[2]https://www.acm.org/media-center/2019/march/turing-award-2018

[3]https://www.technologyreview.com/2018/10/03/139933/quantum-machine-learning-is-a-big-leap-away-at-least-for-now/

[4]https://towardsdatascience.com/quantum-deep-learning-a-quick-guide-to-quantum-convolutional-neural-networks-d65284e21fc4

相关阅读：

每周一到周五，我们都将与光子盒的新老朋友相聚在微信视频号，不见不散！

你可能会错过：