一种新的学习模型，解释人脑如何实现Hinton提出的AI算法基石
作者：Allison Whitten
译者：刘媛媛
原文标题：Neuron Bursts Can Mimic Famous AI Learning Strategy
一种新的学习模型，以作为教学信号的爆发神经元为中心的活动——近似人工智能的反向传播算法。
每次当人类或机器学习如何更好地完成一项任务时，都会留下一系列证据。一系列物理变化是提高性能的基础，如大脑中的细胞或算法中的参数。
但是，系统如何准确地确定要进行哪些更改却不是一件小事，这被称为贡献度分配问题，即大脑或人工智能系统必须查明其架构中的哪些部分应该对错误负责，然后进行必要的更改。
简单地说：这是一个责备游戏，找出“谁”有错。
AI 领域有一种称为反向传播的强大算法，它解决了机器的贡献度分配问题，该算法可追溯到 1986 年 Geoffrey Hinton、David Rumelhart和Ronald Williams 的一项工作。现在，它是在最成功的人工智能系统（深度神经网络，在输入层和输出层之间包含人工“神经元”的隐藏层）中为学习提供动力的主力。
今年发表在《自然神经科学》上的一篇论文Burst-dependent synaptic plasticity can coordinate learning in hierarchical circuits 中，科研人员提出他们或许找到了与实时工作的大脑等价的替代物。
这篇论文是由渥太华大学的 Richard Naud ，以及麦吉尔大学和蒙特利尔 AI 算法研究所的 Blake Richards 领导的一组研究人员提出，他们揭示了一种可以模拟大脑学习过程中的反向传播算法的新模型。它的效果看起来如此逼真，以至于引起了实验神经科学家的关注，所以他们现在对研究真正的神经元十分感兴趣，想了解大脑是否真的在做这件事。
柏林洪堡大学的实验神经科学家 Matthew Larkum 说：“来自更具理论性的想法是推动进行困难的实验的动力，而对我来说，这篇论文已经超越了这一标准。这在生物学上是合理的，它可能会产生很大的影响。”
大脑学习和机器学习这两个过程并不完全相同。
当训练深度神经网络识别图像时，它会分两个阶段进行：首先是前向传播，然后是反向传播，这便是“学习”的过程。
在第一阶段，输入层中的神经元编码图像特征并将其传递，然后隐藏层中的神经元执行计算并将它们的结果送到输出层，输出层输出图像的预测结果，如“猫”。但如果图像的类别实际上是一只狗，则由反向传播算法通过调整连接神经元的权重来解决问题。这些变化基于计算每个神经元如何减少对整体误差的贡献，从顶部、最靠近输出层的神经元开始，然后反向移动到每一层。
例如，如果反向传播算法估计：增加某个给定神经元的活跃度将改善输出预测，那么该神经元的权重将增加。
其目标是通过每一个神经元在正确的方向上改变一点点，进而改变神经网络中的所有连接直到输出预测更频繁地正确。
几十年来，研究人员一直试图弄清楚大脑如何执行诸如反向传播之类的操作，来解决贡献度分配问题。
反向传播算法本身在生物学上是不合理的，因为真正的神经元是不能停止处理外部世界并等待反向传播开始——如果它们这样做了，人类最终会出现视力或听力问题。
Naud 和 Richards 的新模型通过对神经元如何相互交流的规范理解做出一点简单改变从而解决这个问题。以往的工作指出神经元就如字节一样，只有两个输出 1 或 0，要么向另一个神经元发送尖峰信号，要么没有。
但是神经元也可以发送如“爆发”一般快速连续的尖峰信号。事实证明，这样做可以改变神经元之间的连接，使得“爆发”信号成为解决贡献度分配问题的自然候选者。在新模型中，该团队认为神经元会发送类似“爆发”这样的第三种输出信号，即：一串连续的 1 就变成了 2。信号“2”不是对外部世界的编码信息，而是充当着教学信号，它告诉其他神经元，根据回路顶部产生的误差，来控制是加强还是削弱神经元之间的联系。
但是为了让这个教学信号是在“感觉”处理没有“暂停”的情况下解决贡献度分配问题。Naud 和 Richards 的团队提出模型的另一个关键部分：神经元的顶部和底部具有不同的隔间，它们以完全不同的方式处理神经代码。
为了使这成为可能，他们的模型假设在神经元顶部存在接收输入的树状分支，仅用来监听爆发（即：内部教学信号），以调整它们的连接并减少误差。就像在反向传播中一样，该调整也是自上而下进行的，因为在他们的模型中，顶部的神经元正在调节其下方神经元发送脉冲的可能性。
研究人员表明，当网络有更多的爆发时，神经元往往会增加其连接的强度，而当爆发信号不那么频繁时，连接的强度往往会降低。这个想法是爆发信号告诉神经元，它们应该在任务期间处于活动状态，如果这样做可以减少误差，那么加强它们的连接。反之，如果没有爆发信号，神经元应该处于非活动状态并且可能需要削弱它们的连接。
另一方面，神经元底部的分支将爆发信号视为单个尖峰（即正常的外部世界信号），这使它们能够继续在回路中向上发送感觉信息而不会中断。
苏黎世大学和苏黎世联邦理工学院的计算神经科学家 João Sacramento 说：“回想起来，我们提出的想法似乎合乎逻辑，这说明了它的美妙之处。我认为这简直太棒了。”
其他研究学者过去也曾试图遵循类似的逻辑。二十年前，宾夕法尼亚大学的 Konrad Kording 和德国 Osnabrück 大学的 Peter König 提出了一个具有两隔间神经元的学习框架。
但是他们的提议缺乏新模型中与生物学相关的许多具体细节，所以这只是一个提议，他们无法证明它实际上可以解决贡献度分配问题。
Kording 说：“当时，我们只是缺乏测试这些想法的能力。”他认为这篇论文提出的新模型是一项了不起的工作，他们也会让自己的实验室继续跟进。
凭借今天的计算能力，Naud、Richards 和他们的团队成功地模拟了他们的模型，其中爆发神经元扮演了学习规则的角色。
他们表明，它解决了称为 XOR 经典任务中的贡献度分配问题，该任务需要学习在两个输入信号，任意一个为 1 时做出的响应。他们还表明，使用他们的爆发规则构建的深度神经网络可以近似反向传播算法，达到其在具有挑战性的图像分类任务上的性能。
但该模型仍有改进的余地，因为反向传播算法仍然更准确，并且该模型还不能完全匹配人类的能力。
Naud 说：“这篇论文的主要目标是说明机器的学习过程可以通过生理过程来近似。这篇论文有我们的模型没有的细节，促使我们必须使模型做的更好。”AI 研究人员也很兴奋，因为弄清楚大脑如何近似反向传播，最终也可以改善 AI 系统的学习方式。
荷兰拉德堡德大学 Donders 研究所人工智能系主任 Marcel van Gerven 说：“如果我们理解它，那么这最终可能会导致系统能够像大脑一样高效地解决计算问题。”
新模型表明神经科学和人工智能之间的“伙伴”关系也可能超越我们每个人的理解，帮助我们找到大脑和机器能够学习任何东西所必需的一般性原则。
Larkum 说：“这些原则最终会超越人类神经系统。”