【研究】启发自大脑的AI：神经科学如何促进机器学习

原作者：Thomas J Watson Research Center

译者：彭婷

概要：我们的团队有了两项重要的创新---在由奖励驱动注意力这项技术和网络“可塑性”的帮助下，可以实现短期和长期适应。在本周IJCAI发表的两篇文章中将对此进行讨论。

虽然构建人造系统并不一定需要复制自然---毕竟飞机飞行时不会像鸟一样振翅飞翔---AI和机器学习的历史强有力地表明，从神经科学和心理学中汲取的灵感可以带来重大突破，深层神经网络和强化学习可能就是两个最突出的例子。

我们的IBM研究团队从大脑中获得灵感，最近利用机器学习技术开发了注意力和记忆的计算模型。我们的最终目标是建立能够终身学习的AI系统，而这个系统能够适应新环境，同时保留迄今为止所学到的知识。这个工作可以分为短期适应和长期适应。在短期适应中很少需要改变系统并训练系统要注意什么，而人脑形成记忆的方式以及神经可塑性影响这一过程的方式会激发系统的长期适应。（例如，成人神经的形成。）

我们的团队有了两项重要的创新---在由奖励驱动注意力这项技术和网络“可塑性”的帮助下，可以实现短期和长期适应。在本周IJCAI发表的两篇文章中将对此进行讨论。

在奖励驱动注意力这项技术的帮助下实现快速适应。

引发注意就能够快速从大量的感官信号（视觉，听觉等）中选择和处理最重要的信息。由于我们的视网膜只能提供非常有限的视野，我们经常不得不决定“瞥见”什么并做出快速的决策。现实生活中，在问题有无数可能性时，集中于其中具有重要特征的一小部分，这是我们每天都要经历的事情。例如，面对丛林中突然出现的狮子，羚羊必须对它所看到的，决定采取何种行动。又比如，医生在决定病人所用的药物之前都会询问病人或对病人做测试。

在我们的论文“Context-Attentive Bandit:Contextual Bandit with Restricted Context”中，我们为上述情况研发了一种算法。我们的算法学会了在任务期间获得奖励（即来自环境的反馈），从而快速地将注意力集中在正确的输入上。奖励越高，投入的关注就越多。在狮子与羚羊的情况中，羚羊学会了要关注环境的哪一个部分，当检测到灌木丛中的异常运动时，奖励就是能够采取行动，逃避潜藏的捕食者，从而生存下来。在上面的医生的例子中，可能采取的测试和治疗方法很多，医生需要选择其中最有效的方法。就像AI系统，通过培训并获取经验，医生可以学会选择最有效的测试和治疗组合，使预期的结果（即患者恢复好身体）得到最大化。

我们的算法的新颖之处在于它能够以在线方式学会哪些输入是要集中在一起的，即数据集不是固定的，而是不断变化，同时根据部分输入获得奖励。在线意味着系统可以在它执行时学习，因此对变化具有鲁棒性。

到目前为止，我们已经使用公开的数据集对几种在线分类任务进行了算法测试，而我们的下一步计划就是将我们的方法应用于更广泛的现实生活中的数据集以及更复杂的环境问题中去。

用于评估IBM团队在线字典学习算法的图像数据集，该算法通过改进重构精度以及学习更简洁的表示从而优于标准的在线字典学习方法。

建立长期适应的记忆：神经源学习

我们正在开发的另一种技术需要借助的神经可塑性，在我们的第二篇论文---“Neurogenesis-Inspired DictionaryLearning : Online Model Adaption in a Changing World”中就得到了解决。受成人神经形成过程启发的这种方法，可以让我们实现长期学习。而成人神经形成过程发生在海马体中，部分人脑负责形成记忆。

虽然突触可塑性（即学习过程中神经元连接强度的变化）是神经网络训练的标准方法，但其他类型的可塑性，如神经新生，可以激发新的学习方法，在这些学习方法中，网络的架构会不断适应变化的终身学习环境。在我们的论文中，我们提出了一种这样的算法，这种算法会扩展和压缩网络的隐藏层，进而模仿神经元的诞生和死亡。经过证明，我们的这种算法不仅适应于新环境（例如新领域），而且还保留了先前领域的记忆，从而可以构建出适用于终身学习的AI系统。

在诸如图像识别和自然语言处理等应用中，我们观察到，扩展和折叠其隐藏层的适应性方法非常像人类大脑，它大大超过了非适应基准。

自然和神经科学激发我们不断地研究与追求，以建立对人脑来说小菜一碟，但却能够增强和扩展、适应终身学习的系统。

长按图片，识别二维码，关注“天津大学神经工程与康复实验室”！