Cell经典回顾：机器学习模型揭示大脑怎样整合空间记忆与关系记忆

导语

人类等高等动物能够做出复杂推理、整合新知识以控制行为，其神经机制离不开海马-内嗅系统对于空间记忆和关系记忆的调控。来自牛津大学的学者于2020年在Cell杂志发表文章，通过分解和重组的方法构建了一套框架（TEM模型），整合了空间记忆和关系记忆的共同原则，从而解释海马在空间和非空间问题中的泛化作用，并预测其重新映射。该文入选了Cell年度最佳论文合集（Best of 2021，共9篇）。

研究领域：认知推理，关系记忆，深度学习

刘畅、赵凯 | 作者

梁金 | 审校

邓一雪 | 编辑

论文题目：

The Tolman-Eichenbaum Machine: Unifying Space and Relational Memory through Generalization in the Hippocampal Formation

论文链接：https://www.sciencedirect.com/science/article/pii/S009286742031388X

一、研究背景和问题

空间记忆是动物赖以生存的必备认知功能，这一功能的实现和大脑中的海马体密切相关。从1948年起，Tolman就提出动物通过构建“认知地图”来理解环境。近年来，随着对空间记忆研究的深入，人们不禁思考，我们在概念空间、语言空间或关系空间中是否也共享与空间记忆类似或相同的神经机制？

人和其他动物总是能够从稀疏的观察中得出推论，并迅速整合新知识来控制其行为，这些表现与海马体-内嗅皮层系统密不可分。研究表明，空间和关系记忆可能通过共同的机制相关联[1]，但截至目前，尚不清楚这种机制是否存在以及这种机制如何解释多种类型的空间神经元类型。

因此，将空间记忆和关系记忆问题重新作为结构抽象和结构泛化的示例以解释海马体的一系列属性显得尤为重要。

在这个背景下，Tolman-Eichenbaum Machine （TEM）这篇文章从计算和实验验证的层面表明，如何通过海马的组成提出统一空间记忆和关系记忆的功能机制，并解释多种类型的空间神经元。Tolman-Eichenbaum Machine（TEM）是为纪念 Edward Chace Tolman（最早提出“认知地图”）和 Howard Eichenbaum （阐明海马在空间和非空间记忆中作用）对认知理论的贡献而命名的。TEM通过将空间和关系记忆问题作为结构抽象[2]和泛化的示例来解释海马体的广泛特性。如图1所示，Tolman-Eichenbaum Machine 通过将有限的结构表示与变化的客体感知绑定，应用于变化的感知信息推断中，从而具备良好的泛化能力。

图1. Tolman-Eichenbaum Machine，空间认知和非空间认知通过绑定实现有限结构在变化环境中的泛化

二、研究方法

本文借鉴了空间记忆中的研究思路，将空间信息与客体感知进行解耦。每个问题或环境都共享类似的空间结构，而世界上空间结构的类型是有限的，但客体感知总是处于变化的过程中，因此理解一个新的问题或者一个新的环境可以看作关系记忆的重新映射问题。

作者认为，理解一个空间或非空间问题都依赖于两部分表示，分别是泛化（即变化的客体感知）和结构抽象（即空间记忆或关系记忆，关系记忆类比空间记忆），实现在空间和非空间任务中的定位与导航。客体和位置之间通过记忆系统实现存储、召回或联想。因此本文的模型结构就很清晰了，一部分模型实现定位与导航，可通过路径积分的方法实现，文中采用循环神经网络实现，此类做法很常见，如 DeepMind 在2018年的文章Vector-based navigation using grid-like representations in artificial agents [3]中所采用的方法。另一部分模型实现客体与位置信息的相互检索，这部分可通过现代 Hopfield 网络实现，文中采用的是快速权重记忆模型[4]。

我们举一个在客厅进行空间导航的例子来介绍 TEM 的运作过程以帮助理解。agent 随机出现在一个位置上，这个位置的具体坐标可以初始化为任意值，假设在这个位置上可观察到的客体是沙发。agent 向前一步则能观察到电视，向后一步可观测到书架，遍历整个客厅，则获取了整个客厅的空间记忆，即agent可以获取客体之间的相对空间关系。在遍历的过程中，我们也将客体信息存入了与位置关联的记忆系统中，通过这个记忆系统，agent可以实现从what到where，从where到what的双向联想或召回，从而完成TEM在空间任务中的基本功能。如果我们将具体的向前或向后这样的空间关系转换为大于或小于这样的逻辑运算关系，就将TEM从空间任务中推广到了非空间任务中。

三、主要结论

(1) TEM将结构知识泛化到新的感觉环境

我们首先在经典的非空间关系记忆任务（传递推理任务和社会层级任务）上测试TEM，这些任务被认为依赖于海马体。经过训练后，TEM在没有任何额外体验的情况下，立即在新的传递推理任务中进行推理。

例如，在显示了如A>B>C>D>E的序列后，不考虑特定的感官特性（例如，A; B; C; D; E或猫；狗；大象；狐狸；獾），TEM将返回“B”到查询“什么比E大3”（查询是一个动作a）。因此TEM学习了有序结构的知识。同样，在社会层级任务中，TEM可以推断出它从未见过的关系。例如，在显示“Bob是Cat的兄弟，Cat是Fran的母亲”后，TEM在被问到“谁是Bob的侄女”时回答“Fran”。在这两种情况下，TEM在之前没有看到任务的特定感官细节的情况下都能正确回答，因为它接触过类似的关系结构，可以从中学习和泛化。

(2) TEM表征具有跨环境泛化的栅格细胞的结构

接下来查询网络的学习表征，以了解它们与这些任务所需的计算以及海马体和内嗅皮层的已知特性之间的关系。我们首先考虑在二维图上随机扩散的TEM智能体，仅受环境中的邻域转变的限制。在这里，TEM的“抽象位置”g表征类似于啮齿动物MEC中记录的栅格细胞（图2A和2B）和带状细胞（图2C）。与在大脑中一样，我们观察到不同空间频率的栅格细胞模块，在模块内，我们观察到不同相位的细胞。

图2：TEM学习了二维图（六边形和正方形）上随机游走的结构表征。图2A和图2B不同行代表不同的细胞。

另外，TEM表征可以泛化，在不同的环境中保留它们的特性。例如，环境1中的栅格细胞也是环境2中相同频率的栅格细胞，并且栅格细胞之间的关系结构也被保存下来——在一个环境中相邻激发的栅格细胞（在同一个模块中）在所有环境中都会相邻激发。这些保留的特性为关系结构的泛化提供了基础，并且在多个环境中记录的啮齿动物栅格细胞群中也观察到了这些特性。

(3) 不同的内嗅细胞类型和海马体细胞类型构成转移统计特性（transition statistics）的基础

对于非随机扩散的TEM智能体，我们模拟喜欢在边界附近花费时间并接近物体的动物，在这些行为转移统计特性上训练TEM会导致内侧内嗅细胞出现新的表征（如物体矢量细胞（图3A）[5]、边界细胞（图3B）[6]等），这些也存在于啮齿动物中。

TEM的物体矢量细胞可以泛化到环境内和跨环境的所有物体。TEM的海马体中也存在类似的细胞，但有一个关键的区别。这里，物体敏感细胞表征特定物体的向量，但不泛化物体（图3C[7]）。这些细胞让人想起啮齿动物海马体中记录的“地标”细胞。

图3：TEM的内侧内嗅细胞学习到了类似物体矢量细胞（图3A）和边界细胞（图3B）的表征。TEM的海马体细胞学习到了类似物体敏感细胞的表征（图3C）。从左到右代表不同的细胞。从上到下分别代表两个不同的环境以及真实数据。

(4) 明显随机的海马体编码重构中保留结构知识

本文计算位置细胞的峰值放电率与对应位置栅格细胞的放电率相关性（图4A和图4B数据来源分别为[8]和[9]），将栅格细胞和位置细胞对放置在两个环境的每一个环境中，然后计算该测量值跨环境的相关系数，发现位置细胞跨环境编码重构（位置细胞在新环境中迅速形成新的放电模式的现象被称为编码重构(remappping)）不是随机的，仍能保留它们与栅格细胞的关系（图4A和4B）。对TEM学习表征的相同分析显示了实验数据定性相似的结果（图4C和4D）。

图4：在两个实验中（图4A和图4B每个实验包含两种环境），每个栅格细胞在每个位置细胞峰值发放位置的活动是跨环境相关的。TEM和实验数据中跨环境的相关系数定性相似（图4C和图4D）。

(5) 对复杂非空间抽象的机制性理解

因为TEM可以学习任意结构抽象，它也可以解释复杂的非空间任务中的海马体和内嗅皮层响应。

为了说明这一点，研究结合了Sun等人[10]的最新发现：小鼠在迷宫模型中每跑四圈便可获得奖励。海马体的位置细胞表征跑道上的空间位置。但有的细胞也具有空间选择性，仅在四圈中的一圈发放。还有的细胞放电根据圈数的不同而有所变化（图5A）。海马体的细胞维持一个空间和非空间“圈数”的复杂组合表征。

当TEM接受这样一种任务训练时，在TEM的海马体中学习到了同样的3种表征（图5B）。TEM的内侧内嗅皮层可以对每一圈进行不同编码，从而理解抽象任务空间不是一个圈，而是四个圈（图5B）。这一机制与实验数据一致。这些结果表明，内嗅皮层细胞可以同时学习在多个抽象认知层次上表征任务，而海马体细胞则反映了它们与感官体验的重组。

图5：实验中发现3种不同类型的海马体细胞（图5A）。TEM的海马体细胞学习到类似的3种不同类型的表征（图5B左图）。TEM的内测内嗅皮层细胞学习到对每一圈进行不同编码（图5B右图）。

四、新研究的意义、

实际应用、未来可以拓展的方向

这项研究的意义在于统一了空间和关系记忆，从而对空间或非空间任务的神经实现提供了可能的解释。实现了空间记忆和关系记忆的统一之后，是否可能在概念空间或语言空间中进行泛化尚不清楚，值得进一步研究。

到目前为止，TEM仅仅考虑了简单的行为（例如，在迷宫中跑4圈以获得奖励），如果结合强化学习，这一框架或类似框架可能有助于将我们的计算理解从开放领域导航扩展到Tolman的原始想法，即跨越所有行为领域的知识系统组织。

参考文献

[1]Eichenbaum H, Cohen N J. Can we reconcile the declarative memory and spatial navigation views on hippocampal function?[J]. Neuron, 2014, 83(4): 764-770.[2]Kemp C, Tenenbaum J B. The discovery of structural form[J]. Proceedings of the National Academy of Sciences, 2008, 105(31): 10687-10692.[3]Banino A, Barry C, Uria B, et al. Vector-based navigation using grid-like representations in artificial agents[J]. Nature, 2018, 557(7705): 429-433.[4]Ba J, Hinton G E, Mnih V, et al. Using fast weights to attend to the recent past[J]. Advances in neural information processing systems, 2016, 29.[5]Høydal Ø A, Skytøen E R, Andersson S O, et al. Object-vector coding in the medial entorhinal cortex[J]. Nature, 2019, 568(7752): 400-404.[6]Solstad T, Boccara C N, Kropff E, et al. Representation of geometric borders in the entorhinal cortex[J]. Science, 2008, 322(5909): 1865-1868.[7]Derdikman D, Whitlock J R, Tsao A, et al. Fragmentation of grid cell maps in a multicompartment environment[J]. Nature neuroscience, 2009, 12(10): 1325-1332.[8]Barry C, Ginzberg L L, O’Keefe J, et al. Grid cell firing patterns signal environmental novelty by expansion[J]. Proceedings of the National Academy of Sciences, 2012, 109(43): 17687-17692.[9]Chen G, King J A, Lu Y, et al. Spatial cell firing during virtual navigation of open arenas by head-restrained mice[J]. Elife, 2018, 7.[10] Sun, C., Yang, W., Martin, J., and Tonegawa, S. (2020). Hippocampal neurons represent events as transferable units of experience. Nat. Neurosci. 23, 651–663.

（参考文献可上下滑动查看）

神经动力学模型读书会

为了促进神经科学、系统科学以及计算机科学等多领域学术工作者的交流合作，吸引更多朋友共同探索脑科学与类脑研究，周昌松、臧蕴亮、杨冬平、郭大庆、陈育涵、曹淼、刘泉影、王大辉、刘健、王鑫迪等来自国内外多所知名高校的专家学者在集智俱乐部共同发起「神经动力学模型」读书会，历时四个月研讨，近日圆满结束。

本季读书会形成了聚集500+成员的神经动力学社区，积累了40+小时综述、解读、研讨的视频记录，以及多篇社区成员总结的词条、笔记、翻译、科普资料等。现在报名加入读书会，即可加入社区交流讨论（微信），并解锁相关视频、文本资料。我们对脑的探索才刚刚起航，欢迎你一道参与，共同点亮更多脑科学研究的岛屿！

详情请见：

推荐阅读

点击“阅读原文”，报名读书会