Nat Neurosci︱视觉和语言的语义表征在人类视觉皮层的边缘重合

撰文︱周  周

责编︱王思珍

人类可以通过视觉识别自然界中成千上万的物体和行为，并可以通过语言进行交流和推理这些语义类别。这种灵活的语言能力表明，直接通过感官获得的语义信息功能网络与口语传递的语义信息之间可能存在着丰富的联系。目前，关于视觉、语言和其他形式的语义信息如何结合的理论主要有两种。第一种是“中心辐射式”观点（the hub-and-spoke view），认为模态特异性皮层中的单峰处理单元是独立的辐条，汇聚到前颞叶（anterior temporal lobe，ATL）模态中心[1]。第二种是“趋同区”观点（the convergence zone view），认为，模态特定的语义表征和模态语义表征合并于ATL外皮层的多个节点[2]。这两个观点分别得到了一定的证据支持[3, 4]。

大量的功能性磁共振成像（fMRI）研究表明，视觉语义信息是由分布在枕叶皮质前部分、颞叶和顶叶皮质后部分的特定形态和类别功能区域拼接而成的[5]。过去的报告称，这两个网络边界上的一些区域，在视觉或语言呈现时，似乎代表相同的语义类别[6,7]。因此，有一种可能性是：来自模态视觉语义系统的信息沿着一组平行的语义选择路径进入模态语义系统，这些路径排列在这些网络之间的边界上。根据这种可能性，美国加州大学伯克利分校的Jack L. Gallant课题组提出了一种假说——语义重合假说。该假说认为：对于视觉皮层前边缘的每一个对特定视觉类别有选择性的位置，在它的前面应该有一个区域在语言中对同一语义类别有选择性。

近期，Jack L. Gallant课题组在Nature Neuroscience杂志上发表了题为“Visual and linguistic semantic representations are aligned at the border of human visual cortex”的研究论文。研究发现了视觉和语言的语义表征引起了两个不同的网络。在这两个网络中，语义选择性的模式沿着视觉皮层的边界对应：对于视觉类别其由脑后边界表征，而相同类别的信号在脑前侧表征语言。研究表明这两个网络平滑地连接在一起，形成一个相邻的网络映射。

为了验证“语义重合假说”，作者比较了从同一参与者的两个fMRI实验中获得的语义图：一个使用无声电影作为刺激，另一个使用叙事故事作为刺激。电影唤起了视觉皮层中特定模态、语义选择性区域网络的活动。故事则会引起视觉皮层正前方的另一个语义选择区域网络的活动。使用这两个fMRI实验的数据来构建两组体素编码拟合模型（voxel-wise encoding model），然后使用这些拟合模型来预测大脑对新刺激的活动。从这些预测中可以看到每个体素的活动是否由视觉和（或）语言语义信息驱动（图1）。通过检查这两个模型的语义选择性模式，从而能够检验假设在视觉和语言类别的语义选择网络之间是否存在系统的空间对应关系。

图1 视觉和语言语义模型

（图源：Popham et al., Nat Neurosci. 2021）

在对语义一致性假设进行测试之前，先进行了一个初步测试，以确定假设是否可信。在此，作者检查了一些语义类别：位置、身体部位和脸部。首先，使用视觉和语言模型权重来量化电影和故事中与地点相关的信息有多少体现在每个体素的活动中。图2a表明，电影中代表位置信息的体素集中在海马旁部位区（PPA）、枕部部位区（OPA）和脾后复合体（RSC）中，而这些区域前面的体素代表故事中的位置信息。对身体部位和面部的语义选择性进行的类似检查表明，这些从视觉到语言语义表征的模态转换也出现在视觉皮层边界的其他部分。所有这些定性观察都与语义重合假设一致。

图2 视觉和语言表征的语义概念已知是在视觉皮层的良好表征

（图源：Popham et al., Nat Neurosci. 2021）

接下来，作者测试了一个单个语义类别的情态转换是否为视觉皮层边缘的一般属性（图2）。考虑到枕叶边缘部分界限清晰，唯一清晰的标志是枕顶沟（parieto-occipital sulcus）和枕前切迹（preoccipital notch）。因此作者进一步量化图2定性的效果。为此，作者设计了一种方法来精准搜索单个语义类别从视觉到语言表示的模态转换的所有位置（图3）。该方法通过使用测地线映射到大脑表面的算法，计算每个位置的所有可能角度的模态偏移（图3 a）。通过选择每一行周围的一个窗口，在每个窗口中寻找模式转换，并给窗口中的每个顶点一个沿着测地线的坐标（图3 b）。然后为了测量沿区域的代表性偏移，作者采用了一个线性回归模型作为沿直线坐标的函数的权重投影（图3 c）。进而创建了一个单一的指标：沿着窗口的长度可以描述视觉表征变得越来越弱，语言表征变得更强的位置。事实上，这有一个从一种形态到另一种形态的转变（图3 c）。最后重复这整个过程，得到平均语言模型权重向量，并保留两个指标中较强的指标。另外作者也观察到一些负面类型的窗口例子（图3 d-h），它们都有非常小的模态转移指标。总之，这些示例说明作者成功地创建了一个仅针对表征性转移的模态转移度量，这与语义重合假设一致。

图3 检测类别特定模态位移的方法

（图源：Popham et al., Nat Neurosci. 2021）

为了评估这些模态转移的重要性，作者又构建了一个排列测试，以揭示哪些转移在语义上特定于那个窗口中所代表的概念。在所有参与者中，作者发现了显著的位于视觉皮层几乎整个边界上的语义类别的形态转移。这些区域包括视觉分类选择区域，以及其他语义选择区域，这些区域在之前的定位器研究中没有被区分为视觉感兴趣区（ROI），但根据该课题组之前的报道，唯一无法验证这一模式的区域是MRI缺失致使功能信号变模糊了的区域（见图4中的紫色阴影标记）。在不沿视觉皮层边界下降的位置，有少数形态转移区域是由前向后移动的，例如图4a中的右侧后颞上沟（posterior superior temporal sulcus）。

图4 特定类别形态的位置在皮层中移动

（图源：Popham et al., Nat Neurosci. 2021）

模态转换度量被设计用来识别特定位置，这些位置中同一语义类别的两个单峰表征之间存在强烈的转换。然而，语义权重本身的相关性并不能直接用于度量计算。因此为了直接量化跨越边界的语义对应，作者将每个重要窗口划分为视觉和语言部分，这种划分发生在两条拟合线相交的地方（见图3c中的变量P）。然后，将窗口视觉部分的视觉模型权重平均值与窗口语言部分的平均语言模型权重进行相关性分析（图5）。结果显示这些相关性中的绝大多数都是非常正相关的，这表明模态转移分析正在按照预期的那样发现跨边界的语义相关性。值得注意的是，仅图5所示的结果不足以支持语义重合假设。但图4所示的模态位移分析对于识别边界位置是绝对必要的。综合来看，图4和图5的结果表明两个单独的语义图确实沿着视觉皮层的前边界重合。图3-5中的分析则有力地支持了语义重合假设。

图5 跨边界语义对应的定量总结

（图源：Popham et al., Nat Neurosci. 2021）

然而，从这些分析中（图3-5）并不清楚哪些语义类别实际上是沿着视觉皮层边界表现的。为了验证这一点，作者沿着这一边界绘制了一个语义模型权重子集到皮层薄片上（图6）。图6显示，各种各样的语义概念沿着视觉皮层的前边界被呈现出来，从而揭示了视觉和语言地图的清晰空间对应关系。

图6 沿视觉和语言边界的语义选择性重合

（图源：Popham et al., Nat Neurosci. 2021）

文章结论与讨论，启发与展望该研究发现了视觉和语言语义的表征在人类视觉皮层的边缘重合，从而支持了作者提出的“语义重合假说”。研究表明了视觉皮层边缘起着趋同作用，来自模态视觉语义系统的信息通过一系列平行的语义选择性通路进入模态语义系统。作者推测，这里报告的视觉语义图和模态语言图之间的精确空间关系也可能发生在其他模态语义系统中。然而由于信号缺失，该研究不能评论ATL中语义表示的性质。在未来，作者希望通过使用本文介绍的方法对ATL进行有针对性的研究，深入研究这个主题。

原文链接：https://doi.org/10.1038/s41593-021-00921-6

往期文章精选 优质科研培训课程推荐

参考文献（上下滑动查看）  

【1】Ralph, M. A. L., Jefferies, E., Patterson, K. & Rogers, T. T. The neural and computational bases of semantic cognition. Nat. Rev. Neurosci. 18, 42–55 (2017).

【2】Damasio, A. R. The brain binds entities and events by multiregional activation from convergence zones. Neural Comput. 1, 123–132 (1989).

【3】Jefferies, E., Patterson, K., Jones, R. W., Bateman, D. & Lambon Ralph, M. A. A category-specific advantage for numbers in verbal short-term memory: evidence from semantic dementia. Neuropsychologia 42, 639–660 (2004).

【4】Devereux, B. J., Clarke, A., Marouchos, A. & Tyler, L. K. Representational similarity analysis reveals commonalities and differences in the semantic processing of words and objects. J. Neurosci. 33, 18906–18916 (2013).

【5】Kanwisher, N., McDermott, J. & Chun, M. M. The fusiform face area: a module in human extrastriate cortex specialized for face perception. J. Neurosci. 17, 4302–4311 (1997).

【6】Devereux, B. J., Clarke, A., Marouchos, A. & Tyler, L. K. Representational similarity analysis reveals commonalities and differences in the semantic processing of words and objects. J. Neurosci. 33, 18906–18916 (2013).

【7】Fairhall, S. L. & Caramazza, A. Brain regions that represent amodal conceptual knowledge. J. Neurosci. 33, 10552–10558 (2013).

制版︱王思珍

本文完