Cerebral Cortex：感知视觉对象靠什么？这个研究为你刨根问底

当看远处和模糊的东西时，声音可以帮助我们更好地感知。Talia Brandman和他的研究团队使用脑磁图(MEG)来证明物体自然发出的声音(e.g., neigh)和语义(e.g., horse)可以帮助视觉对象的感知。

图源：hecenterforvision.com

在日常生活中，我们依靠传感器集合信息来感知周围的事物。行为研究表明，在各种任务中，听觉信息会影响我们对视觉对象的感知，包括对视觉对象的察觉、识别、分类和视觉搜索(Chen and Spence 2011; 2018; Edmiston and Lupyan 2015; Iordanescu and others 2010; Kim and others 2014; Vallet and others 2013; Weatherford and others 2015)。

理论上，听觉信息有两种途径帮助获得视觉感知：

• 一种是语义路线，比如听到马叫声(neigh)，翻译和转化为语义表征(horse)，然后加工成视觉对象；

• 另一种路线是直接的，声音自动激活视觉皮层中与声音相关的物体表征，绕过语义标注。

直接的视觉—听觉映射使视觉对象和发出声音共存于大脑。比如当我们听到马叫时，可能看到了（或者预期看到）一只马。另一方面，单词不一定会与真正的视觉对象同时出现，比如听到马horse这个单词，我们不一定真正的看到了一只马。(Fig.1A)

Fig.1

电生理学研究表明，在视觉触发80ms后，视觉信号会在头皮的多变量反应模式中得到体现(Carlson and others 2013; Cichy and others 2014)。

还有研究表明，在视觉触发300ms后，视觉对象的感知不仅依靠前馈视觉对象信息，还依赖外部背景场景(Brandman and Peelen 2017)。

本实验沿用以前的研究方法，使用MEG信号测量感知模糊物体图片信息的时间。然后，视听结合，测试物体声音和单词对视觉对象感知的影响。

实验假设为如果物体自然的声音直接激活大脑中的物体表征，绕过语义标注，那么物体声音对视觉对象的感知比语义要早；或者物体自然声音借助语义路线，那么物体声音和语义对视觉对象的感知影响是相同的。

在本研究中，提出了两个假设模型：

• 物体声音比单词更快地帮助感知视觉对象，属于直接映射，物体声音解码准确度用红线表示；

• 或者声音和单词具有同样速度感知视觉物体，对应于间接路线，自然语音解码准确度用蓝线标出。(Fig.2)

Fig.2

实验设计 

在Fig.3A中，上半图表示在视听实验中，呈现有生命和无生命虚化（模糊）物体的图片并配有声音；下半图表示有生命和无生命的清晰（高分辨率）图像，没有声音。( Konkle and Oliva 2012)；在Fig.3B中，使用物体声音、口语单词和噪音，以及相同大小灰色矩形作为实验材料。分类器通过训练解码分析MEG传感器上辨别有无生命和无生命物体图像，最后计算得到四个变量每个时间点上的数据平均值。

Fig.3

实验结果 

时间矩阵呈现了从视觉触发到600ms的时间间隔点上的视觉信息解码结果。被试交叉解码有生命物体并没有声音的图像时，在200毫秒左右感知准确度达到峰值（Fig.4A）。

随机交叉解码有生命物体图像，虚化并配有声音图片,取主体间数据平均值（black outline, threhold free cluster enhancement TFCE 1-tail p<0.05），分别是在（左上）物体声音、（右上）单词、（左下）噪音，（右下）灰色没有物体图形的矩形条件下得到的数据结果（Fig.4B）。

虚化图片具有信息性的听觉线索（物体声音或单词）的解码明显优于噪音（paired; TFCE 1-tail p <0.05）随机交叉解码。与噪音相比，物体声音（左）和单词（右）都显著影响感知物体表征的准确度。（Fig.4C）

Fig.4

对感知物体表征产生影响的物体声音和单词间的时间关联

那么，物体声音和单词在帮助感知视觉物体表征的速度方面哪个更快？结果显示，单词比物体声音出现更早时间集群(Fig.5A)。为了直接测试物体声音与单词影响虚化图片的解码时间差异，作者成对比较所有条件下和所有时间点的视听实验（包括噪音）解码。

数据显示，被试视觉触发后，在450-510ms之间的多个时间点处，物体声音比单词感知模糊图像更准确（paired; TFCE 2-tail p <0.05），并且在视觉触发后300-410ms之间的多个时间处，单词比物体声音感知更准确（paired; TFCE 2-tail p <0.05）。

这表明物体声音和单词促进了不同时间阶段的虚化物体表征感知。尤其是在重建有生命的视觉表征时，单词比物体声音更快。

声音是如何影响不同时间点上的物体感知的？

参考Fig.2两个模型，最后得到的实验结果并不支持物体声音比单词更快地感知物体这一假设模型。相反，单词比物体声音更快地帮助感知物体，所以否定了最初的两个假设模型。

那么这种差异是否可以通过语义表征强度来调节？物体声音主要依靠语义帮助感知物体，那么某些模糊的声音可能会损害感知效果。基于此，进行了在线行为实验，新的一组被试要求感知MEG中使用的声音，没有视觉输入。根据22个相对虚化的声音得到的MEG数据，对比清晰声音下的图片感知，分析具有声音的虚化物体的交叉解码精度。

在较早时间簇（~300-400 ms; Fig.5A）上的单词比清晰的物体声音帮助感知物体的优势不再显著（paired; TFCE 2-tail p> 0.05），并且清晰的物体声音优于单词 (paired; TFCE 2-tail p <0.05）在稍后的时间簇中（~400-500）被保留。

通过类似的训练和测试，在时间（±20 ms）内提供解码精度（minus chance：50％），来说明Fig.5B中，单词、物体声音和更清晰的物体声音促进物体感知。

物体声音和清晰声音对虚化物体的解码在视觉开始后460ms达到峰值，明显优于单词（paired; TFCE 2-tail p <0.05）。在视觉开始后，单词对虚化物体的解码在350毫秒处达到峰值，明显优于用物体声音和清晰的物体声音（paired; TFCE 2-tail p <0.05）。此外，具有清晰物体声音的虚化物体的解码似乎在视觉开始后390ms处显示出新的峰值，在时间上更接近于单词峰值。

Fig.5

总之，实验结果表明，物体声音和单词通过语义路径帮助感知视物体表征提供了证据，其中听觉输入激活了语义表征，对物体的视觉对象感知处理起到了促进作用。

文章来源：

Talia Brandman, Chiara Avancini, Olga Leticevscaia, Marius V Peelen, Auditory and Semantic Cues Facilitate Decoding of Visual Object Category in MEG, Cerebral Cortex, , bhz110, https://doi.org/10.1093/cercor/bhz110

作者信息

 

解读作者：天娇（brainnews创作团队）

校审：Simon（brainnews编辑部）

前 文 阅 读

 

---