研究 | 视觉唇动信息促进噪音下言语感知的神经机制
日常对话中，往往遇到的并不是理想的听觉环境，或大或小的环境噪音会不同程度地给人们听清对话带来难度。然而，听力正常者在极度嘈杂的环境下，也能一定程度理解对方要表达什么。这得益于在日常交流情景中，人们不仅仅靠耳朵去听，还会靠眼睛去捕捉并理解信息。视觉信息中对理解帮助最大的无疑是说话人的嘴唇运动，经过唇语训练，甚至仅仅靠观看说话人嘴唇运动也能完成交流。
中国科学院行为科学院重点实验室杜忆研究组开展了一项多模态磁共振成像研究，包括功能磁共振成像与扩散加权成像（神经突起方向离散度与密度成像neurite orientation dispersion and density imaging，NODDI），探究了说话人唇动信息辅助噪音下识别言语的神经机制。如图1所示，结果发现，视觉唇动能够促进听觉背侧通路脑区对于音节的神经表征，并且在不同脑区对于不同的发音特征的增强具有异质性。此外，视觉唇动还能促进听觉背侧通路脑区之间的有效性功能连接。最后，听觉背侧通路的白质结构基础——弓状束——的微观结构属性能够预测言语运动区对于音节的表征及其向听觉区功能连接的视觉增强效应。
具体而言，该研究使用/ba/、/da/、/pa/、/ta/四个音节作为听觉刺激，这四个音节形成了发音位置（双唇音：/ba/、/pa/；舌齿音：/da/、/ta/）与发音清浊（浊音：/ba/、/da/；清音：/pa/、/ta/）的2 * 2的刺激属性条件。被试聆听不同噪音程度下的音节并观看对应的说话人唇动（视觉有效条件）或者一张静止的嘴唇图片（视觉无效条件），尽快辨别他们听到的是哪个音节。
首先，行为结果与以往研究一致，视觉信息极大促进了音节辨别的成绩，降低了反应时。并且，视觉信息只会提高发音位置维度的辨别，并不会提高对于音节清浊的辨别。这样的行为证据提示了视觉信息主要提供了发音位置信息来帮助言语感知。
通过比较视觉有效与视觉无效条件，研究者发现提供了有效唇动信息之后，被试在加工言语过程中，视听感觉区域与运动区域被更强地激活了。然后，研究者采用基于感兴趣区的多体素模式分析发现，有效的视觉唇动显著增强了左侧言语运动区和缘上回对于音节的神经表征（图2B，D）。通过进一步分析发现，听觉背侧通路脑区对于不同发音特征有着差异性的视觉增强效应。有效视觉唇动增强了左侧中央前回下部以及缘上回对于发音位置特征的神经表征，但增强了左侧额下回盖部对于发音清浊的神经表征（图2E，F）。这是首次在神经表征上提供了视觉信息对于听觉背侧通路脑区对不同发音特征的贡献差异性的证据。
接下来，通过动态因果模型分析发现，有效视觉信息促进了听觉背侧通路脑区之间的有效性功能连接（图3）。具体而言，在视觉有效条件下，顶下小叶与发音运动区的双向连接增强，顶下小叶向视觉区和听觉区的连接增强，而听觉区向顶下小叶的连接减弱。四个脑区的自我抑制程度也受到视觉信息有效性的调节，听觉区和发音运动区的自我抑制均上升，倾向于在视觉有效条件下减少接受刺激输入，而视觉区和多感觉整合区（顶下小叶）的自我抑制下降，倾向于增加刺激输入。暗示了相对于视觉无效条件，视觉有效时对于视觉信息更多的利用和权重。
图3. 动态因果模型结果
视觉有效条件和视觉无效条件下视听言语脑网络的有效性连接的差异，实线表示有显著变化的连接（p_fdr< 0.05），虚线表示没有显著变化的连接，正值表示在视觉有效条件下连接增强，而负值表示在视觉无效条件下连接增强，脑区的自连接正值表示脑区自我抑制增强，趋向于不接受信息，负值表示脑区自我抑制下降，趋向于接受信息
最后，研究者提取了每个被试连接额叶（布洛卡区和前运动皮层）、顶叶（角回和缘上回）和颞叶（维尔尼克区）的弓状束（arcuate fasciculus, AF），一条听觉背侧通路的核心白质纤维束。NODDI结果发现，左侧弓状束长支的神经突朝向复杂性（朝向离散度指数，orientation dispersion index， ODI）可以显著预测言语运动区的音节神经表征及其与听觉区功能连接的视觉增强效应（图4），这建立了听觉背侧通路的结构和功能在视听言语加工中的关联。
图4. 脑结构与脑功能相关结果
弓状束长支的神经突朝向离散度指数（ODI）与言语运动区向听皮层的有效性连接以及额下回盖部的音节神经表征的视觉增益有显著正相关，而弓状束长支的各向异性分数（FA）与额下回盖部的音节神经表征的视觉增益有显著负相关，与言语运动区向听皮层的有效性连接的视觉增益有弱负相关但不显著。言语运动区向听皮层的有效性连接视觉增益与额下回盖部的音节表征视觉增益有显著正相关。**表示p < 0.01，*表示p < 0.05
该研究为视觉信息是如何促进噪音下言语感知这一问题提供了全面的神经机制上的证据，从激活水平、神经表征水平、脑区功能连接，最后到其白质结构基础，极大地促进了对于言语感知中多感觉整合机制的理解。
该研究获得国家科技创新2030-“脑科学与类脑研究”重大项目（2021ZD0201501），国家自然科学基金（31822024）和中国科学院战略性先导科技专项（XDB32010300）支持。文章已在线发表于Neuroimage。
Zhang, L., & Du, Y. (2022). Lip movements enhance speech representations and effective connectivity in auditory dorsal stream. Neuroimage, 257, 119311.