ERP研究：在语言理解过程中追踪听众的知识状态
请点击上面“思影科技”四个字，选择关注我们，思影科技专业于脑影像处理，涵盖（fMRI,结构像,DTI,ASL,EEG/ERP,FNIRS,眼动）等，希望专业的内容可以给关注者带来帮助，欢迎留言讨论，也欢迎参加思影科技的其他课程。(文末点击浏览）
摘要：当有他人在场时，我们对他人理解或不理解信息是否敏感？麻省理工学院研究者在psychological science杂志上发表文章，探讨这一问题。在两个ERP实验中，在合理情境（例如"The girl dressed up as a canary for Halloween"）下呈现不合理的句子（例如"The girl had a little beak"），并让被试阅读。当被试独自在房间时，无语义加工困难（无N400效应）。然而，当1名没听过合理情境句子的同伴在场时，导致被试出现加工困难：social-N400效应。当被试被指示采纳同伴观点或无该指示时，产生social-N400效应，但高认知需求理解任务无该效应。因此，除非认知资源有限，否则理解者不仅会模拟（揣测）直接互动对象的思想，而且还会模拟只是出现在语言交流中的人的思想。
关键词：沟通，观点采择，合作行为，社会认知，ERPs，N400，social-N400
Fig. 1 实验1和2的流程图。两个任务中，被试用耳机听情景句，然后阅读目标句。每个任务中，被试执行两个sessions：一个是被试一人（alone session），另外一个是有一个同伴参与（joint session）。同伴无耳机，因此在主要的情景依赖条件下，目标句对被试可理解，但对同伴不可理解。在情感判断任务的alone session中，被试直接判断目标句对自己而言是否有意义，但在joint session中，被试判断目标句是否对同伴有意义（称为其他人）。被动阅读任务类似。
被试完成情感判断任务和被动阅读任务（Fig. 1），并记录EEG活动。实验的第一个目标：
1）检验social-N400（被试模拟同伴倾听者的知识状态，并体验其同理心困惑，这种效应叫social-N400）的鲁棒性。与Rueschemeyer等（2015）研究不同，本研究使用被试内设计，并且主要句描述的是难以置信但可能发生的事件。若实验操作有效，social-N400效应应在被试内设计中被重复，并可泛化到其他材料中。
2）检验social-N400是否能在没有明确指示要采纳同伴观点的情况下获得。
方法：
被试：24个被试（男：12）。样本量是基于句子处理的电生理相关研究确定（Nieuwland & Van Berkum, 2006b; Rueschemeyer et al., 2015; Van Berkum et al., 2007）。所有被试都为右利手（自我报告），视、听觉正常或矫正正常，并以英语为母语。所有被试均未有任何神经、精神疾病。排除2名被试的数据（1名由于数据丢失，1名由于伪迹过多：超过25%的伪迹），剩下22名参与者进行分析。
材料：情景句是由一位以英语为母语的女性记录。100个项目都由3个条件构造：可信的、不可信的和情景相关的。可信条件下的目标词语义上是可信的，并且仅在第二句的情景中就具有高度可预见性（即第一句没有必要；它只是提供了更多的信息）。在不可信的情况下，在第二句中，目标词语义上是不可信和不可预测的，而第一句并不能使目标词更可信或更可预测。最后，在情景依赖的情况下，目标词在第二句的情景中是语义上不可信和不可预测的，但是第一句使它看起来是可信的。
在ERP研究之前，在两项句子完成研究中对材料进行了规范化，具体操作见正文，这些研究证实本研究操作成功（见Tab. 1）
程序：1）“+”和耳机中的情景句（4000 ms）。
2）逐字呈现目标句（450 ms/单词）。每个单词后面跟着100 ms的刺激间隔，在句子的最后一个单词之后再加400 ms的间隔。
3）2000 ms的问题--“Does it makesense to you?”（alone session）或“Does it makesense to the other person?”（joint session）。并且要求被试在2000 ms内按键回答。在被动阅读任务中，为了帮助被试保持清醒和警惕，我们在每个试次末尾给出了一个按键的图片（400ms），并告知被试在出现图片时按键。
在joint session中，同伴坐在被试旁边，面向同一电脑屏幕，并设有一个按钮盒。告知同伴执行与被试相同的任务，每个任务持续约15min。实验共300个试次，并按照拉丁方设计呈现，共有四个子条件：单独情感判断，联合情感判断，单独被动阅读，联合被动阅读。
ERP实验后，被试完成普通背景和语言历史调查问卷，以及评估社会能力的三项标准化测试：
a）Autism-Spectrum Quotient（AQ）；
b）Reading the Mind in the Eyes Test（RMET）；
c）the Empathy Quotient（EQ）。整个实验大约花费2h。
EEG记录：在32个头皮部位（10-20系统定位）上记录EEG活动，一个垂直眼电检测眨眼，一个水平眼电监测眼球扫视，另外两个电极贴在乳突上作为参考通道。采用固定在弹性帽上（Electro-Cap, Eaton, OH）的活动Ag-AgCI电极的The ActiveTwo系统（BioSemi, Amsterdam, The Netherlands）。采用双耳乳突平均作为离线参考。采样率为512 Hz。按照ERP研究中的标准程序，接着进行带通滤波（0.1-40 Hz），并且在平均试次之前，删除眨眼、眼动、肌电和皮电伪迹。平均7.7%的试次被删除。
行为分析：对于情感判断任务的行为反应，反应类型（是/否）作为因变量纳入广义线性混合效应模型（glmer），反应时（RT）作为因变量纳入线性混合效应模型（lmer）。使用R编程环境中的Lme4软件包进行分析。主效应和交互效应的显著性采用似然比检验（即将包含目标效应的模型与不包含目标效应的模型进行比较）。随后，采用R环境中的multcomp包对显著效应进行比较。 采用Bonferroni矫正重复比较（n = 3）。
EEG和ERP分析：将连续数据分为1000ms的时间段（目标词之前200ms至之后800ms），并将刺激前200ms作为基线。为了获得ERPs，平均每个被试、每个条件的试次（Fig. 1和2）。
本研究分析N400的平均波幅（刺激开始后300 ms-600 ms，在头皮中央顶叶观察到负偏转，峰值约为400ms）。分析时间窗为350-550ms，头皮分布分析8个顶叶和枕叶电极点（C3, Cz, C4, CP1, CP2, P3, Pz, P4）。由于a）为了与Rueschemeyer等（2015）的研究进行比较；b）单试次数据不容易获取，我们使用ANOVAs而不是线性混合效应模型。
首先对每项任务（情感判断和被动阅读）进行了2 （session: alone vs. joint）×3（条件：可信vs. 不可信vs.情景相关）×8（电极：C3 vs. Cz vs. C4 vs. CP1 vs. CP2 vs. P3 vs. Pz vs. P4）的ANOVA，并使用Greenhouse-Geisser 校正。接下来，为了分别在alone和joint session中，检验可信、不可信、情景相关条件下的ERP波幅，我们对session和条件的显著交互作用进行比较。并采用Bonferroni 方法进行矫正（n=3）。
结果
行为结果：
表2展示情感判断任务的“yes”反应比例和平均RTs。对于“yes”比例，线性混合效应模型显示session和条件的交互作用显著。进一步比较显示在alone session中，条件各水平间的“yes”比例差异显著，可信条件下的“yes”比例最大（0.95），接着是情景相关条件（0.85），不可信条件的“yes”比例最小（0.25）。
在joint session中，可信条件的“yes”比例（0.94）显著大于情景相关条件和不可信条件。情景相关条件和不可信条件的差异不显著。因此，被试认为在可信条件下的句子是有意义的（对被试和同伴来说），在不可信条件下的句子无意义（对被试和同伴来说）。在情景相关条件下，不同session的反应不同：在alone session中，被试认为句子对他们来说有意义，而在joint session中，被试认为这些句子对同伴无意义。
对于RTs，在alone session中，相比于可信和情景相关条件，被试在不可信条件下的反应时更长。可信和情景相关条件之间差异不显著。在joint session中，相比于可信条件，被试在不可信和情景相关条件下的反应时更长。不可信和情景相关条件之间差异不显著。因此，在joint session中，情景相关条件下的句子有加工成本。
ERP结果：
Fig. 2 展示情感判断任务的alone和joint session中，三个条件（可信的、不可信的、情景有关的）的目标词所诱发的波幅。
Fig. 3展示被动阅读任务的alone和joint session中，三个条件（可信的、不可信的、情景有关的）的目标词所诱发的波幅。
对于情感判断任务，条件和session的主效应显著。进一步比较揭示了在alone session中，相对于不可信条件，可信和情景相关条件诱发更正的ERP波幅。可信和情景相关条件的ERP波幅没有显著差异。情景相关条件下观察到的模式与可信条件下观察到的模式相似，这一结果与先前研究一致，即情景信息可以减轻断章取义句子的加工困难。
当同伴在场时，相对于不可信条件，可信条件诱发的N400平均波幅更小，但与情景相关条件无显著差异。情景相关条件下的ERP波幅比可信条件的ERP波幅更负。因此，在joint session条件下观察到的ERPs模式表示在情景依赖条件下，被试在加工句子时遇到了困难。
对于被动阅读任务，我们观察到条件的主效应显著。相对于可信和情景相关条件，不可信条件诱发更负的ERP波幅。可信和情景相关条件的差异不显著。条件和session的交互作用不显著（https://osf.io/x7kma/）。为了确保N400差异不受早期ERP效应差异的影响（例如P200），我们进行了peak-to-peak分析。结果重复了平均波幅分析的结果。
实验2
在实验2中，对任务进行了修改，进一步阐明了获得social-N400的条件。实验2和实验1除了两点之外，其他基本相同：1）在情感判断任务中，没有明确指示被试采用谁的观点。2）将被动阅读任务替换为要求理解问题任务（demanding comprehension-question task），以评估认知负荷对social-N400的影响。
结果
行为结果：在情感判断任务中，结果与实验1结果相似。这种模式表明，当有一个同伴时，至少有一些被试在决定句子是否有意义时采纳了同伴观点。理解任务中，被试在不同条件下的“yes”率和RTs差异均不显著。
ERP结果：在情感判断任务中，结果与实验1相似，当被试在情景相关条件下单独加工这些句子时，他们似乎不难理解这些句子。当同伴在场时，被试在处理句子时遇到了困难。对于理解问题任务，我们观察到条件主效应显著。相对于可信和情景相关条件，不可信条件诱发更负的ERP波幅。可信和情景相关条件的差异不显著。条件和session的交互作用不显著（https://osf.io/x7kma/）。
探索性分析：社会能力对视角的影响
方法：将实验1和实验2的情感判断任务在同伴面前执行的ERP数据结合起来，总共44个被试数据。我们分别计算每个被试的social-N400效应大小（可信的-情景相关的）和经典N400效应大小（可信的-不可信的）。接下来，我们在控制了N400效应的基础上进行三次回归，从每个行为指标预测social-N400的大小（the AQ，the RMET，the EQ）。结果进行Bonferroni矫正。
结果： social-N400效应的大小与AQ评分相关（Fig. 4）。相关表示：具有较高孤独症特质负荷的神经质典型个体似乎不太可能采用同伴观点。
Fig. 4散点图(用最合适的回归线)显示了social-N400效应的大小与社交能力三项测试(Autism-Spectrum Quotient, “Reading the Mind in the Eyes” Test, and Empathy Quotient )的行为得分之间的相关性。星号表示p < .05，未校正水平的统计学意义(校正水平为p < .017)
总结：
该研究证明了social-N 400效应在设计（被试间vs. 被试内）和材料方面的鲁棒性。两个ERP实验的结果表明，当被试独自在房间里阅读情景相关句时，未出现语义上的困难。然而，当另一个人在场时（这个人无法获得情景句），被试就会显示表现出加工困难的ERP指标（social-N400）。当被试被指示采纳同伴观点或无该指示时均会产生这种效应。但被动阅读任务和高要求理解任务无该效应，这表明认知负荷可能会限制我们的心智能力。
因此，除非认知资源有限，否则理解者不仅会模拟（揣测）直接互动对象的思想，而且还会模拟只是出现于语言交流中的人的思想。除此之外，探索性分析也表明具有较高孤独症特质负荷的个体表现出较小的social-N400（理解他人想法困难），这可能是孤独症或更广泛的交际困难的一个候选指标。
原文：
Jouravlev, O., Schwartz, R., Ayyash, D., Mineroff, Z., Gibson, E., & Fedorenko, E. (2018). Tracking Colisteners’ Knowledge States During Language Comprehension. Psychological science, 0956797618807674.
欢迎微信扫码关注思影科技
您的脑科学研究助手
获取原文：关注“思影科技”公众号，回复“原文”或“培训”，获取原文pdf下载链接，同时欢迎浏览我们的相关培训通知以及数据处理业务介绍。（直接点击下文文字即可浏览）：
第五届磁共振脑影像结构班（南京）
第一届脑电数据处理入门班 （重庆，全界面）
第二届眼动数据处理班（重庆，与脑电相邻）
第十一届脑电数据处理基础班 （南京）
第四届脑电信号数据处理提高班（南京）
更新通知：第五届近红外脑功能数据处理班 (南京)