读懂他人心思 | 社会学习过程中不同层次预测
Hello，
这里是行上行下，我是喵君姐姐~
今天，有请多鱼给我们带来一篇有趣的文章解读。可能文章有点长，但是还请慢慢阅读，细细品味。
预测他人的意图是人类互动的核心，个体对他人意图的认知过程称为社会学习。
2017年发表在Social Cognitive and Affective Neuroscience的研究中，作者通过计算模型，发现对他人意图的学习过程的确分为不同层次，并且各层次的学习与多巴胺以及胆碱神经递质脑区相关。
其中，计算模型表明三层次的社会学习更符合实际情况，三个层次分别为关于他人信念的高阶预测，关于他人行为的低阶预测，以及最底层的认知输出。
核磁结果显示，低阶预测误差激活了心智理论脑区与多巴胺相关的中脑；而高阶预测误差激活了与胆碱相关的基底前脑隔区。
同时，遗传学结果表明，低阶预测误测在腹侧纹状体上的激活儿茶酚-O-甲基转移酶(Catechol-O-Methyltransferase ,COMT)基因的Met/Val多态性影响，这一基因与多巴胺分泌相关。
这些结果表明，社会学习分别依赖于中脑和隔膜活动相关的层次预测误差编码，并且两个层次的预测误差可能通过多巴胺和胆碱投射来诱导可塑性，这与感知联想学习相关研究结果相似，说明多层次的预测误差是不同学习过程中的通用计算量。
关键字：社会学习；层次预测误差；贝叶斯认知模型；多巴胺；COMT
一、被试及分组
该研究包含两个独立的核磁实验，实验一采用了35名被试数据，实验二采用了47名被试数据。所有被试均为男性，以避免月经周期对神经调节过程和突触可塑性的潜在影响。采集所有被试唾液以便进行基因分析。
两个实验的区别在于:
1)实验一采用飞利浦Achieva3T全身扫描仪与8通道感应头线圈，实验二采用飞利浦Ingenia3T全身扫描仪与32通道感应头线圈；
2)刺激输入存在差异，即顾问建议正确率的波动；
3)实验二是另一项药理实验的安慰剂组，可能存在安慰剂效应。
二、实验程序
上图为实验流程图，实验总共包含18个trail。
被试在游戏中扮演一名决策者，由隔壁房间的另一名玩家扮演顾问帮助其进行游戏(实际上玩家为电脑操作)。
决策者需要判断蓝色与绿色两种颜色中的哪一种颜色能够获胜(每次获胜得1分，错误扣1分)，最下方的进度条与分数增减同步。决策者能够获得获胜颜色的概率图(分别为75:25, 65:35, 55:45)，而顾问除了概率图外还能获得额外信息(有20%可能是错误的)并给予决策者建议。
决策者依据概率图与建议进行决策，目标是尽可能多的赢取分数，分数越高实验报酬越多，在分数达到一定数额(黄色及银色竖线)时还有额外金钱的奖励。
在正式实验前告诉被试顾问也有自己的任务，需要将被试的分数控制在一定范围内(如下图左上处黄色与银色横线为顾问任务目标范围)，即顾问可能会故意提供虚假建议来控制被试分数。
两个实验在实验设计上的不同之处在于顾问建议正确率的波动性(如图底，实验一存在三种不同水平的正确率，在每20个trail间建议正确率不变；实验二正确率由模型仿真的合作-竞争-合作情景，建议正确率波动性更大，以便最大化参数的可识别性)。
三、计算模型
研究选择分层高斯滤波模型(Mathyset al., 2011&2014)和Rescorla-Wagner强化学习模型进行数据拟合优度的比较。Rescorla-Wagner强化学习认为个体通过比较预期与实际的误差来指导下一次预期，下一次的预期等于上一次预测误差与学习率的乘积，其中学习率是固定参数。
分层高斯滤波模型基于贝叶斯认知模型，认为个体的认知过程是由不同层次的高斯游走过程耦合而成，每一层的游走步长由上一层状态决定(如下图)。分层高斯滤波与强化学习的区别在于强化学习的学习率是固定的，分层高斯滤波的学习率是动态变化的。
Mathys et al., Frontiers in Human Neuroscience, 2014
研究一和研究二均采用了三层高斯滤波(如下图)和两层高斯滤波。
在三层高斯滤波中，最高层是个体对顾问信念的判断，其中X3代表对顾问信念波动性的判断，𝞱反映个体判断的波动性；
第二层是个体对顾问建议的判断，其中X2代表对顾问建议的估计(有用，虚假或者模棱两可)，𝝹是个体对他人信念的学习率，𝝹越大，个体第三层与第二层的认知过程耦合性能更好，被试更能通过对顾问信念的估计来判断顾问建议的意图，𝞈是个体对信念判断的不确定性，𝞈越大，第二层游走步长越大，被试对自己上一层的判断越没有信心。
最后一层为认知的输出，通过前面两层对建议的估计来输出个体的信念，即顾问的建议是正确的还是错误的。
最后的反应过程是结合对建议的信念和情景信息进行决策，𝞯代表个体决策过程中对建议的信念所占的权重。
两层高斯滤波与三层高斯滤波类似，但是没有第三层，即只考虑建议的波动性，而不考虑他人意图的变化。
在最后的决策过程中，个体可能还会考虑他人行为的波动性，从而缩减信念的权重，同时也可能只考虑他人建议的信念或者只考虑情景信息。因此，作者一共提出12个计算模型来进行数据拟合。
一、考虑建议波动性的三层认知模型拟合性能最佳
作者首先评估了十二个模型的拟合性能，结果发现决策考虑情景信息、建议以及信念波动性的三层高斯滤波模型在两次实验中的拟合性能都是最佳。
二、全脑分析中各个层次的预测误差
研究首先对全脑进行了分析，结果发现第二层的低阶预测误差(关于建议的有效性)显著激活了左侧尾状核、右侧前扣带皮层、左侧中扣带皮层、双侧前脑岛、右侧背内侧和背外侧前额叶皮层，双侧颞顶联合区等与心智化相关的脑区。
这些脑区的神经活动与负性低阶预测误差的大小成比例；也就是说，当顾问的建议具有迷惑性更难以预测时，这些区域表现得更为活跃，这表明个体换位思考的需求增加，需要更新预测他人的认知模型。
同时，负性低阶预测误差（顾问的建议比预期更没有效果）也显著激活了与多巴胺分泌相关的中脑，说明低阶预测误差可能由多巴胺调节。
此外，当顾问的建议比预期更有效(即为正性低阶预测误差)时，两项研究都发现了左侧楔前叶的显著激活。此外，第一项实验中正性低阶预测误差观察到了左前颞顶联合区以及梭状回的显著激活。
而对于第三层的高阶预测误差(关于顾问的意图，帮助或阻碍被试)，第一项研究观察到高阶预测误差与右侧背中部扣带皮层的活动呈正相关，第二项研究观察到高阶预测误差与右前扣带回活动呈正相关；此外，在这两项研究中均观察到右侧中央扣带沟与顶叶区域的神经活动与高阶预测误差呈负相关。
最后，两项研究都观察到了与胆碱分泌相关的基底前脑隔区的显著激活，说明高阶预测误差可能由胆碱调节。
三、低阶预测误差的个体差异遗传因素
研究通过遗传学研究对个体遗传携带基因进行探讨，结果发现儿茶酚-O-甲基转移酶(Catechol-O-Methyltransferase ,COMT)中的的Met/Val等位基因表达与腹侧纹状体对低阶预测误差的敏感相关。
具体来说，携带Met/Met基因的个体比携带Val/Val或Val/Met基因的个体对低阶预测误差更敏感，低阶预测误差对腹测纹状体的影响更大。在先前的研究中，COMT被认为与腹侧纹状体中的多巴胺代谢相关，再一次说明低阶预测误差可能由多巴胺所调节。
四、决策阶段的不同行为激活不同脑区
在任务的决策阶段，研究发现当被试遵循顾问建议时，双侧梭状回和中扣带回会随着预测误差的增大而显著激活；
相反，当决定违背建议时，激活了与心理理论相关的区域，如左前岛、右侧颞顶联合区、双侧副扣带皮层、双侧背内侧前额叶皮层以及右尾状核。
综上所述，研究发现社会学习与感觉联想学习过程中皮层下神经调节系统活动编码预测误差具有惊人的相似性，此外两种学习中预测误差诱导的皮层活动差异很大，可能反映了各自学习过程的情景特异性方面。
说明分层预测误差能够代表通用计算量,可以使用一系列不同的学习过程，可能由同一神经调节系统编码调节，但由于特定的情景，不同的神经通路会参与不同形式的学习。
同时研究扩展了对预测误差与社会认知相关性的经验支持，强调了多巴胺在社会学习低层次预测误差编码中的特殊作用，暗示胆碱在社会认知中涉及编码更抽象、更高层次的预测误差。
研究的局限性，fMRI不能肯定地得出结论，即中脑和基底前脑的激活真实反映了多巴胺神经元和胆碱神经元的活动。
因为这些区域还含有谷氨酸和氨基丁酸神经元，未来的药理学和其他介入研究将需要在计算标记和神经调节递质之间建立牢固的联系。
今天，初步解析了社会学习过程中的不同层次预测的研究。
在后台回复关键词“社会学习”，即可获得所述的文章原文、相关参考文献以及PPT解读啦！
感谢你耐心地读到现在，若是您对这篇文章感兴趣，还请支持一下哟~
分享完毕，希望有所帮助。
参考文献：
1.Diaconescu, A. O., Mathys, C., Weber, L. A. E.,Kasper, L., Mauer, J. Stephan, K. E. (2017). Hierarchical prediction errors inmidbrain and septum during social learning. Social Cognitive and AffectiveNeuroscience. 12-4, 618-634(原文)
2.Mathys, C., Daunizeau, J., Friston, K.J., Stephan,K.E. (2011). A Bayesian foundation for individual learning under uncertainty.Frontiers in Human Neuroscience. 5
3.Mathys, C.D., Lomakina, E.I., Daunizeau, J., et al.(2014). Uncertainty in perception and the Hierarchical Gaussian Filter.Frontiers in Human Neuroscience. 8
4.Iglesias, S., Mathys, C., Brodersen, K.H., et al.(2013). Hierarchical prediction errors in midbrain and basal forebrain duringsensory learning. Neuron. 80, 519–30.