Nat Neurosci︱VTA多巴胺能神经元参与编码社交预测误差与社交强化学习
撰文︱聂卢图南
责编︱王思珍
无论是啮齿类还是人类，社交行为意味着同类之间的合作，合作有利于躲避捕食者。大部分的社交行为是有利于生存的，所以社交行为被认为是一种奖赏性行为。之前关于奖赏的研究大多数将食物作为奖赏信号[1,2]，而将社交作为奖赏信号进行的研究则较少。关于社交奖赏的机制还有许多未知。
经典的多巴胺投射，腹侧被盖区（VTA）→伏隔核（NAc）和VTA→前额叶皮层（PFC），被公认为是调控奖赏与动机的投射[3]，那么社交奖赏信号的调控很有可能与VTA的多巴胺能神经元有关。人类影像学的研究表明视觉社交刺激使人类的VTA区兴奋性增加[4]。虐齿类的研究发现社交行为兴奋VTA→NAc的投射，社交经历或者社交相关线索会强化社交动机[4]。Camilla Bellone课题组之前的研究也发现抑制VTA多巴胺能神经元能够减少虐齿类的社交行为[5]。
虽然之前的研究表明VTA多巴胺能参与调控社交行为，但是VTA多巴胺能神经元对于社交行为的反应存在很大的异质性[6,7]，之前的行为学测试不能反映出VTA多巴胺能神经元调控的是社交行为的哪一阶段。VTA多巴胺能神经元编码奖赏预测误差（reward prediction error，RPE），并且通过RPE调控动物动机行为进而影响强化学习（reinforcement learning），用于评价将要得到的奖赏并且用于决策[8,9]。那么，VTA多巴胺能神经元是如何编码社交行为的？是否也通过RPE影响社交学习呢？
2021年12月，来自瑞士日内瓦大学神经科学研究中心的Camilla Bellone教授课题组在Nature Neuroscience上发表了题为“VTA dopamine neuron activity encodes social interaction and promotes reinforcement learning through social prediction error ”的文章，发现VTA多巴胺能神经元编码不同种类的社交行为，解释了为什么VTA多巴胺能神经元在社交行为放电频率表现出很大异质性；在此基础之上发现VTA多巴胺神经元编码社交预测误差（social prediction error，SPE）并且通过SPE调控社交学习。
为了研究VTA多巴胺能神经元在社交行为中所扮演的角色，文章首先探究了VTA多巴胺能神经元是否参与编码虐齿类社交行为。通过在体电生理技术记录虐齿类VTA多巴胺能神经元放电频率，发现，相比于单独活动时，实验鼠进行社交活动时VTA多巴胺能神经元放电频率增加（图1 a-c）。对于行为学数据进一步分析，以实验鼠为原点建立两维坐标系（图1 d），发现DeepLabCut社交刺激下，刺激鼠与实验鼠的距离（图1 e, g）、与实验鼠的接触时间与VTA多巴胺能神经元放电频率存在相关性（图1 f, h）（DeepLabCut：一种基于深度学习的自定义体位无标记位姿估计[10] ）。这些结果说明VTA多巴胺能神经元活性参与编码社交行为，自由社会互动行为中VTA多巴胺能神经元活性增强。
图1 社交活动中VTA多巴胺能神经元兴奋性增加
（图源：Clément Solié, et al., Nat Neurosci, 2021）
为了进一步研究VTA多巴胺能神经元在社交行为中放电频率的异质性，文章作者以实验鼠与其社交对象的相对位置为标准对社交行为进行了分类。如图2 a所示，前两种社交位置关系归为主动社交（active social interaction），第三种归为被动社交（passive social interaction）。其中主动社交的频次明显大于被动社交（图2 b）；作者对于每种社交活动与多巴胺能神经元活动分别分析，发现对于三种社交活动分别有53%、42%和7%的多巴胺能神经元响应（图2 d, g, j），不同神经元在不同的社交活动中被抑制或者被激活，有的神经元则参与所有的社交活动编码（图2 i, m）。通过以上分析，作者得出结论：VTA不同区域的多巴胺能神经元参与编码不同种类的社交活动。
图2 社交活动中VTA多巴胺能神经元兴奋性呈现异质性
（图源：Clément Solié, et al., Nat Neurosci, 2021）
由于部分VTA多巴胺能神经元对于新事物刺激会出现放电频率增加。那么，对于不同的社交活动，VTA多巴胺能神经元会出现不同的反应吗？因此作者接下来使用同一只小鼠重复进行三次社交试验（图3 a, b），并记录社交活动中VTA多巴胺能神经元放电频率。结果发现，三次重复社交活动中，随着社交次数的增加VTA多巴胺能神经元放电频率逐渐减少（图3 c-f）。这表明VTA多巴胺能神经元在重复社交活动表现出适应性。
图3 VTA多巴胺能神经元在多次重复社交活动中兴奋性表现出适应性
（图源：Clément Solié, et al., Nat Neurosci, 2021）
然而，当作者同样将社交行为按照之前的方法进行分类，即分为主动社交与被动社交，进行实验后发现，在重复的社交行为中，负责编码不同社交行为的神经元同样可以表现出较强的发电频率增加（图4 b,e,h）。
图4 VTA不同区域的多巴胺能神经元参与编码不同的社交类型
（图源：Clément Solié, et al., Nat Neurosci, 2021）
至此，文章发现VTA多巴胺能神经元参与编码社交行为，VTA不同区域的多巴胺能神经元编码不同类型的社交行为，很好解释了多巴胺能神经元在社交行为中放电频率异质性的问题。那么，VTA多巴胺能能神经元是否在社交强化学习中发挥作用。为了研究这一问题，作者设计了SIT试验（social instrumental task）。在一个中间有隔板的两室盒子中，左侧实验鼠可以通过压板（press）来打开中间的隔板，隔板打开之后实验鼠不能进入到另外一边盒子，但是可以接触到另外一边的小鼠（图5 a）。训练之后（1-10天），实验鼠能够建立起压板与社交之间的联系；之后是实验阶段（11-25天）（图5 b）。结果表明，在两个阶段中，实验鼠按压次数逐步增加（图5 e,f），压板之后成功完成社交活动的次数也逐渐增加（图5 g, h），按压之后实验鼠运动的速度也增加了（为了减少社交行为失败的次数）（图5 i-k）,总的来说，相比于训练阶段，实验阶段通过压板进行社交的频率增加（图5 l）。以上数据表明：类似于普通的奖赏行为，社交行为也有强化学习的特点。
图5 社交任务实验
（图源：Clément Solié, et al., Nat Neurosci, 2021）
在SIT训练阶段与实验阶段，作者也分别记录不同阶段VTA多巴胺能神经元的放电频率。发现训练阶段压板操作与社交行为均可引起VTA多巴胺能神经元放电频率增加，并且放电频率的增加幅度很相似（图6 a-e）；试验阶段实验鼠在进行压板操作时VTA多巴胺能神经元放电幅度逐渐增大，而进行社交活动时所激活的VTA多巴胺能神经元放电幅度逐渐减少（图6 f-j）；作者还发现实验鼠压板时所激活的VTA多巴胺能神经元的放电频率与其进行社交活动时间呈现正相关。这说明VTA多巴胺能神经元活性主要通过学习过程中逐渐出现的相位信号来编码社交接触的时间。
图6 VTA多巴胺能神经元参与编码社交任务实验
（图源：Clément Solié, et al., Nat Neurosci, 2021）
在经历SIT的两个实验阶段之后，作者又设计了记忆擦除阶段，该阶段阶段实验鼠同样可以进行压杆操作，但是进行压杆操作之后社交接触是随机开放的，开放的概率为50%（图7 a,b）。当实验鼠进行压杆操作但不能进行社交活动时，VTA多巴胺能神经元活性被抑制（图7 c,d）；进行压杆操作并且可以进行社交接触时，VTA多巴胺能神经元同样可以产生放电频率增加（图7 c,d）。随着实验的进行，当小鼠进行压感操作时VTA多巴胺能神经元放电活动趋于稳定（图7 l）。以上结果表明VTA多巴胺能神经元编码社交预测误差（SPE），并且通过SPE调控社交学习。
图7 VTA多巴胺能神经元参与编码SPR
（图源：Clément Solié, et al., Nat Neurosci, 2021）
文章最后，作者在DAT-Cre鼠VTA脑区注射病毒（AAV-EF1α-DIO-eYFP），使用光遗传学对VTA脑DA神经元进行干预（图8 c,d），在社交任务的试验阶段进行光抑制（图8 a,b）。结果发现小鼠的压板次数显著减少（图8 e-i）。这说明抑制VTA多巴胺能神经元足以抑制小鼠的社交强化学习。
图8 抑制VTA多巴胺能神经元减少小鼠的社交活动频次
（图源：Clément Solié, et al., Nat Neurosci, 2021）
综上所述，社交行为是一种动机行为，而动机能够促进学习，那么社交行为是如何促进学习的？也就是说社交行为的强化学习是如何被编码的呢？这是文章所提出的科学问题。文章首先要说明VTA多巴胺能神经元参与比编码社交行为，之后作者设置了社交任务实验证明VTA多巴胺能神经元编码社交预测误差（SPE）促进社交强化学习。
文章将社交作为一种奖赏性行为进行研究，表明社交作为一种奖赏性行为符合之前对于奖赏理论的研究。传统的奖赏行为，如摄食的研究中，VTA多巴胺能神经元编码的是食物奖赏线索，并不是摄食行为本身[3,10]，而本文的研究发现VTA多巴胺能神经元对于社交接触的时间反应更加敏感。在社交行为的编码中，VTA多巴胺能神经元呈现出不同的特点，可能是由于社交行为的调控机制更加复杂的原因。
相比于摄食行为，社交毋庸置疑是更加复杂的。所以文章将社交行为进行分类，分为主动社交与被动社交，对于这两种社交行为的定义并不完美，但是文章将VTA多巴胺能神经元的放电信号与所分类的社交行为能够对应上。然而并未解释为什么不同的VTA多巴胺能神经元会对不同的社交行为做出反应，这可能是作者之后的研究内容。
原文链接：https://www.nature.com/articles/s41593-021-009
【1】Nature︱新发现！炎性淋巴细胞或是介导中枢神经系统炎症的新靶点？
【2】Neurosci Bull︱胡波课题组揭示投射至腹内侧丘脑的小脑深核神经元特异参与联合型感觉-运动学习行为的调控
【3】Nat Neurosci︱伍龙军课题组揭示渐冻人症关键病理蛋白TDP-43的新配体——TREM2
【4】Cereb Cortex︱罗跃嘉团队揭示焦虑个体不确定预期条件下的认知控制机制
【5】PNAS︱肖波课题组揭示调节中枢神经系统髓鞘发育的新机制
【7】Sci Adv︱陈忠团队提出癫痫药物治疗新思路：电响应型聚多巴胺纳米递药系统
【8】Nat Commun︱邢大军课题组揭示亮度信息处理的脑机制：视觉系统对物体表面亮度编码的策略
参考文献（上下滑动查看）
1, Berridge, K. C. & Kringelbach, M. L. Afective neuroscience of pleasure: reward in humans and animals. Psychopharmacology 199, 457–480 (2008).
2, Alhadef, A. L. et al. Natural and drug rewards engage distinct pathways that converge on coordinated hypothalamic and reward circuits. Neuron 103, 891–908 (2019).
3, Gunaydin, L. A. et al. Natural neural projection dynamics underlying social behavior. Cell 157, 1535–1551 (2014).
4,Izuma, K., Saito, D. N. & Sadato, N. Processing of social and monetary rewards in the human striatum. Neuron 58, 284–294 (2008).
5, Bariselli, S. et al. Role of VTA dopamine neurons and neuroligin 3 in sociability traits related to nonfamiliar conspecifc interaction. Nat. Commun. 9, 3173 (2018).
6, Sharpe, M. J. et al. Lateral hypothalamic GABAergic neurons encode reward predictions that are relayed to the ventral tegmental area to regulate learning. Curr. Biol. 27, 2089–2100 (2017).
7, Takahashi, Y. K. et al. Dopamine neurons respond to errors in the prediction of sensory features of expected rewards. Neuron 95, 1395–1405 (2017).
8, Engelhard, B. et al. Specialized coding of sensory, motor and cognitive variables in VTA dopamine neurons. Nature 570, 509–513 (2019).
9, Kremer, Y., Flakowski, J., Rohner, C. & Lüscher, C. Context-dependent multiplexing by individual VTA dopamine neurons. J. Neurosci. 40, JN-RM-0502-20 (2020).
10, Bariselli, S. et al. Role of VTA dopamine neurons and neuroligin 3 in sociability traits related to nonfamiliar conspecifc interaction. Nat. Commun. 9, 3173 (2018).
制版︱王思珍
本文完