Sci Adv︱孙文智/胡霁/汪小京合作研究发现延迟奖赏的神经机制

撰文︱高子龙

责编︱王思珍

平衡即时满足（instant gratification）与延迟满足（delayed gratification），对于优化个体的生存和繁殖至关重要。反复暴露于即时满足会破坏这个平衡，从而引起冲动的决定，甚至诱发一些疾病，比如成瘾、肥胖以及注意力缺陷综合症等[1-3]。延迟满足是平衡延迟与显著奖励的心理过程，往往体现了个体的耐心、毅力还有自控能力。20世纪60到70年代，斯坦福大学心理学家瓦尔特•米舍尔(Walter Mischel)开展一系列关于自制力的心理实验（包括著名的棉花糖实验），他们的追踪结果发现“那些为获得更多奖励能够坚持等待更长时间的小孩往往拥有更好的人生” [4]，培养孩子“延迟满足”的理念由此而来。但是近年来有其他科学家对当年的孩子进行了回顾性调查，认为当时的实验不够严谨，控制家庭和智力因素后无法得出当年的结论[5]。但这并不能否认延迟满足的重要性，它任然是小朋友甚至成年人需要掌控的能力。尽管科学家们通过人类心理和大脑活动的监测以及动物模型对延迟满足进行了很长时间的研究，但对这个心理过程的神经基础却所知甚少。

北京时间2012年12月1日，北京脑科学与类脑研究中心的孙文智团队，上海科技大学的胡霁团队和纽约大学的汪小京团队在国际期刊Science Advances在线发表题为“The neural basis of delayed gratification”的研究论文，揭示了中脑腹侧被盖区多巴胺能神经元在延迟满足中的神经基础。该研究通过训练小鼠执行延迟满足任务，并结合光纤记录、单细胞在体电生理记录、光遗传学和强化学习模型等方法发现（1）中脑腹侧被盖区多巴胺能神经元在小鼠等待期间缓慢增加的活动模式编码了延迟满足中等待的价值；（2）延迟满足的决策过程需要进行实时思考。

首先，研究者训练小鼠学会执行正常的觅食任务和新颖的延迟满足任务，其中小鼠在等待区的等待时间（waiting duration）以及随后的跑动时间（running duration）分别被用来评判小鼠执行任务的好坏和积极性。经过一个月的训练，小鼠都能很好的执行延迟满足任务，即小鼠学会了通过等待更长时间来获得更大的奖励[6]。训练的同时，研究者通过光纤记录的方式结合Dat-Cre小鼠特异性的记录了中脑腹侧被盖区（ventral tegmental area，VTA）多巴胺能神经元的钙活动变化。对不同等待时长的钙信号进行统计分析后，他们发现小鼠延迟满足等待期间VTA多巴胺能神经元的钙活动以相对稳定的趋势缓慢上升。（图1）

图1 VTA多巴胺能神经元在小鼠延迟满足等待期间的钙活动变化

（图源：Gao et al., Sci Adv, 2021）

在体单细胞电生理记录结果进一步表明，VTA多巴胺能神经元的发电频率在一定程度也表现出缓慢上升的特征。研究者通对这些神经元的放电进行卷积计算，模拟了它们总体的钙活动变化，结果发现模拟出来的总体钙活动和光纤记录的钙活动高度一致。研究者认为，延迟满足期间VTA多巴胺能神经元的高频放电维持了小鼠的等待行为[6]。

那么，改变VTA多巴胺能神经元的放电模式是否会影响小鼠延迟满足的等待行为呢？为了验证这个问题，研究者在小鼠执行延迟满足任务的等待期间对VTA多巴胺能神经元的活动进行了光遗传操控，结果发现激活多巴胺能神经元会显著的延长小鼠的等待时间，而抑制则会表现出相反的结果。（图2）

图2 光遗传操控显著改变了小鼠的等待行为

（图源：Gao et al., Sci Adv, 2021）

小鼠进行延迟满足时是在什么时候做出决策的，延迟满足等待过程中缓慢上升的多巴胺能神经活动又编码了什么？为了回答以上的问题，研究者分别建立了两种强化学习模型：预先决定（decision ahead）和连续思考（continuous deliberation）来分别对动物行为实验、光纤记录实验以及光遗传实验的数据进行预测模拟，结果显示连续思考的强化学习模型模拟的结果与实验数据更加吻合，提示等待期间缓慢上升的多巴胺能活动编码了延迟满足等待的价值，并进一步揭示延迟满足的决策是一个实时思考的过程。（图3）

图3 强化学习模型示意以及模型对实验数据的模拟预测

（图源：Gao et al., Sci Adv, 2021）

最后，研究者通过对小鼠的等待时间和VTA多巴胺能神经元钙活动的进一步分析发现，当前状态下多巴胺能活动的强弱只会影响一下刻小鼠的等待行为。小鼠自身VTA多巴胺能神经元活动越强，那么小鼠的等待概率也越高，这一点与光遗传结果是一致的，研究者从小鼠自身VTA多巴胺能神经元活动变化角度揭示了其在延迟满足中发挥的作用。（图4）

图4 等待期间VTA的多巴胺能神经活动预测了小鼠的行为表现

（图源：Gao et al., Sci Adv, 2021）

文章结论与讨论，启发与展望该研究从新颖的行为学范式开始，结合各种神经元活动记录和操控手段，最后通过强化学习模型和数据分析，揭示了VTA多巴胺能神经元在延迟满足这一心理过程中的神经基础，为提高自控能力和治疗注意力缺陷多动障碍提供了一定的思路。但多巴胺能神经元在单细胞层面是如何编码延迟满足仍需要进一步探讨，与此同时是否有更多的脑区以及神经环路参与到延迟满足这一心理过程，以及是如何编码延迟满足也是非常值得深入研究的。

原文链接：https://www.science.org/doi/10.1126/sciadv.abg6611

通讯作者汪小京（上左），通讯作者胡霁（上中），通讯作者孙文智（上右）

第一作者高子龙（下左），共同第一作者王汉青（下右）

（照片提供自作者本人与实验室官网）

北京脑科学与类脑研究中心孙文智研究员、上海科技大学生命科学与技术学院胡霁教授与纽约大学神经科学中心汪小京教授为本文的共同通讯作者。北京脑科学与类脑研究中心博士后高子龙在孙文智与胡霁教授指导下完成了大部分实验部分工作，清华大学本科生王汉青在汪小京教授指导下完成了主要的计算建模，两人为共同第一作者。上海科技大学的博士生卢琛，北京脑科学与类脑研究中心博士生卢铁湛，汪小京教授的博士后Sean Froudist-Walsh，以及上海科技大学的陈明副研究员也在其中做出了重要贡献。本研究的在体单细胞记录受到了北京生命科学研究所卢立辉博士后的指导。该研究主要受国家自然基金和上海市浦江人才计划的支持。本研究还得到了北京脑科学与类脑研究中心的饶毅教授，罗敏敏教授和戈鹉平高级研究员，华中科技大学的周伟副教授，上海脑科学与类脑研究中心的闵斌研究员的大力支持，以及上海科技大学生命科学与技术学院分子影像中心平台的服务。

往期文章精选
 优质科研培训课程推荐 讲座/会议/研讨会/论坛

参考文献（上下滑动查看）  

1.Tomasi, D. and N.D. Volkow, Striatocortical pathway dysfunction in addiction and obesity: differences and similarities. Crit Rev Biochem Mol Biol, 2013. 48(1): p. 1-19.

2.Volkow, N.D. and R.D. Baler, NOW vs LATER brain circuits: implications for obesity and addiction. Trends Neurosci, 2015. 38(6): p. 345-52.

3.Yu, X. and E. Sonuga-Barke, Childhood ADHD and Delayed Reinforcement: A Direct Comparison of Performance on Hypothetical and Real-Time Delay Tasks. J Atten Disord, 2020. 24(5): p. 810-818.

4.Mischel, W., Y. Shoda, and M.I. Rodriguez, Delay of gratification in children. Science, 1989. 244(4907): p. 933-8.

5.Watts, T.W., G.J. Duncan, and H. Quan, Revisiting the Marshmallow Test: A Conceptual Replication Investigating Links Between Early Delay of Gratification and Later Outcomes. Psychol Sci, 2018. 29(7): p. 1159-1177.

6.Gao, Z., et al., The neural basis of delayed gratification. Sci Adv, 2021. 7(49): p. eabg6611.

制版︱王思珍

本文完