Sci Adv：面对奖励，大脑发生了怎样的“内部活动”？孙文智/胡霁/汪小京团队揭示奥秘
心理学实验结果实际上受到多种社会条件的综合影响，我们更想了解的是，这一切的神经基础是什么？面对“糖”（奖励），大脑发生了怎样的“内部活动”？
2021年12月1日，北京脑科学与类脑研究中心孙文智团队，上海科技大学胡霁团队和纽约大学汪小京团队在国际期刊Science Advances在线发表题为“The neural basis of delayed gratification“的研究论文，揭示了VTA多巴胺能神经元在延迟满足这一心理过程中的神经基础，为提高自控能力和治疗注意力缺陷多动障碍提供了一定的思路。
欢迎加入
全国神经调控学术讨论群
全国学习记忆讨论群
添加小编微信
brainnews_11
-留言神经调控/学习记忆研究群-
平衡即时满足（instant gratification）与延迟满足(delayed gratification)，对于优化个体的生存和繁殖至关重要。反复暴露于即时满足会破坏这个平衡，从而引起冲动的决定与许多疾病，比如成瘾、肥胖以及注意力缺陷综合症等。延迟满足是平衡延迟与显著奖励的心理过程，往往体现了个体的耐心、毅力还有自控能力。
自20世纪60到70年代，斯坦福大学心理学家瓦尔特•米舍尔(Walter Mischel)开展棉花糖实验以来，科学家们通过人类心理和大脑活动的监测以及动物模型对延迟满足进行了很长时间的研究，但对其神经基础所知甚少。
北京时间2021年12月1日，北京脑科学与类脑研究中心孙文智团队，上海科技大学胡霁团队和纽约大学汪小京团队在国际期刊Science Advances在线发表题为“The neural basis of delayed gratification“的研究论文，揭示了中脑腹侧被盖区（ventral tegmental area，VTA）多巴胺能（Dopaminergic，DAergic）神经元在延迟满足中的神经基础。
该研究通过训练小鼠执行延迟满足任务，并结合光纤记录、单细胞在体电生理记录、光遗传学和强化学习模型等方法发现（1）中脑腹侧被盖区多巴胺能神经元在小鼠等待期间缓慢增加的活动模式编码了延迟满足中等待的价值；（2）延迟满足的决策过程需要进行实时思考。
图1：光纤记录与VTA多巴胺能神经元在小鼠等待期间的钙活动变化
首先，研究者训练小鼠学会执行正常的觅食任务和新颖的延迟满足任务，其中小鼠在等待区的等待时间（waiting duration）以及随后的跑动时间(running duration)分别被用来评判小鼠执行任务的好坏和积极性。经过一个月的训练，小鼠都能很好的执行延迟满足任务，即学会了通过等待更长时间来获得更大的奖励。
训练的同时，研究者通过光纤记录的方式结合Dat-Cre小鼠特异性的记录了VTA多巴胺能神经元的钙活动变化。对不同等待时长的钙信号进行统计分析后，他们发现小鼠延迟满足等待期间VTA多巴胺能神经元的钙活动以相对稳定的趋势缓慢上升。
在体单细胞电生理记录结果进一步表明，VTA多巴胺能神经元在一定程度表现出缓慢上升的特征。研究者通对这些神经元的放电进行卷积计算，模拟了这些神经元的钙活动变化，结果发现模拟出来的钙活动和光线记录的钙活动高度一致。他们认为，延迟满足期间VTA多巴胺能神经元的高频放电维持了小鼠的等待行为。
图2：光遗传操控显著改变了小鼠的等待行为
那么，改变VTA多巴胺能神经元的放电模式是否会影响小鼠的等待行为呢？为了验证这个问题，研究者在小鼠执行延迟满足任务的等待期间以20%的概率对VTA多巴胺能神经元的活动进行了光遗传操控，结果发现激活多巴胺能神经元只会使激活对应试验的小鼠等待时间显著延长，而抑制则会表现出相反的结果。
图3：强化学习模型示意以及模型对实验数据的模拟预测
小鼠在延迟满足任务中的什么时候如何进行决策，以及等待过程中缓慢上升的多巴胺能神经活动到底编码了什么？为了回答以上的问题，该文分别建立了两种强化学习模型：预先决定（decision ahead）和连续思考（continuous deliberation）来分别对动物行为实验、光纤记录实验以及光遗传实验的数据进行预测模拟。
结果显示连续思考的强化学习模型模拟的结果与实验数据更加吻合，提示等待期间缓慢上升的多巴胺能活动编码了延迟满足等待的价值，并进一步揭示延迟满足的决策过程需要实时思考的参与。
图4：等待期间VTA的多巴胺能神经活动预测了小鼠的行为表现
最后，研究者通过对小鼠的等待时间和VTA多巴胺能神经元钙活动的进一步分析发现，当前状态下多巴胺能活动的强弱只会影响一下刻小鼠的等待行为，一定程度上VTA多巴胺能神经元活活动越强小鼠的等待概率也越高，这一点与光遗传结果是一致的，研究者从小鼠自身角度揭示了VTA多巴胺能神经元在延迟满足中发挥的作用。（图4）
该研究从新颖的行为学范式开始，结合各种神经元活动记录和操控手段，最后通过强化学习模型和数据分析，揭示了VTA多巴胺能神经元在延迟满足这一心理过程中的神经基础，为提高自控能力和治疗注意力缺陷多动障碍提供了一定的思路。
北京脑科学与类脑研究中心孙文智研究员、上海科技大学生命科学与技术学院胡霁研究员与纽约大学神经科学中心汪小京教授为本文的共同通讯作者。北京脑科学与类脑研究中心&北京大学前沿交叉学科研究院联合培养的博士后高子龙以及清华大学本科生（时为纽约大学交流生，现为约翰霍普金斯大学博士生）王汉青为本文的共同第一作者。上海科技大学的博士生卢琛，北京脑科学与类脑研究中心博士生卢铁湛，汪小京的博士后Sean Froudist-Walsh，以及上海科技大学的陈明副研究员也在其中做出了重要贡献。本研究的在体单细胞记录受到了北京生命科学研究所卢立辉博士后的指导。该研究主要受国家自然基金和上海市浦江人才计划的支持。本研究还得到了北京脑科学与类脑研究中心的饶毅教授，罗敏敏教授和戈鹉平高级研究员，华中科技大学的周伟副教授，上海脑科学与类脑研究中心的闵斌研究员的大力支持，以及上海科技大学生命科学与技术学院分子影像中心平台的服务。