TCCI追问研讨会回顾：我们如何理解实际社会中的认知与行为？

会议介绍

7月30日，由天桥脑科学研究院（Tianqiao and Chrissy Chen Institute, TCCI）组织的首届 “TCCI追问研讨会”顺利召开。4位青年科学家此次围绕“我们如何理解实际社会中的认知与行为？”这一社会神经科学话题展开在线圆桌讨论，并与观看直播的其他学者和学生进行了热烈的问答互动。

本期会议由罗艺主持，北京师范大学认知神经科学与学习国家重点实验室副教授、麦戈文脑研究院研究员汪寅，澳门大学脑中心课题组长和博士生导师伍海燕，奥地利维也纳大学心理学院博士后张磊参与讨论。

本文为TCCI追问研讨会“我们如何理解实际社会中的认知与行为？”的文字稿，扫描上方二维码，或者点击阅读原文查看研讨会回放。

◁ 滑动查看 ◁

Session 1 背景介绍

@罗艺

现在我们首先进入今天的第一个部分，请我们的三位老师分别对自己的研究领域做一个简单的介绍，和我们分享一下您对于真实世界情境下的社会神经科学的研究是怎样理解的，欢迎大家发言。

  @汪寅 

大家好，今天非常荣幸能参加这样的一个讨论会。我对这个话题非常感兴趣，而且觉得跟其他两位老师，包括很多在线的老师和学生们一起讨论非常有意义，这个话题也符合目前社会神经科学的发展阶段。

首先，我介绍一下自己的研究兴趣。我的兴趣比较广泛，对社会神经科学相关的问题都非常感兴趣，比如人类社会行为的心理、认知、神经、计算以及网络层面。我看文章的时候也不会对主题很挑剔。但是我最近5年的研究工作主要集中在，通过网络神经科学的方法来揭示支撑社会互动的一系列脑网络。比如说负责面孔加工的面孔脑网络，负责动作理解和模仿的镜像神经元系统，负责读心的心智化脑网络以及负责道德判断和社会决策的脑网络等，我们把它叫做社会认知脑网络(social brain networks）或者叫社会大脑连接组(social brain connectome)。在方法上，我主要从心理、行为和大脑三个层面测量。在心理层面，我们主要通过问卷和常用的心理学实验范式，对人们的社会认知进行评估。在行为层面，我们主要分析社会互动过程中个体间的眼神、肢体动作、面部表情以及言语内容等。在大脑层面，我们主要使用fMRI（功能性磁共振成像来）测量人们在各种社会情境下的大脑活动。我们之前最主要使用的数据模态是fMRI，但是近几年拓展到了多模态MRI。多模态是指我们会同时扫描大脑的结构和功能，这里功能是指大脑在休息或者完成特定社会任务时的活动情况。

我自己在社会神经科学领域从事研究也有10多年了，我觉得这个领域在方法学上、特别是实验范式上的转变，还是挺大的。

从2008年我就进入到这个领域，那时主要会让被试看一些简单的静态刺激，比如人脸。后来会呈现一些稍微复杂的动态刺激，比如动画片。再后来会做一些涉及两个被试的神经经济学任务，比如囚徒困境。再到现在，非常流行的是通过超扫描（hyperscanning）来实时研究两个人在真实场景下的互动。总的来说，我们整个领域的方法学都在向着生态学效度更高的方向进步。

对于我来说，印象最深的一个转折点可能是在2012年。当时，德国马普研究所的Leonhard Schilbach在BBS （behavior and brain sciences）上面发表了一篇以第二人称的神经科学（second person neuroscience）为主题的文章，大家一下子开始关注社会神经科学实验的生态学效度。他认为，研究人员利用核磁共振研究社会大脑的时候，不仅要让被试被动地从第三者的角度来观看社会刺激，更重要的是让被试能够主动地参与社会交互，以第二人称视角直接改变周围的环境，甚至改变原来的社会刺激。

打个比方，之前研究社会大脑如何感知眼神的时候，我们会让被试看一些直视或者斜视的眼神，观看的内容都已经确定了，这是传统的第三人称社会神经科学的设计。那么，第二人称的社会神经科学会如何设计？我们每次看别人的眼睛，都会让别人的眼神本身做出改变，比如回避、直视，或者跟着你眼神的方向望出去，类似共同注意（joint attention）。所以行为会直接改变刺激本身，直接改变环境。

关于第二人称神经科学的具体内容，大家可以去看BBS上的原文。但是在我看来，第二人称神经科学和哲学上的生成论不谋而合。因为根据生成论的描述，动物有神经系统而植物没有，而动物除了和植物共同具有感知觉之外，最主要的功能还是运动。所以生成论认为，神经系统最主要、最基本的功能还是对运动的支持。运动的本质是让个体直接改变周围的环境，增加觅食和交配的成功率。

因此我觉得，当前所流行的基于博弈论的神经经济学范式的优势在于，它采用了生成论的角度，个体可以主动将行为施加于他所互动的个体。比如做博弈论任务的时候，被试可以以牙还牙或者是主动讨好。总之，要让个体能够像在现实社会中一样，有效地改变周围的环境。

最后，我觉得第二人称的社会神经科学在测量某些社会情景的时候，具有传统方法无法比拟的优势。比如说人类进行社会交流的时候，最重要的一个特点就是轮流交互（turn taking），就像打乒乓一样，你说一句我说一句，你的一句话会影响我下一句话的内容，而不是像传统方法一样，把所有内容都像剧本一样定好了。

根据我自己的社会认知研究，从脑网络的角度来看，传统方法使用的是控制得非常好的实验刺激，但这种方法只适合于研究单个脑区的功能专业性（functional specialization）以及某一个社会功能网络内的功能整合( with-in network functional integration)，比如说给出一个简单的面孔刺激，它只能激活FFA或某些主要负责面孔加工的单一脑区，因此只能研究这些脑区之间的互动。

然而，在真实的环境中，不只涉及一个脑区，而是涉及脑区和脑区之间、甚至是多个网络之间的互动。比如说在生态学效度比较高的电影刺激里面，有表情、有肢体、有语言、又有心理状态的推断，如此丰富的刺激，可以帮助我们不仅仅去研究单个脑区的功能专业性（functional specialization），或者是单个脑网络的功能整合（functional integration）, 还可以研究网络间的功能整合（network-network integration）。这一点非常重要，因为我们对社会大脑的认知不仅仅局限于各个脑区是干什么的，而是涉及整个大脑多个动态脑网络之间如何互动。比如说，在临床精神病学上会发现，对于自闭症等疾病，单个功能脑区或者单个脑网络并没有受损，受损的是这些社会脑网络之间如何相互调制，使个体在不同情况下做出合适的行为和反应。使用传统方法只能研究某个脑区或者某个脑网络，没有办法研究像自闭症这样体现出复杂社会功能缺陷的疾病。我应该说的差不多了。

@罗艺

非常感谢汪寅老师的介绍和分享，汪寅老师对社会神经科学的理解非常丰富，我们也得到了很多启发，接下来请我们的第二位嘉宾伍海燕老师来介绍和分享。

  @伍海燕 

首先非常感谢有机会跟大家一起探讨，尤其是和这么多的同行，包括汪老师和张老师，尤其是罗老师。其实我早期是从儿童的社会神经科学或者说社会发展的神经科学开始进入这个领域。硕士期间开始研究社会交互相关的内容，当时是从欺骗或者说谎这个领域起步，会涉及刚才汪老师提到的心智化（mentalizing）和心理理论（theory of mind），这代表了我非常感兴趣的方面。这种兴趣也延伸到我后续的决策研究当中，比如研究一些涉及博弈论（game theory）的交互性决策。后续，在博士阶段，我研究的是文化和语言在大脑中的交互作用，之后再回到一些跟社会交互和决策有关的内容。现在我们实验室应用了很多技术，最常用的包括收集大数据的MTurk平台，自然语言处理（NLP），做行为数据采集的鼠标追踪和眼动追踪，还有神经科学上使用的EEG、fMRI，以及神经调控（neural modulation）。此外我们也做一些基于药物操控的研究，比如研究催产素如何影响社会和脑的交互。现在我们实验室对社会相关的内容都非常感兴趣，但是可能会更多地集中在三点。

第一点是承继我之前对于道德相关的社会决策的兴趣，主要是关于奖赏和惩罚的中枢怎么在道德决策中做权衡，它的计算机制是怎样的，以及怎么应用研究结果预测和改变人的行为。第二点是我刚才提到的药物对神经以及社会交互行为的调控。第三个部分呈现了我自己博士阶段的一些兴趣，也就是文化和语言方面。尤其是人的社会观念和社会关系怎么在语言中体现以及怎样受到文化的影响。

我个人除了对人和人的社会交互感兴趣之外，也对人和AI的社会交互感兴趣。这个兴趣来源于我自己做儿童发展研究的经历，比如说我们早期会去幼儿园做实验，研究小朋友们对人和人的交互以及人和AI的交互的反应。我们会发现一些非常有趣的规律，但是还没有机会通过神经科学的手段去知道为什么。现在我们有条件和机会去研究一些这样的科学问题。这就是我们现在实验室主流的几个方向。我们也希望通过实验室的壮大，把研究体系搞得更完整，如果大家对实验室有兴趣，还可以再问一些相关的问题，我就先介绍到这里。

@罗艺

非常感谢海燕老师的介绍，可以看出来海燕老师的兴趣也非常广泛，研究也非常有体系。接下来我们就请我们的第三位嘉宾张磊老师来介绍一下自己，分享您的看法。

  @张磊

今天非常高兴有机会和大家分享自己对社会神经科学以及真实情境下的社会神经科学的理解。我觉得在另外三位嘉宾面前我是一个初学者。因为像汪寅老师刚才提到，他已经在这个领域做了十几年了，但我可能连他的零头都没有。

我不太认为自己是从事社会神经科学研究的人。我做的所有东西基本上都是和学习以及认知建模相关的，只不过凑巧做实验任务和学习的模型时，做到了社会这方面，不小心就沾了社会神经的边，但是自从沾了之后，我觉得这个领域也挺有意思的。所以说像刚才汪寅老师和伍海燕老师说到的，基本上看文章的话，但凡跟社会有点关系的都会看一看，觉得很有意思。

另外一个我比较关心的方向是计算精神病学，也就是把这些实验任务和计算模型用在精神疾病患者身上。这里面其实也可以有一个比较有意思的结合。你可以做社会神经科学的计算精神病学，看看社会情境下这些病人和未患病的人相比，在行为上、机制模型上、计算水平上和神经表现上有没有差异。这是我比较感兴趣的一些点。

下面谈谈我对真实情境下的社会神经科学的一些想法，我做的主要研究就可以算是偏向真实情境下的研究。因为早期的社会互动类实验，无论是神经经济学也好，博弈类的实验任务也好，把被试招进去之后，主试跟他说有一个人跟他互动，其实要么是电脑生成的，要么就是假的。你想让电脑和什么样的人互动，就生成什么样的互动的行为模式，然后让真实的被试跟电脑生成的预定义好的模式交互，记录被试的行为表现和模式。后来觉得，这样虽然能够把实验条件控制得很好，但是不好的点在于，真实情况下，人们是不是真的这样进行行为表现？人们的表现和你假想的理想情况下电脑生成的行为模式一样吗？基本上都不一样。所以说当时我们5个被试一起进行实验，他们爱怎么样怎么样，不加任何干涉和控制，观察这5个人到底能形成什么样的行为。这是其一，在社会情况下加入真实的互动，而不是前期设计好的（pre-defined）互动。

另外今后大家可能都可以考虑，使用一些虚拟现实的手段，观看影片的方法、手机APP的手段。因为像刚才伍老师提到可以使用MTurk，但是你好歹得有个电脑，坐在电脑前才能使用MTurk做这个实验。现在还有一个比较常见的方法，就是设计手机APP。在英国我知道有三个实验室在开发这种手机APP，把常见的决策任务、学习任务或者说社会相关的任务，变成很有意思的游戏化的实验，但本身内核还是一样的，不管成人也好、儿童也好，也都喜欢玩。在美国，丹妮拉·希勒做了一个社会相关的记忆任务，被试交互的对象有两个水平的特质，一个是友好度，一个是支配倾向（dominance）。他们把实验编到了程序里边，做得更有意思，把人脸以及虚拟的环境做得像一个电脑游戏，用电脑的、用APP的人都非常喜欢玩，可能实际上数据都收完了，被试那边觉得“怎么结束了，还想接着玩”。我觉得这也算一个比较新的方向，咱们之后还可以再讨论。

Session 2：圆桌讨论

@罗艺

刚才是我们的第一个环节，接下来我们就进入第二个环节，这个部分也是30分钟，它是圆桌讨论的形式，请我们的几位嘉宾畅所欲言，大家可以根据自己的兴趣互相追问。

首先我还是接着前面提到的，特别是汪老师提到的“生态效度”概念来谈一谈，我想我们在聊真实世界情景时，不能回避这个概念。我们都会期待真实世界情境下的社会神经科学研究能够获得比实验室研究更高的生态效度。如果想要确保优势得到发挥，我想请老师们谈谈，在实际的研究里面，我们可能需要注意一些什么问题。

@伍海燕

我看到张磊老师也分享了一些关于APP的内容。正如我们之前提到的，现在很多研究者都在提怎样去研究真实情景中的社会心理和行为。大家可以关注一下张磊老师分享的APP。

目前，我觉得获取真实情境中的社会和经济行为还是比较困难的。当然这个困难还包括了衍生出来的一些困难，比如说建立社会行为的体系，尤其是对于接近真实或者说日常生活的社会行为，再比如一些范式（paradigm）的发展。当我们采集了数据之后，还会面临如何解读的问题，不能囿于数据的表面。我觉得如果要突破这些困难，应该从三个方面着手。

第一个肯定就是刚才汪老师和张老师提到的，在生态环境下社会行为和神经数据的采集。目前来说，基于APP的神经信息采集还是比较少。另外，这也涉及大数据或者开放数据集的建立，这也有利于我们所说的第二个问题。

第二个层面是算法层面。因为我们之前对社会心理和行为数据的计算建模、对于神经数据的集成建模都已经有了现成的处理流程（pipeline）。但是在生态环境下，收集了多模态或者复杂高维的数据之后，还缺少合适的算法处理这些数据。尤其是对于很多社会心理学家、社会神经科学家来说，可能需要一些对应的分析工具。有大的数据集或者开放数据集，对于第二个层面——算法层面的发展是非常好的。

第三个我个人比较感兴趣的就是社交媒体的大数据，当然也包括很多其他类型的数据。这类数据其实生态效度很高，但同时有很多的噪声，怎么样利用好这些数据，可能可以帮助我们捕捉到真实世界当中人和人是怎么进行社会交互的。

补充一点，刚才提到了算法，为什么深度学习在这个领域非常有帮助或者非常有潜力呢？因为这些数据的输入变量通常来说不需要太多的预处理，而实验是需要严格操控的，数据也都有严格的分析流程。深度学习的算法可以从真实情景的输入中直接提取相关的特征，而不是按照传统的特征工程的提取方式，这样对于我们处理噪声比较多的数据可能会比较有帮助。当然这也对我们社会认知神经科学的研究者和学习者提出了新的挑战，因为要学习的知识又增加了。这是我的一点想法。 

@汪寅

我认为目前想提高研究的生态效度主要有两个困难点。第一点是，我们总是既想有高的生态效度，又想进行有效的操控，所以说目前才会处于中间状态（middle point）。使用VR虚拟现实可能是未来比较好的一个方向，但是操作起来非常困难。因为好的VR刺激，需要非常精细的社会场景和人物的行为、偶然性（contingency）等，所以在代码的编写上需要花很多时间和精力，而且需要整个科学产业一大批科研人员来做这个东西。目前VR写得好的人都去做游戏了，科研圈的待遇又非常差，竞争也很激烈。所以说高质量的VR刺激，一般来说都很少能在学术圈里大范围推广，我觉得VR的发展还是挺慢的。

我比较同意伍老师的观点。我们从另外一个角度来说，重点不是刺激本身的控制，而是社会个体间认知和行为的差异非常大。之前我们社会心理学和社会神经科学的被试样本非常单一，也就是所谓的“WEIRD”(Western,Educated, Industrialized, Rich and Democratic）样本，主要是针对西方高学历的白人学生进行研究，而不具备全人群的代表性。在我看来，被试样本过于单一的问题，可能对于一些基本认知功能影响不大，比如说视觉研究里面常常只有10个被试，因为主要负责这些功能的脑区都比较靠后，个体差异就比较小。但是在社会行为和社会认知上面，人跟人之间的差异就很大。负责社会认知的社会大脑网络所涉及的脑区，包括内侧前额叶、颞顶联合区等，个体差异也非常大。所以说我认为，未来神经科学要提高生态学效度，首先要使用大样本量，要涉及各种社会背景的人，要增加社会行为和大脑层面的多样性和复杂性，这样才能有效解决模型的泛化性和假阳性问题。

我觉得我们提到的超扫描（hyperscanning）和VR概念非常高级，但是对于整个领域而言，不可能每个实验室都去做这个，它的技术门槛太高了，也不可能每个学校都有两个扫描仪（scanner），或者是大家都愿意来做超扫描的概念。我觉得，近期来看，要提高我们整个领域的生态学效度，最重要的还是通过在线实验收集大数据，以及普及这个概念——我们是做社会行为的，我们不要再把被试困在一个小房间里面去做那些控制很严格的实验，我们要慢慢地放开，要到真实的世界里面去做。但是全世界能够自己制作APP的实验室也没有几个，像英国他们那几个或者是美国那几个，所以说要推广起来也比较困难。比较容易推广的是，让大家一步步地从实验室走出来，去使用一些在线的实验平台，比如说英国基于PsychoPy的Pavlovia，或者是美国的MTurk或者Prolific。我觉得通过互联网，通过在线实验平台，包括通过微信小程序发问卷，这些都可以帮助大家增加数据的多样性。

在这里我可能需要给我们自己的课题组做一些宣传，因为我们课题组目前正在开发一个能给大家一起用的、基于中国服务器的在线实验平台。大家可以通过PsychoPy或者是JavaScript来编写实验，上传到我们平台的云服务器上来收数据，同时这个平台也会提供许多经典实验的代码。因为大家可能平时都用E-Prime或者是MATLAB来编程，但是如果做在线实验的话，是需要通过浏览器、通过JavaScript来编写的，所以说我们会预先编写好一些东西，让大家可以通过这个去学习，或者是基于这个模板来改编一下，加入你自己的刺激。

我们建立平台的初衷主要是，我刚好是在2019年疫情之前回国，过了两个月后，因为疫情整个实验室全部关闭，整个中国大家都不能做实验了。我那个时候发现，在中国用国外的服务器有很多的弊端和槽点，所以就想着要不要建立自己的平台。这个平台和国外类似的平台还不一样，我们最主要是基于开放科学（Open Science）的观点，希望这个平台给大家提供开放共享的机会，而且不仅仅是实验代码上的共享，更重要的是将来可能实现实验数据上的共享。你已经收集的那部分数据，接下去可能继续追踪这些人，让其他人来收集他们的数据，这样在数据上面也是可以去进行共享的。这个平台可能会在今年年底开放。目前我们也在做一些内测的工作，要确保数据质量（比如反应时等）和线下以及国外的平台没有显著差异。从整个领域推广来说，我觉得VR和超扫描的概念非常高级，而我非常看好在线实验的方向，这对于整个社会心理学和社会神经科学会有非常大的促进作用。

@罗艺

感谢汪老师的分享，也感谢您的团队为我们开发互利的在线实验平台。其实我也一直试图寻找国内有没有这样一个平台，因为我在美国使用过MTurk和Prolific，感觉它们确实是非常强大的工具。特别是在疫情期间，我们也用Prolific收了很多数据，觉得如果国内也有这么好的平台就好了。而且您还提到平台支持数据共享和代码共享，这既是学习的机会又是大家交流的机会，非常感谢。接下来我想问一下张磊老师有没有什么补充的？

@张磊

我想追问一个关于实验设计的问题。汪寅老师团队的工作对中国在线实验平台建设肯定非常有意义，能收的被试量会增加，比如实验室收100个，网上可以收1000个。但我比较好奇，实验室实验和在线实验有没有实验设计上的区别，如果说没有的话，只是量上的增加如何能够帮助社会神经科学提高生态效度。

@汪寅

其实实验设计也很关键，因为在互联网时代大家都是短平快的，让被试在线上做实验和请被试到实验室盯着他做实验肯定不一样，盯着他做实验，他可能半个小时非常认真地做，但是在线上做实验非常容易注意力不集中，他可能要么隔一会儿看看手机，要么干其他事情，或者是实验太无聊了，他肯定就会东看西看。所以说线上实验第一点就是效应量会比较小，所以需要通过增大样本量才能得到显著结果或者说才会体现出系统性的模式（pattern）。其实APA（American Psychological Association，美国心理学会）在2000年的时候，就把在线实验写进了APA的手册里面，说是要发展这个东西，现在已经20多年了。这里面会有很多的问题，包括实验该怎么做得有趣，让被试仅仅是在10~15分钟之内就能测出比较好的效果。

第二，被试做实验的背景是什么？他有可能在酒吧做，也有可能在图书馆做，结果都会不一样。在实验设计上，第一点是时间要尽量短，要不然时间一长，数据质量不能控制。第二点是要尽可能收集被试在做实验任务时的背景信息，你可以通过询问或者偶尔可以通过摄像头或者通过应用系统里面的一些指标（比如反应时等等）来看一下。另外，某一些实验是没法在线做的。比如说我们常见的一些记忆的实验就不建议大家在线做，因为被试可能会用手机拍下来或者作弊，或者用其他的方式怎么偷懒怎么来。再比如说像视觉的一些实验，本身头要固定在一个地方，也没法在线做。不过基本上我们在线做很多社会相关的实验是没有问题的。我们课题组在推广平台的同时也会建立一个公众号，上面会教大家该怎么设计、怎么做在线实验任务。其实做在线实验并不难，但是有一些点大家需要去注意。

@罗艺

既然刚才汪老师提到了一些相关技术，比如说像VR、 超扫描这些，我也想问一下其他两位老师，这些技术未来可能的应用前景，需要注意的问题，以及可能存在的风险，我想大家能不能再展开说一下。

@伍海燕

首先我们说一下什么是超扫描，它可能包括脑电、近红外甚至核磁等多个模态，同时记入多个被试的神经活动，通常是应用在社交情境下。它当然具有比较高的生态效度，也可以认为是对传统单人实验的一个重要补充。

我大概在2013年的时候，写了第一个超扫描的程序，当时是做欺骗任务，也就是说 a欺骗b或者b来侦测a是否欺骗了他，这样一个交互决策的探究。我觉得超扫描对于我们尝试做真实社交情境下的研究是非常有必要的。

当然目前超扫描在很多情景下都有应用价值，包括亲子互动、情侣互动、师生互动、群体间的合作与竞争，以及动作模仿和动作协调等等。但是今年有一篇文章提到了研究多脑扫描技术的下一步。因为目前的方法不太容易得到因果关系，所以我们需要更多地借助于单脑或者多脑的刺激技术，也就是之前提到的神经调控的一些方式，在社交情境当中进行有目标的或者特定的神经调控，提供一些因果的证据，这样可能会使得研究的体系更加完整。

当然我个人认为技术本身还是要针对其适用的科学问题。超扫描最终还是不会涉及很大的样本，所以你需要提出非常切合技术的问题，比如心理理论（theory of mind）或者人际交互（human interaction）有关的问题，同时也需要构建好的数据分析模型，来对数据进行分析和解释。这就是我的一点点看法。

@张磊

我对超扫描其实不是特别了解，我只有两点看法。

一是刚才汪寅老师提到的，技术方面不是特别容易实现，但只要有意愿这也是可以解决的。

二是刚才伍海燕老师提到的，分析和建模上的挑战，比如说这里涉及高层级多水平的心理理论加工，“你知道我怎么想的，我知道你知道我怎么想的”这样一个过程，分析的时候涉及多个层级，难度其实就会变得很大。这里超扫描只是一个技术手段，首先还是要关注在社会互动情况下，行为表现是怎么样的。“你理解我，我理解你理解我”这种情况下，先把行为研究透了，再看看这个行为背后和它相关的神经是怎样的，这个其实比较重要。

@汪寅

我不是非常热衷于超扫描技术。在我看来，社会脑网络最主要涉及的是皮层而不是皮层下结构，当然也涉及一些小脑。所以fNIRS（功能性近红外光谱术）其实可以解决很多最基本的问题，而且操作起来又比较便宜，推广起来比较容易。fMRI的超扫描全世界现在在做的也很少。我可能要向其他老师追问一下，fMRI的超扫描到底能够解决哪些fNIRS没法解决的问题，它的优势有多大？

@罗艺

我想稍微聊一下这个问题，因为我的导师Read Montague教授是最早使用基于核磁的方法做超扫描的。其实他当时的出发点非常简单，他觉得想研究社会互动，就至少得扫描两个人。但是从我们近年的研究也可以看到，现在我们做基于核磁的超扫描比较少了。我觉得，就像汪老师刚才提到的，它有一些限制性。即使你做超扫描，那两个人仍然躺在核磁扫描仪里面，大家不能动，也不能面对面交流。可能它对于我们要利用超扫描去接近真实情境的社会互动这一点，没有很大的突破。

我想它和fNIRS相比较一个优势是MRI的空间定位相对更好，但是我想可能对于我们要回答的问题，比如两个脑同步性或者一些因果的问题，可能现在技术上还没有特别大的突破，我想这也是为什么现在这个方面的研究，特别是基于核磁的超扫描的发展，相对来说比其他领域，比如说脑电、fNIRS，甚至是新的脑磁图的这种超扫描的发展要看起来稍微缓一点，这是我的一点观点。

@伍海燕

我刚好看到评论区有同学在聊，fMRI超扫描是需要联网的，比如早期的一些研究实际上连接了不同fMRI扫描中心的两台机器。像我刚才说的超扫描概念，尤其是在应用fMRI时，它的代价是非常大的。汪老师问的是，我们花费这么大的劲来fMRI的超扫描，它的价值究竟有没有那么大？

我的理解，一是跟脑电和近红外相比， fMRI受益于空间精度，这个刚才罗老师也提到了。另外一点，如果用fMRI结合神经调控（neural modulation）来做，可能会解释一些有趣的问题，当然这只是一个天马行空的想法。比如说，如果你刺激了某一个脑区，比如说TPJ，发现被试变得不能说谎了，有可能能从fMRI的神经活动上观测到不能说谎的原因，同时也会观察到行为的先后顺序，也就是说这之后 a就骗不过b了，这里面其实会有交互的要素在里面，这只是我的一个临时的想法。

我觉得可能会有一些非常有趣的问题是通过fMRI的超扫描可以解决的，但是也有可能它不会在某些特定的主题上面有那么大的价值，值得花费那么大的代价去做。不过对于人际沟通这种主题，比如说，我跟汪老师传递一个信息，汪老师那边怎么理解我的信息，大脑里面又有怎么样的反应，这方面fMRI还是可以提供一些比较好的证据。我就说到这里。

@罗艺

另外，刚才汪老师提到了VR部分，不知道另外两位老师对VR有没有一些接触或者了解，VR确实听起来很高级，似乎我们既可以在实验室里进行比较好的操控，又可以非常接近真实的情景，不知道几位老师对VR技术有什么想法？

@伍海燕

我觉得这个技术汪老师刚才也总结的比较好。VR的游戏开发或者实验任务的开发其实是很不容易的，我们实验室一名同学在做这个方面的工作。做一个这样的范式、开发这样的社会交互情境，需要非常多的团队合作，除了心理学和神经科学方面的人员，还需要有负责Unity编程甚至动画、美工的人，才能开发出一个好的虚拟现实的范式。对于一个新的研究团队来说，组建这样一个好的VR团队可能需要比较多的时间，也比较困难。

可能其他几位老师也有印象，我们大概在2014年、2015年参加一些重要的国际会议的时候，其实已经看到很多VR和神经科学结合的工作，当时我们会觉得这一定是开创性的技术，一定会颠覆以往的社会认知神经科学方面的研究。但是时至今日，这么多年过去了，虚拟现实技术在我们神经科学领域还没有迎来所谓的爆发性增长，或者说里程碑式的一些工作。这说明它肯定是有一些局限的，一个难点是汪老师提到的，技术开发层面对很多实验室来说其实比较困难，我们可能确实需要和游戏公司合作，因为需要一个好的制作团队才能做到接近真实。另外一个难点是，VR下的数据分析也有一定的时间成本，现成的处理流程也还比较少，这是我的一点看法。

@汪寅

我认为还有一点。我们研究社会认知不能仅仅关注感知觉（perception），而VR最主要还是调控了感知觉方面。很多时候我们更应该结合动作捕捉（motion capture）的系统，再看一下行为到底是怎么样的。我认为心理学尤其是社会心理学的一些研究，都是想把很复杂的社会行为浓缩为很简单的理论，但其实这本身有非常大的问题。比如说社会心理学里面最经典的一些理论，都是想通过传统的控制，把复杂的现象降到简单的维度上。VR其实帮助我们测量了多个维度，包括加入动作捕捉测量肢体动作，这也是另外一个维度。包括前面伍老师提到的NLP，测量的是言语上的多个维度。所以在我看来，想要提高生态学效度，不仅需要VR，还需要动作捕捉，还需要交谈过程的声音录制，包括对录制的语音进行 NLP分析。各个维度上一起处理，才能更好地体现社会交互的本质、体现生态学的效度，而不是仅仅像传统实验室中，让你看一张人脸，建立一个很简单的低维度的模型。

总的来讲，社会交互是一个高维度的复杂体系，因此测量上面也要收集高维数据。在我看来VR只是当中的一种方法，而且操作起来会非常费钱。我觉得还是要用动作捕捉系统。我博士期间就是做的模仿研究，它还是稍微简单一些、便宜一些。

@罗艺

对的，我们真实世界情境中的各种社会互动或者说社会刺激，是涉及多个通道、多个维度的，我们确实需要去考虑更多维度的数据。

我也想接着刚才汪老师说的再谈一点，我觉得这个点特别有意思。您提到很多时候我们去控制很多变量，实际上是希望去降维，得到一些比较低维的描述（narratives），对我们的认知或者行为进行解释，这个确实也有一定的意义，可以帮助我们去理解、解释甚至预测人的行为。那么有了这些观察之后，有没有可能再得到一个比较普适性的模型去理解复杂的真实社会情境中人的行为或者认知。也就是说不是通过低维的理论模型，而是用比较高维的模型去解释。我想大家能不能就这一点来谈谈自己的看法。

@汪寅

我其实对于社会心理学或者是社会神经科学有像物理学这种普适性的牛顿三定律的想法，是非常悲观的。因为理论框架总是想要尝试把高维度的东西变成低维度的东西，但是人类本身的社会行为、心理状态、社会互动就是一个非常复杂的系统。我们先不说它是线性的还是非线性的，但起码它是高维的。我们每个人的大脑由上百亿个神经元构成，成百上千的人构成我们的社交圈，上千年的人类文明构成了限制我们行为规范的文化准则，所以说社会行为是非常复杂的。

我觉得人们一直追寻一个普适性的理论框架，最主要的原因是我们的认知能力非常有限，我们只能想象三维空间，多一维都无法去想象。所以我对此非常悲观。这些模型本身可能会帮助我们更好地理解人的行为，满足人类求知欲或者是认识观上面的要求，但是它的预测能力非常有限。目前，深度学习还没有广泛涉及社会行为方面，但是我觉得，一旦涉及，它预测真实世界社会行为的能力，能够轻松超过目前最好的社会心理学模型。我举个例子，我在本科时候经常做ANOVA2×2，但是有时候3x4有交互作用，出现的效应就很难去解释了。所以说还不如用深度学习或者机器学习，以整个模式的形式让模型去预测。

另外，我觉得刺激维度是高维的，我们需要去降维，但是我们本身测量的就只是很少的维度。我再举个例子，比如说一位听障人士想要去理解鞭炮为什么能让大家这么开心，这时他就会很困惑，因为听障人士是没有声音的通道帮助他捕捉信息的。同样的，我们现在很多实验室里，测量的社会行为只是一两个维度，缺少了很多很精细的维度，在我们非常有限的维度里面还要再去降维，去找到一个普适性的理论，这就难上加难。所以我觉得我们不应该奢求一个普适性的理论，因为本身测量上就不是高维的，再从高维降到低维，会丧失很多重要的数据，它的预测率会很低。这是我的想法。

@伍海燕

我非常赞同汪老师的看法，我觉得我们对社会神经科学感兴趣，是因为人的真实社交场景非常复杂，人类的社会行为非常多样。尝试建构一个大一统的社会理论可能非常困难，虽然从数据分析或者算法层面来说，它是有可能的。

我和一些学物理或者数学的研究者探讨时，很希望他们也能够涉足社会认知领域，但他们直接就说太复杂了，他们不太愿意涉足这个领域，或者说他们也不太认为这个领域有可能做出一个所谓的大一统的理论。尤其是我们自己也知道，社会科学的研究中，某一个领域的理论直接泛化到其他领域可能都不容易。这是我接着汪老师的一点看法，看看张老师有什么想法，可以跟我们分享一下吗？

@张磊

我随便聊一点刚才的想法。举个例子，前一段时间不是有欧洲杯吗？很多人，尤其是搞统计的人，就使用STEM软件做贝叶斯分析。他们用2018年世界杯的数据和再往前那一届2016年欧洲杯的数据作为模型的输入，预测2020年欧洲杯的比赛结果。这个模型我觉得已经很好了，数据也不错，使用的方法也是比较先进的贝叶斯分析方法。你猜预测结果好不好？只能说还行。

因为这个模型中有很多假设，其中之一是，2016年到2018年再到2020年之间球队的水平没有变化。这是一个很重要的假设，但是你说这是真的吗？可能有的球员年长了4岁，有的球员退役了，有的球员刚刚加入。还有另外一点，就是模型没法把球场上的动态变化考虑进去。比如你刚进一个球，对方给你回进一个扳平了，这种情绪情感的变化，以及有没有观众，还有主场效应，这些互动的关系很难纳入模型中。但是反过来想，正是因为这些无法预测、无法考量，使得人们愿意看足球，如果说每场比赛都跟预测的结果一样，那还有什么可看的？

对于社会认识和人文科学也一样，如果有很多行为都能通过模型预测，我觉得人与社会也没太大意思，这些出人意料的东西才是大家所感兴趣的。比如经济学家伯努利等提出了经济人假设、理性人假设，但是人们的行为真的是这样吗？早二三十年最开始做神经经济学的研究者，就发现人的行为不是理性的，有好多地方和所谓的模型预测不相一致，这也是让研究者觉得有意思、在这个领域可以推进的体现。

Q&A 观众追问

@罗艺

非常感谢三位老师的分享，我觉得刚才的圆桌讨论非常有意思也很有深度，帮助我们理解了为什么要做真实世界情境下的社会神经科学的研究，还有在做的过程中需要注意什么问题，最后我感觉已经上升到哲学的高度了。

最后我们进入今天的第三个环节，观众提问回答的环节。非常感谢我们的工作人员收集了很多问题，现在我就来念一下这些问题，然后看我们哪位老师有兴趣回答一下。

第一个问题是 fMRI核磁需要多次重复分析同一个刺激吗？需要的话，真实情境无法重复呈现怎么办？这个问题哪位老师有兴趣回答一下？

@汪寅

我觉得应该是不需要重复的，因为如果我们还停留在传统的组块设计（block design）或者是事件相关设计（event related design），根本没法实现高生态学效度。

比如说，现在对于一些电影刺激的分析，很多时候都是使用编码模型（encoding model），先建立一个模型，在大脑当中找刺激相关的区域，而不是通过传统的ERP之类的想法，叠加得到稳定的对照。所以目前针对看电影（movie watching）这样的范式，同学们可以多读读目前有哪些数据分析的方法，这对于研究社会大脑是非常重要的。

其实我们的大脑是一个学习的机器，如果重复地给它同一个刺激的话，它本身的调谐曲线（tuning curve）会受影响，很容易适应（adaptation）或者习惯化（habituation），注意力和其他功能都会受影响。另外，社会刺激其实需要有一定的连贯性，而不是分割开来的桌子、脸、风景等等。大脑处理信息流是一个连续的过程，所以如果真的想要了解大脑怎么处理社会信息，一定要保持刺激的连贯性和一定的新奇性。

昨天（2021.7.29）我在推特上面看到Emily Finn他们发表了一篇文章，讲的是我们传统说的看电影范式里面的刺激是真实的（naturalistic）吗？其实不是的，因为他们做了很多媒体神经科学（media neuroscience）上面的研究，发现电影中所设计的情节都是遵循着我们大脑的偏好，并不是真实社会当中我们每天就能看到电影中那么刺激或者那么有意思的故事情节。所以电影本身也是最大程度地刺激我们的大脑去思考和感受。你要说这个是真实的、自然的吗？它是部分自然的，但是跟我们可能有点无聊的日常生活又不一样。

@罗艺

感谢汪老师的回答。

第二个问题是，如何对复杂社会情境中的刺激和认知加工进行有效的控制，以及把相应的加工过程分解为基本的认知加工过程，是不是情境越复杂，研究神经机制就越困难，如何做到这两者之间的平衡？我觉得这还是一个挺重要的问题，看看海燕老师有什么想法吗？

@伍海燕

我个人觉得这是个非常重要也非常好的问题，因为我们所有做社会认知的人都想要接近真实，而我们又知道真实是如此的复杂。

我觉得，做一些社会行为的计算建模，通过数学语言去建构一些认知心理过程，可能是比较好的方式。当然这也取决于是否能够做很好的实验设计，把这些变量都操控得很好，以及是否可以有好的数学语言来表达

@罗艺

下一个问题，刚才我们讨论比较多的是行为学研究中的大样本，那么如何用大样本研究神经机制？

@汪寅

我觉得大样本最主要的可操作性还是体现在行为学上。因为行为学上面，有了大样本就可以知道理论或者模型的适用人群，比如只适合于内向型的人或者外向型的人，社会地位低的人或者社会地位高的人，可以帮助减少模型空间（model space），排除很多复杂因素。影像学上扫描那么多人是负担不起的，但是大数据可以帮助我们知道心理学的理论或者模型所适用的人群，我们可以再聚焦下去，具体看看这种类型的人群碰到这样的刺激时，大脑的机制是怎么样的。

@张磊

关于这个问题，我举两个例子。这两个例子看上去是相反的，但其实总体思路是一样的。一种做法是先设计一个实验，大样本收好了，数据分析了，模型建好了，再去做小样本的实验室实验。实验室可以用大样本的基础做预注册，然后就可以做扫描了。去年有一个观察学习的文章是这样做的。另外一个思路是反过来，先在实验室做实验、做扫描，把同样的实验范式再挪到网上去，收集更大的样本，发现可以重复，这样也可以。这两种思路都可以，也都有文章进行这样的实践。

@罗艺

接下来这个问题是说，是否能将实验室所研究的决策过程迁移到真实的情境中，以及怎样实现这一点，感觉是一个挺大的问题。我觉得，这跟刚才张老师说的思路其实很相关，可能是一个从探索到确定，再探索再确定的循环过程。

接下来的问题是：对于社会认知神经科学感兴趣的年轻学生，想要突破当前的研究困境，应该重点学习和掌握哪方面的知识。想听听各位老师的建议。

@伍海燕

我觉得这个问题很大，答案也因人而异。社会神经科学家的职业发展道路很长，需要积累的知识和技能很多。我个人甚至认为职业发展跟人生阅历的丰富程度也会有关系。我们今天提到很多技术，比如各种智能设备，以及从行为到神经数据的采集、分析、建模等等，但其实随着研究经历的增加，这些技术你都会一点点掌握的。

除了这些知识技能之外，我个人觉得一个社会神经科学家更应该胸怀天下，需要广泛的阅读和写作。这个过程会促使你深入思考，这会关系到研究中对理论的建构。最终，你能够至少在一个小的社会认知领域建构自己的理论，并且有能力去推广或者验证它。这是我的一点点看法。

@汪寅

目前国内培养体系的整个课程设置我非常不满意。涉及社会的各类数据都是高维数据， 如果我们同学还一直用SPSS的话，那只能处理二维或者三维的数据，必须要使用Python或者是R来处理更复杂一些的数据。另外我再三强调编程这一方面。我们不要局限于图形用户界面“点点点”的E-Prime，或者是MATLAB，它们并不是开放的。所以我觉得，大家一定要去大胆拥抱在线实验平台，从实验室慢慢走出来，到人们真实的日常生活当中去收集数据。

我建议大家：第一点，你要知道做社会神经科学一定要处理高维度数据，一定要放弃SPSS。第二点，使用PsychoPy或者JavaScript。迈出第一步非常重要，因为目前的课程设置实在是太老化了，大家可以慢慢提高自身的编程和统计能力，包括接触一些数据科学（data science）。我觉得数据科学非常符合我们做社会心理学或者是脑科学的第一步。学习数据挖掘（data mining）对于数据清理或者数据建模都非常有帮助。所以建议大家多用Python，因为它更开放。

@罗艺

非常感谢三位老师的分享。我觉得三位老师说得非常好，我再总体的提一点。因为我还是一个受训阶段的研究者（trainee），根据我自己的经验，大家不要怕接触新的东西。对于刚才汪老师还有海燕老师提到的这些很“硬”的技术，可能我们一开始会有点发怵，觉得是陌生的领域，不知道自己能不能掌握。其实，从兴趣和目标出发，需要掌握的技术都可以去尝试和学习，这可能是科研工作者所需要的气质。

今天非常感谢各位老师的分享，因为时间关系，今天的研讨会就差不多了，非常抱歉我们不能对所有的问题都一一作答。再次感谢我们嘉宾和观众的参与，我们今天的研讨会就到这，再见。

社群讨论

扫描二维码进入社群继续追问嘉宾！

或添加小助手微信questionlab申请进群

点击“阅读原文”观看会议回顾