查看原文
其他

“你在比划什么?”大脑如何理解肢体动作的含义

MCELVERY 神经现实 2019-04-29

大脑是如何把示势、感知和含义联系起来的。

RALEIGH MCELVERY

封面:Adam Parry

COGNITIVE SCIENCE  认知科学


还记得上次别人向你竖中指的情景吗?不管那个人是否同时说了侮辱性的话,你都知道竖中指是什么意思。


这种从动作到意义的“翻译”流畅而直接,是因为我们天生拥有这样的能力:我们不用嘴巴也可以表达,不用耳朵也可以理解。我们能通过指向物体来引导他人注意力,通过模拟动作来加强叙事效果,通过有节奏的敲击以示强调,甚至只用简单的手势就可以完整地回应别人。


用动作来丰富交流是人类的普遍习惯,但不同文化中的动作细节有细微的差异。比如,在巴布亚新几内亚,人们用鼻子和头来指引,但是在老挝的话,有时就是用嘴唇了。在加纳,用左手指物会触犯禁忌,而在希腊和土耳其,弯曲食指和拇指成圆环状来表示一切“OK”可能会让你惹上麻烦。


虽然示势¹(gestures)极具多样性,但它可以大概被定义为用来重申或者强调某一信息的动作——无论这一信息是否被明确说出。示势是“表征行动(action)”的动作,但它也可以传递抽象或隐喻性的信息。示势是我们很小时就会使用的一种工具,虽然不一定与生俱来;甚至先天失明的儿童说话时也会或多或少调动身体。所有人都如此。然而,很少有人对作为一种现象的示势加以深思——包括它的神经学生物学原理,它的发展,还有它是如何帮助我们理解他人行为的。随着研究人员深入我们的神经联结,他们愈发清晰地认识到,示势引导着我们的感知,就像感知引导着我们的行为一样。


¹译者注:由于“gestures”在本文中的意思不局限于手势,若译为“姿势”也不符合用语习惯,故统一译为“示势”。


内在的示势倾向


苏珊·高登米德(Susan Goldin-Meadow) 是公认的示势研究领域巨擘。然而她说,当自己在70年代刚开始对示势产生兴趣时,“根本没有相应的研究领域”。研究过示势的人不少,但他们几乎都只是在非语言性行为研究时略微触及到。而高登米德从那时起就把研究核心聚焦在示势对于学习和语言创造的作用,包括没有手语学习经验的盲童自创的示势系统(与一般的示势不同,手语构成了一种高度成熟的语言系统)。她现在是芝加哥大学的教授,并在那里主管示势产生与感知研究领域最重要的实验室之一。


“示势是通往未言明思想的一扇美好的窗户,而且未言明的思想往往是最有趣的。”她一边说着,一边自己做出各种示势。


苏珊·高登米德(Susan Goldin-Meadow),芝加哥大学心理学教授。她帮助创建了现代示势研究领域,并终身致力于探索示势对于学习和语言创造的意义。

Robert Kozloff/University of Chicago


许多曾与高登米德合作过的科学家如今也在其他学校或机构研究类似的问题。米丽安·霍瓦克(Miriam Novack)于2016年在高登米德的指导下完成了博士学业,现在她是美国西北大学的一名博士后,致力于研究示势在人的一生中是怎样发展的。


诺瓦克告诉我们,多数报道称人类是唯一会用肢体指示的物种。连黑猩猩和猿类都没有这种能力,除非被人类抚养长大。然而,人类婴儿通常在开口说话前就能够指向物体,并且我们产生和理解符号性动作的能力会和语言能力不断协同发展。在课堂上示势也是很重要的工具,它可以帮助儿童将动词推广到新语境或解决算数问题。“但是,” 她说,“我们并不清楚儿童从何时开始理解这些手势动作的沟通性,理解它们是信息的一部分。”


当孩童找不到词语来表达自己的想法时,他们用手来交流。诺瓦克研究了各个年龄段的婴儿(最小的仅18个月),并观察到了他们从动作中推出意义的能力是如何随年龄增长的。成年人能自然地完成这一过程,因而我们很容易忽略将意义映射到手势形状及轨迹上其实绝非易事。


示势或许只是简单的动作,但是它们并不孤立作用。研究表明示势不仅强化语言表达,而且能帮助人们习得语言。事实上,二者很可能共享了一部分神经系统。在人生历程中获取的有关示势的经验,或许也能够帮助我们直觉出他人动作的意义。但是,到底是单独的细胞还是整个神经网络调节了我们的破译他人行动的能力,依然是个悬而未决的问题。


语言是一种本能?

小孩子学习语言的速度之快令人惊叹,语言学家曾认为,大脑天生就自带了一套普遍语法操作系统,学习语言的过程其实是将这些预置的规则逐一激活。然而,他们有可能错了……


相关阅读 → 


具身认知


语言学和认知科学领域的巨擘诺姆·乔姆斯基(Noam Chomsky)一直认为语言系统和感觉运动系统是不同的实体——这两个模块在示势交流中不需要协同工作,即使语言和感觉都是传递和破解符号性思想的方式。鉴于科学家目前尚未完全理解大脑是如何组织语言的,也不清楚哪些神经回路负责从示势中推出意义,我们很难断言乔姆斯基的观点正确与否。但是很多科学家,比如佛罗里达国际大学的副教授安东尼·迪克(Anthony Dick),就认为这两种功能部分依靠着相同的大脑结构。


佛罗里达国际大学的神经科学家安东尼·迪克(Anthony Dick),他发现了示势和语言部分依赖于相同大脑结构的证据。

Florida International University


通过fMRI扫描大脑活动,迪克及其同僚指出,解读那些与语言同时产生的示势时,我们大脑的语言处理中心不断工作着。至于哪些区域相关、激活程度如何,则随着年龄变化,这说明青少年的大脑仍在打磨示势与语言的整合技能,同时也改进着不同脑区之间的联结。用迪克的话来说,“示势实际上是广义语言系统的支柱之一”,它整合了语义处理区域和感觉运动区域。但是我们在何种意义上能说:语言感知本身是一种运动感觉体验,是一种同时依靠运动和感觉经验的认识世界的方式呢?


当曼努埃拉·马其顿尼亚(Manuela Macedonia)刚取得语言学硕士学位时,她发现她在林兹大学教意大利语时有一种稳固的模式:不管学生们重复了多少遍相同的词语,他们始终磕磕巴巴说出不一句完整的话。就算抄词组抄到地老天荒也无济于事。“他们听力水平很高,” 她说,“但是他们没法开口。”


她的教学方法是照本宣科式的:她让学生听、写、练习并重复,遵照乔姆斯基的理念,可惜这并不奏效。还是缺了点什么。


如今,马其顿尼亚在林兹大学信息工程研究所担任高级研究员,同时也在莱比锡大学马克斯·普朗克人类认知与脑科学研究所工作。她正逐渐构建一个与迪克的想法类似的假说:语言绝不是模块化的。


曼努埃拉·马其顿尼亚(Manuela Macedonia),马克斯·普朗克人类认知与脑科学研究所的研究员。她证明了有关示势的经验通过联系动作和感知经验,能够丰富我们对语言知识的理解。

Sabine Kneidinger


在儿童学习母语时,马其顿尼亚称,他们利用整个身体来汲取知识。比如,类似“洋葱”这样一个词和五种感觉都紧密相关:洋葱有着圆鼓鼓的外形,纸一样的外皮沙沙作响,味道有些刺鼻,而切开后散发出让人流泪的气味。即使像“喜悦”这样的抽象概念也具有多重感官要素,比如微笑、大笑、欢乐地蹦跳。认知在一定程度上是“具身”(embodied)的——大脑的活动可以被身体的行动和体验改变,反之亦然。难怪学生只是听、写、练习和重复的话是记不住生词的,因为他们的口头经验被剥离了感官联系。


马其顿尼亚发现,在学习新单词时做出语义相关的示势加以强调,学生们的运动脑区就被调动起来,回忆水平也提高了。可别只是简单重复“桥”这个单词:边记忆边用手比划一个拱形。拿起行李箱,弹起吉他!这样做可以激活大脑的记忆系统,因为单词是生命长河中一簇簇经验的标签。


多感觉学习使得像“洋葱”这样的单词不止存留在大脑的一个区域,而是分散在整个神经网络中。如果一个节点因长期不被激活而衰退,另一个节点能够恢复这一记忆,因为节点之间都紧密相连着。“节点与节点之间没有秘密。”马其顿尼亚说。


笛卡尔错了:“他人在,故我在”

具身认知和生成认知的领域开始严肃对待自我的对话模式。


相关阅读 → 


由经验连接


示势丰富语言表达的能力或许只体现出示势整合于感官经验的方式之一。越来越多的研究表明,不仅是语言和示势,动作产生和感知其实也交织在一起。特别地,伊丽莎白·韦克菲尔德(Elizabeth Wakefield)称,过去做出示势的经历,会影响神经系统对同一动作的观察和理解。


芝加哥洛约拉大学的神经科学家伊丽莎白·韦克菲尔德(Elizabeth Wakefield)。她是最先使用脑扫描来研究儿童和成人示势感知的发展的科学家之一。

Rebecca Silton


韦克菲尔德也曾师从高登米德,她如今是芝加哥洛约达大学的助理教授,并主管自己的实验室。她致力于研究日常行动是如何辅助学习并影响认知的。但是在能够深入探究这些问题之前,她需要知道示势处理机制是如何发展的。2013年,还是研究生的她曾与神经科学家卡林·詹姆斯(Karin James)共事,并进行了用fMRI探索儿童和成人的示势感知的开创性研究。


当被试观看一位演员边讲话边比划的视频时,他们活跃的脑区不只有视觉和语言处理区域。与运动经验有关的脑区也很活跃,尽管被试躺在扫描仪里一动不动。而且,成人的这些脑区相较于儿童更加活跃,韦克菲尔德认为这是因为成人有更多做出相似动作的经验。(儿童说话时通常较少用到示势。)


“据我所知,我们是最早开始研究示势理解的发展历程的,”韦克菲尔德说,“虽然示势处理发展研究的体量很小,但这些成果对于我们将如何理解示势塑造学习具有重大意义。”



除了韦克菲尔德的研究,示势感知与目的性动作具有相同神经基础这一观点还有别的证据。许多实验在芭蕾、篮球、弹吉他、结绳甚至读乐谱等活动中揭示出一种类似的动作“镜像”(mirroring)现象。在每种活动中,当“专家”观看别人进行自己熟练的那种活动时,他们的感觉运动脑区相较于“门外汉”被试们更加活跃。


(奇怪的是,有些实验得出了完全相反的效应:专家们在观看别人做他们所熟悉领域的工作时,他们的大脑反而不及普通人活跃。但是研究人员认为这些实验应该这样解读:经验让他们的大脑能够更高效地分析运动。)


高立德大学助理教授罗娜·柯万特(Lorna Quandt)致力于研究失聪与听障人群中的动作镜像现象。她采用了一种精细的研究方式,把示势分解成了各种感觉运动元素,并通过EEG观察到那些做出特定行动的记忆改变了我们预测和感知他人示势的方式。


罗娜·柯万特(Lorna Quandt),高立德大学助理教授兼动作与大脑实验室主任,主要研究关于某些动作的经验如何影响我们对他人示势的感知。

Connor McLaren


在一项实验中,柯万特和同事们先让一组成年被试操纵一些颜色、重量各异的物体,再让他们观看一段视频,视频中的男人与同一些物体互动。研究人员记录了两次活动中被试的脑电图,发现即使视频中的人只是在物体附近做模拟动作或隔空指向物体,被试大脑的反应就像他们自己在操纵物体一样。而且他们的神经活动反映的恰恰是他们自己的经历:不出所料,EEG图像显示被试记忆中物体的轻重影响了他们对演员的行为的感知。


“当我看到你做出某个示势时,我不仅在处理我眼前的景象,我也在对你将要做什么作出预测。”柯万特说,“这一事实能为我们理解行为感知提供深刻洞见。”也就是说我的大脑能预测你的感觉运动体验,即使可能只早了几毫秒。


也许我们从未活在当下,而是永远期待即将抵达的未来

一个充满争议的理论认为,感知、运动控制、记忆等大脑功能,都是大脑通过模拟预期未来,并与当下的实际体验进行比较,才得以实现的。


相关阅读 → 


我们究竟需要多少运动经验呢?根据柯万特的实验,我们只需要一次触觉训练便可成为联系颜色和重量这一简单任务的专家,而阅读书面信息则要求更多经验。


据迪克所称,学界几乎公认即使当我们保持静止观看他人运动时,运动脑区也会十分活跃(这种现象被称为“观察执行匹配”)。但尚有争议的一点是,这些脑区提取他人动作意义的能力究竟能到什么程度呢?而更加悬而未决的是,这种通过感知运动区激活的感觉增强的神经机制是什么?这一活动是由多个脑区协同工作产生的,还是全部归功于某些个体细胞?


镜像神经元还是镜像神经网络?


早在一个多世纪前,心理学家沃尔特·皮尔斯伯里(Walter Pillsbury)就曾写道:“心灵中没有什么尚未被运动解释。”在现代,这一概念以镜像神经元理论(the mirror neuron theory)的面貌复活了。镜像神经元理论假设,我们从示势和语言中汲取意义的能力,可以用关键脑区的某些个体神经元激活来解释。然而人们愈发清晰地认识到,那些关于镜像神经元对日常活动的意义的证据,可能被过度宣传和过度解读了。


镜像神经元理论起源于上世纪90年代。当时一组研究猴子的科学家发现,动物在进行一些目的性运动(例如抓取)时,它们下前运动皮层的特定神经元有所反应;令人惊讶的是,在猴子被动观察实验者做相同动作时,这些细胞也活跃了起来。我们似乎可以据此断言,“观察执行匹配”在个体细胞层面也有所体现。


研究者们提出了一些可能的解释:或许这些“镜像神经元”只是在传达关于行动的信息,帮助猴子选择一种恰当的运动反应。比如,当我向你伸出手想和你握手时,你的自然反应可能是就是模仿我的动作,也伸出手来。


另一种解释是,这些单独的细胞或许构成了“行动理解”(即破解他人动作含义)的基础。也就是说,这些细胞让猴子得以仅靠相对少的大脑计算量,就能把自己的行动和观察到的东西匹配起来。该理论最终胜出了,因为它简洁而优雅地解释了我们何以直觉到他人动作的含义。


随着时间推移,人类也具有类似机制的证据源源不断地出现;人们将镜像神经元与一长串现象联系了起来,包括共情、模仿、利他主义和自闭症谱系障碍等等。当人们发现示势和语言感知过程中相关脑区也有镜像活动后,镜像神经元又被关联到了语言和示势上。


加州大学尔湾分校认知与语言科学教授格雷戈里·西科克(Gregory Hickok)则坚定地反对镜像神经元理论。他坚持认为,几十年前镜像神经元理论的建立者不幸拥护了一种错误的解释。按照西科克教授的说法,镜像神经元值得深入研究,但人们只是狭隘地关注它们对语言和示势理解的作用,反倒阻碍了研究进展。他认为观察执行匹配更可能与动作规划有关,而不是动作理解。


同理心、音乐和镜像神经元的交织

当拥有强共情能力的人们听到熟悉的音乐时,大脑的特定区域会被激活。


相关阅读 → 


甚至连那些运动理解理论的忠实拥趸也开始“踩刹车”了,荷兰神经科学研究所社会大脑实验室主任兼阿姆斯特丹大学助理教授瓦莱丽·加佐拉(Valeria Gazzola)称。虽然支持镜像神经元理论,她承认人们目前尚未明确“理解”(understand)动作究竟是什么意思。“不确定因素和误解仍然存在。” 她说。虽然镜像神经元是认知一大要素,“至于它们是否能解释整件事,我的答案应该是否定的”。


起初,人类身上的镜像现象的大多数证据是借助fMRI、EEG、脑磁成像和经颅磁刺激等技术,在数百万神经元同时放电活动的情况下获得的。后来研究人员开始使用fMRI适应技术(adaptation)进行试验,这样一来就可以分析在特定皮层区域的细胞子群。但是他们很少有机会直接测量人脑中的个体细胞,因而目前仍缺少镜像神经元活动最直接的证据。


“镜像神经元无疑是存在的,”西科克说,“但那些脑成像和大脑激活研究都只是相关性研究。它们无法支持任何因果关系。”


此外,大多数因运动障碍而无法移动或说话的人们(如严重脑瘫患者)仍然能够理解语言和示势。他们不需要功能完全的运动系统(和镜像神经元)来完成那些要求“理解”(宽泛意义上)行为的任务。西科克说,甚至在猴子身上也没有证据表明镜像神经元损伤会导致行动观察能力下降。


鉴于有关个体细胞的观点很难在经验上证实,当今大部分研究者都选择谨慎措辞。比如他们会说,猴子可能有“镜像神经元”,但是人类有“镜像性系统”、“神经镜像性”或者“动作-观察网络”。(按照西科克的说法,甚至连猴子研究也开始转而关注网络和系统的镜像现象了。)


自称对镜像神经元理论态度中立的柯万特,并没有基于自己的EEG实验得出不同经验如何改变个体细胞功能的结论。即便如此,她对人类感觉运动系统部分参与分析处理他人示势“深信不疑”。“我百分百确定这是对的。”她说,“这一点上我不太可能动摇了。”


虽然研究者可能无法精准定位哪些细胞帮助我们用身体来沟通和学习,但是多重感觉系统的相互重合是毋庸置疑的。示势让我们能够表达自我,并且塑造了我们理解和诠释他人的方式。借用柯万特一篇论文里的话来说:“我们透过自我这块镜片,感知他人的行动。”


那么,下次有人用中指问候你的时候,请好好思考一下是什么使得你清楚而敏锐地明白那家伙的意思。撇开别的不谈,你可能会感觉好受些。

翻译:Francine Guo

审校:有耳

编辑:EON,顾金涛

https://www.quantamagazine.org/how-the-brain-links-gestures-perception-and-meaning-20190325/

Raleigh McElvery

科学作家,鲍登学院神经科学专业毕业。麻省理工学院科学传播员。


深读

1

# 精神病学

第一个被诊断为自闭症的孩子,后来怎么样了?

2

# 神经科学

你的大脑会自动擦除记忆,毕竟垃圾太多不值得

3

# 认知科学

安迪·克拉克的意识延展论

4

# 神经科学

大脑是如何为往事铺上时间线的

Messages from the unseen world_

神经现实  | 大脑 心智 认知

神经现实是公益的科学传播组织,专注于神经科学、认知科学、神经病学和精神病学等领域的深度报道和前沿解读。点击“阅读原文”,进一步了解我们。

    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存