查看原文
其他

安迪·克拉克的意识延展论

MACFARQUHAR 神经现实 2018-11-09

用于帮助我们思考的工具,从语言到手机,也许都是心智本身的一部分。

LARISSA MACFARQUHAR

发表于 THE NEW YORKER

意识的终点是否就是世界的起点?意识是否位于脑壳之中、隐藏于皮肤之下,还是说可以向外辐射,从而与它所指涉的事物、空间和其他心智混为一体?要是外部世界的物体,例如一支笔、一张纸和一部手机,也能作为大脑的一部分,发挥与大脑一样的功能,帮助大脑计算或记忆,我们又该如何看待意识呢?你可能会说,那些物体显然不属于意识的一部分,因为它们不位于大脑之中,但那又会产生另一个问题:它们到底在不在大脑中?

 

设想一个名叫因加的女孩,想去纽约现代艺术博物馆。她“询问”自己的记忆,想起博物馆位于第53大道,然后她就往那个方向走去。现在,再设想有一个名叫奥托的阿尔茨海默病患者。奥托去哪里都要随身携带一个便笺本,他会在本子上写下他认为可能会用到的信息。他的记忆力很差,因此,他总是要不停翻看便笺本,查看信息,或者写下新的信息。有一天,他决定去纽约现代艺术博物馆,他知道便笺本中有地址信息,于是开始在上面查找。

 

在因加“询问”记忆或奥托查询便笺本之前,他们脑海中都没能有意识地浮现出“第53大道”这一地址。但要是问起他们,他们都会说,他们知道博物馆在哪里——就好像如果你问某人是否知道现在几点,她一定会说知道,然后看看她的手表。那么,因加的“记忆”与奥托的“便笺本”又有什么区别呢?你也许会说,因加总是能通过大脑想起地址,而奥托不可能总是求助于便笺本,他不可能把它带进澡堂,不可能在暗处看见文字。但因加也不总是能想起地址——当睡着的时候,或者喝醉的时候,她就无法做到这一点。

 

安迪·克拉克(Andy Clark),爱丁堡大学的哲学家和认知科学家,相信因加和奥托、记忆和便笺本之间,没有本质上的区别。他相信,意识延展到了外部世界,并时常与很多设备交织在一起。但这肯定不是一个事实陈述,因为你显然可以反驳这一看法。不,这种看法更多地属于思考人类这种动物的一种方式。克拉克拒绝这样一种观点:人完全由其自身构成,可以与外界隔绝,而不需要外界的帮助。

 

Alma Haser

 

既然大脑的构造非常相似,为何人类的意识与其他动物有如此大的差别呢?他认为,差别在于人类具有一种很强的能力,能够把技术和工具整合进我们的思维之中。如果不会使用这些工具,我们就不可能有今天这样的思维能力。如果我们不理解这一点,他写道,只是因为我们一直被偏见所俘虏——“无论我的意识指涉了什么事物,它们必定只存在于我的生物皮囊之中,位于我们先祖就已有的皮肤和头骨之中。”

 

克拉克认为,奥托例子存在一个问题:只有在大脑没有正常运转的时候,意识才会延展,而这时大脑肯定是需要外物辅助的——便笺本就像是认知方面的助听器。反过来,这又意味着,一个人的意识如果高度依赖于辅助设备,那他要么肯定是一个病人,要么肯定是科幻小说中的罕见而奇怪的混合生物——半机械人(Cyborg)。但事实上,他认为,从本质上讲,我们所有人都是半机械人。没有外部世界的刺激,一个婴儿既不能学会听,也不能学会看。在人的一生当中,大脑是通过回应外部环境才得到发育和连接的。任何将语言作为思考工具的人,就已经将外部设备整合进了他内在的自我,并从这一内在自我出发,与外界产生更多的连接。

 

在克拉克看来,这是一件很美妙的事情。如果能促进人类更好地思考,这样的设备和物体越多,他就越高兴。比如,他喜欢聪明的在线购物算法所提出的购买建议,他是谷歌眼镜的忠实粉丝。他梦想着未来他的冰箱可以下单买牛奶;他的衬衣能够监测情绪和心率;某种神经手机能够连接到他的耳蜗神经元;一个微型麦克风可以植入他的下巴,能够让他毫不费力地与人打招呼。曾经有一天,他的笔记本电脑丢了,他顿时觉得手足无措,就像中风一样软弱无力。但这并没有让他后悔对设备产生了依赖,就像他不可能因为大脑前额叶有受到损坏的可能,而后悔自己有大脑前额叶一样。

 

意识延展论的影响力已经超出了哲学领域,以至于60岁出头的克拉克,已经是现今论文引用率最高的在世哲学家之一。他的思想为认知科学领域(神经科学、心理学、语言学、人工智能和机器人)的不同学科,甚至为其他领域提供了灵感。有些考古学家现在认为,当他们挖掘消失的古文明遗迹时,不仅仅是在重新修复古物,更是在重新思考古人的心智。有些音乐理论家认为,弹奏乐器就是将物体整合进意识和情绪,聆听音乐就是走进了一个更大的认知系统,那个系统是由大量的物体和人所构成的。

 

克拉克不仅否认封闭自我的观念,他甚至厌恶这种观念。他是一个社交动物:一个优秀的合作者,一个团体的召集人。他在讲述自己学术生涯的故事时总会谈到其他人:他参与到他们的对话中,他阅读他们的文章,他与同事共事,同时,他们也参与到他的谈话中,他们也阅读他的文章。他们的生活和思想是与他交织在一起的。他的大门总是敞开的,他的边界总是不设防的。这也许是因为,他就是那样一类人,既欢迎延展的心智,又能第一时间意识到它的存在。显然,在他看来,你理解自己的方式和你与世界的关系不仅仅事关哲学争论:你的生活体验塑造了你对真实世界的期待和希望。

 

····

 

克拉克试图在他所做的每一件事中寻求与世界的融合。他的大多数汽车都是敞篷车,例如1965年的“凯旋使者”(Triumph Herald)、1968年的“福特雷鸟”(Ford Thunderbird)和1971年的“MG侏儒”(MG Midget)。“在艳阳天,或者没下雨的天,如果我不能打开天窗,我就感觉自己像是陷在了车里一样。”他说,“我很害怕别人看见敞篷车里的我就像看见了一个傻逼似的,所以关键是要选对车,车一定要怪异,而不要漂亮。”他喜欢电子音乐,他最喜欢做的一件事情是跳舞。“我喜欢充满硬科技设备的舞会上那种活力四射、挥汗如雨的氛围。”他说,“我喜欢能在灯海、肉林、乐池中完全失去自我的那种感觉。”任何跟他去过夜总会的人都能发现,他与外部世界的关系是很紧密的。“在喝了些酒之后,安迪的个性完全展现了出来。”纽约大学的哲学家大卫·查尔默斯(David Chalmers)说道,“在那个时候,他是如此和蔼,如此可爱,他真正做到了天人合一——一切都是那么美妙和谐!我认为那就是他真实的性情,白天清醒而克制的他只不过是自身的复制品,等待着真实的自己在这一场合彻底释放。”

 

克拉克又高又瘦,走起路来一蹦一跳的,就像沙鸥一样。他的发型像朋克鲻鱼,头顶的头发尖细而灰白,后脑勺的头发则有些长,是粉红色的。他还喜欢奇装异服,最近他便以大卫·鲍伊在Space Oddity时期的造型参加了某生日宴会。甚至在办公室,他的衬衣设计也是夸张而迷幻的,那是属于一个深爱着这个世界的男人的衬衣,它的张扬只是略微被他黑色的连帽衫、牛仔裤和靴子所压制。10年前,当他有些不情愿地同意担任哲学系主任时,他在自己身上刺了一个连环画风格的深海主题的大纹身。

 

认知科学解决的是一个哲学问题——什么是意识?心智与身体是什么关系?我们如何感知和理解外部世界?但它的方法是经验研究而不是理性论证。认知科学界之所以认可克拉克,是因为他不是那种呆在自己办公室独自沉思的哲学家,他喜欢访问实验室,琢磨科学实验。他不会亲自去做实验,他认为自己扮演的角色就是,从不同地方搜集想法,然后把它们整合进一个更大的可以自洽的理论框架。在物理学界,既有实验物理学,也有理论物理学,但基本上没有理论神经科学家或理论心理学家——大多数情况下,你必须要做实验,否则你连工作都找不到。因此,哲学家可以在认知科学领域扮演理论家的角色。

 

他意识到,大多数人倾向于用他们自己有意识的心智来定义自己。这是有一定道理的,毕竟,这样的自我是每个人都能理解的。然而,关于认知,问题没这么简单:隐秘的心智机器(大脑),像一个硕大而静默的洞穴,里面充满了各种管道、突触和电冲动,如此之多无意识的系统和通路,像变戏法一样通过连接促成了电化学反应,从而产生了自我。他花了职业生涯的大部分时间来探索意识产生的机制,也即是认知产生的物理和化学原理。这些基本的物质,有的很古老,可以在遥远的人类祖先和其他哺乳类动物身上找到,有的却很独特,才形成不久;当你思考它们时,意识似乎只是一种表面现象,就像电脑的用户界面,遮蔽了其背后真正的工作机制。

 

····

 

30年前,克拉克听说一个名叫列夫·维果茨基(Lev Vygotsky)的苏联心理学家写了一部著作,探讨孩子是如何通过外部世界的各种“脚手架”——老师的帮助、父母在生理上的抚养——来学习知识的。克拉克开始思索,成年人的思考事实上也经常需要得到大脑之外的事物的辅助。没有笔和纸,或者能实现相关功能的电子设备,很多类型的思考是不可能发生的,比如复杂的数学计算。写文章通常是在电脑屏幕或纸张与大脑之间往复互动:写出一些内容,读出这些内容,再思考这些内容,再修改。这一过程与画画很相似。他对这些例子思考得越多,越是发现,把那些外部设备称为“脚手架”低估了它们的重要性。事实上,它们是某些思考方式的内在组成部分。因此,如果思维能够延展到大脑之外,意识也可以做到这一点。

 

他写了一篇题为《意识和世界:打破有形的界线》(Mind & World: Breaching the Plastic Frontier),然后把它拿给大卫·查尔默斯看,当时的查尔默斯还是一个年轻的博士后研究员。查尔默斯认可他的观点,在文章中到处标注了笔记之后,把论文还给了克拉克,并鼓励他扩展对认知的看法。查尔默斯认为,克拉克的观点不仅适用于没有生命的物体,也适用于人类。“你需要为你的观点取一个漂亮的名字,”查尔默斯写道,“‘附随性外部主义’(Coupled externalism)?或者‘延展的意识’(The Extended Mind)……或者符合你观点的术语。”克拉克很喜欢查尔默斯的评论,决定与他一起重写这篇论文。他们紧密合作,最终完成的作品让他俩都觉得,这是意识延展论本身的一个绝佳案例。他们把论文题目取为《延展的意识》(The Extended Mind),作者是安迪·克拉克和大卫·查尔默斯,并附上了一个注释:作者排位顺序是根据对本文观点的认同程度来决定的。

 

当这篇论文在1995年刚开始流传时,很多人觉得它简直太荒诞了。然而,这么多年过去了,更强大的设备已经出现,人们开始依赖智能手机提升或取代越来越多的心智功能。克拉克注意到,意识延展论已是再明显不过的事实。那篇论文也成为自它发表之后的10年内被引用次数最多的哲学论文。哲学家内德·布洛克(Ned Block)戏称,意识延展论在1995年还是错误的,但现在变得正确了。

 

论文发表后,克拉克逐渐意识到,意识延展论也能应用到伦理领域。如果一个人的思想与她所在的环境具有紧密关系,那么破坏一个人的环境,其危害和不义就像是攻击了她的身体一样。如果某些类型的思考需要像纸和笔那样的工具,那么,得不到工具就会让人变得残弱无能,就像是大脑受到了损伤。而且,通过强调每个人如何由其所处的环境来完全决定,意识延展论还表明,残疾人对于辅助斜坡的依赖与每个人对于环境的依赖没有什么本质区别。有些学者就认为,“残疾”通常与人的生理特征无关,而更多地与无法满足人们需求的环境有关,意识延展论有力地支持了这一看法。

 

克拉克意识到,半机械人这一物种面临潜在的风险。算法对推荐音乐很有用,但也能以一种恐怖的方式侵入我们的世界。一方面,我们的心智总是在与这个世界发生着融合;另一方面,被误用的算法有可能会彻底侵犯我们的隐私。不过,他认为,这也许是件好事——隐私通常是不可告人的秘密,这些秘密的传播会让人类多样性变得更有能见度,从而可以让人们更好地接受这种多样性。“随着民众生活的能见度越来越高,我们的日常道德和预期也需要发生变化和转换。”他写道,“我认为真正的隐私契约应该是指,真正民主的国家必须确保公共空间变得更自由、更开放。”对此,他很乐观,认为最终会实现这一目标。“有些人担心,(现代社会)让人们越来越封闭和孤独。”他写道,“但我预计,社会只会变得越来越开放和复杂。”

 

他还不想成为字面意义上的半机械人——就目前而言,他很满意于那些可以与身体相分离的设备。对于自我与世界的融合,真正重要的是将事物整合进心智,而不是身体。不过,他觉得凯文·沃威克(Kevin Warwick)很酷,他是英国雷丁大学自动控制系的教授,绰号叫“赛博格船长”。沃威克在自己的左臂植入了一个芯片,可以发射无线电讯号,随着他位置的移动,他办公室的大门、电灯和取暖器便会自动开启和关闭。在沃威克看来,他与他私密的小世界已经融为一体,并成为了更和谐、更协调的大世界的一部分。这种感觉令人如此愉悦,以至于他发现他已经很难从身体里取下这些芯片了。

 

Kevin Warwick

推荐阅读《超人类的崛起:当人与机器融合》

 

随后,在纽约,沃威克将新的更复杂的设备植入了自己的胳膊,将手腕和手掌的神经纤维与电脑连接起来。在雷丁大学,他能够通过互联网控制机械手臂,让它缩回,他甚至有机械手臂在触摸东西时的那种触感。受到这些实验的鼓舞,沃威克说服自己的妻子艾雷娜(Irena)也在自己的胳膊里植入设备,从而在两个人的神经系统之间创造纯粹的电子交流。这种机制仍是通过互联网完成的,而这只是通向心灵感应的第一步,他说。

 

很多人很看不惯沃威克的做法,认为他是一个哗众取宠的人,但克拉克喜欢他做一个半机械人的野心,喜欢他融合心灵与世界的欲望,那种融合程度甚至比他现有的程度更大。他尤其对沃威克心灵感应的想法感兴趣。他想知道,心灵感应术能走多远?两个人之间可以亲密到什么程度?两个大脑能以这种方式连接起来,协作完成一项共同参与的行为吗,比如,跳舞?这似乎是很有可能的。毕竟,大脑由两个半球构成,半球之间是厚密的神经纤维束(胼胝体)。研究已经证明,大脑的可塑性极强,甚至在人生的末段也是如此。“谁能知道,”他写道,“会有什么新的人际交往术和神经电子感应术出现呢?”

 

····

 

克拉克与女友阿列克萨·摩尔康姆(Alexa Morcom),一位研究记忆的认知神经科学家,住在一套有上下两层、具有旧式爱丁堡风格的大联排别墅中。当他第一次见摩尔康姆的父母时,他很兴奋地发现她的大伯是克里斯托弗·摩尔康姆(Christopher Morcom),计算机科学创始人之一阿兰·图灵(Alan Turing)的第一个同性爱人。克拉克和摩尔康姆的房间堆满了很多小型塑料制品——《星际迷航》中穿着小短裙的动作玩偶、微型机器人、中型机器人;《神秘博士》(Doctor Who)中名叫戴立克的机器人、玩偶、人体模特的躯干,以及书架和堆放老唱片和DVD的架子。客厅里有一个落地式大摆钟,一个芭比娃娃坐在玻璃后面,而那是以前大摆钟所在的位置。客厅的电视旁边有一对人体模特的双腿。在沙发背后,矗立着一棵将近有一个人那么高的棕榈树,它由一串绿灯组成,曾经摆放在克拉克很喜欢的按摩浴缸旁。那个浴缸是他在美国印第安纳大学教书,住在伯明翰时的家用设备。他知道在爱丁堡的家里没法安装按摩浴缸,于是就把棕榈树带了回来,权当作按摩浴缸的纪念物。

 

在两层楼的楼梯平台上,放着一些代表着“空”的物品——一个佛头和一些石头。摩尔康姆经常冥想,而且还会闭关修炼。克拉克试过几次冥想,但发现自己坐在那里一无所获。

 

他绝对不是“一切皆空”的那类人。他喜欢各种物件——他欢迎它们进入它的意识和房间。他喜欢技术,喜欢古董,喜欢几乎所有过时的技术。他最喜欢的电影是《妙想天开》(Brazil),一个发生在未来的浪漫故事,片中使用了大量友善的逆向技术来为人类提供自动化服务,比如,自动文件夹移动机和自动早餐制作机。几年前,他在洛斯阿拉莫斯(译者注:美国国家科学实验室)做了一次演讲,然后来到一家出售大量旧式科研设备的名叫“黑洞”的商店,这些设备是老板从国家实验室收购的。商店老板曾是核武器技术专家,后来成为了和平主义积极分子。克拉克完全被这些设备迷住了——“第一代重型计算机……阴极射线管……灰色的、很重的、上面带有很多红色按钮的金属盒(很像办公室的文件柜),盒子上贴着“紧急”字样的标签。这些设备,他能带走多少,就买了多少。后来他回忆说,其中包括“两个黑盒子,里面充满了神秘而发光的电子电路”。

 

克拉克很幸运,在家居装饰问题上,摩尔康姆跟他有着同样的品味,她也是一个喜欢穿奇装异服的人,但他们的工作风格却迥然不同。

 

“我更像是一个批评家。”摩尔康姆说。

 

“你更像是一个专门针对我的批评家。”

 

“我所在的领域有很多种观点,但我是那种对各种观点都持开放态度,愿意检验它们,看它们是否有效的那种人。”

 

“我认为我更像是一个整合者。”克拉克说,“我喜欢观察各种事物,然后思考是否能将它们整合进一个统一的理论,这个理论能解释的人类现象越多,我越喜欢。但我想这就是科学的工作方式吧:有些人喜欢构建一个理论,看它能解释多少现象;而另一些人则喜欢质疑,反驳前者。我就是那种喜欢搜集信息、构建理论的人。”他能与那些批评他观点的人相处得很好。毕竟,他很感激他们能就他的论文写反馈意见。

 

“没有批评,你的工作就没有意义。”他说。

 

“确实。”摩尔康姆说,“这意味着没有任何人关注你的研究成果。但在科学界,在公共场合批评别人的研究成果是一件很有争议的事情。有很多次,我看到有人在台上演讲,听众在台下听,讲的内容纯属胡说八道,数据也绝对有问题,但没有一个听众指出来。”

 

克拉克成长于南伦敦的工薪阶层社区。他的父亲是一个喜欢数学的警察,他的母亲是一个为当地报纸撰写诗歌和文章的全职主妇。克拉克是家里的第一个大学生。让他上大学的想法是一个牧师建议的。他的父亲认为当一个海关或税务职员是个不错的职业选择。小时候,他读的大多数书籍都是漫威的漫画书。他对于普通的小说没什么兴趣。跟有些人一样,小说中的文字无法调动起他大脑中的意象,而漫画都是些鲜明的图片,直接呈现在纸上。

 

当他进入位于苏格兰斯特灵的大学时,他本来打算学法国文学,在高中时,他很喜欢读萨特和加缪的作品。但在进入大学后不久,他就对哲学着了迷。他发现,他很擅长逻辑思维,当他意识到学哲学可以让自己谋生时,他就继续攻读心灵哲学博士,并与两个售卖《社会主义工人报》(Socialist Worker)的人住在伦敦道格斯岛上一所丑陋的公寓里。

 

1980年代初,在拿到博士学位后,他在格拉斯哥大学获得了一份临时教职,讲授如何证明上帝的存在。他对上帝存在这个问题并不感兴趣,但那就是他职业生涯的开始。同时,他在晚间课堂上教授心灵哲学和人工智能,并开始阅读有关GOFAI(Good Old Fashioned A.I.)的著作。通过用符号系统为计算机编程,GOFAI创造了一种智能机器,并用算法来操控这些机器。GOFAI在解决某些问题上是非常成功的——那些需要逻辑和精确思考、而由人类来完成又很困难的问题。但这与你在真实的动物身上所发现的意识还是有很大区别的。人类有能力处理逻辑问题,但通常只有在纸和笔的帮助下才能完成。于是,他开始思考,GOFAI是否犯了方向性的根本错误,原以为认知只是大脑本身的产物,但其实是需要工具辅助的

 

那个时候,用符号系统构建的AI与动物认知之间的差异似乎并不必然是一个大问题。GOFAI的工程师并不试图制造出动物,他们只是想要制造出智能物体。他们的想法是,意识是一种软件,而身体和大脑是硬件,因此原则上没有理由认为,认知不能由一种不同类型的硬件产生出来——比如说,由硅基材料构成的机器,而不是由碳基材料组成的肉体。正因为如此,你就不需要动物身上的器官了——胳膊、大腿、肺、心脏。在这一观念背后隐含着这样一种没有明说出来的愿望:如果你可以把意识上传到电脑,那么意识就能被保存,它的所有者就会实现永生。


所谓的AI,很大程度上不过是运用了计算机不断增强的计算能力,而采用这条路径注定是错误的。



克拉克认为,想象心智的产生不再依赖于肉体,是一件令人振奋的事情,但这对GOFAI提出了太高的要求,它必须得非常聪明才行。尽管符号主义的AI系统很强大,但它也相当脆弱——哪怕出现一个小问题,就无法正常运转。两年后,还是在1980年代,他听说了AI出现了一种新的方法,叫联接主义。联接主义者采用了一种不同的设计方式,也即是模拟人类神经元的运作过程。每一个神经元都很简单,而且能响应相邻的神经元信号,这些信号整合在一起就在大脑中产生了复杂的意识。工程师试图用人工神经网络取代符号系统,后者只不过是一种指令式的语言,从而想知道人工神经网络是否能够从非常简单的东西开始,进行自我学习。事实上,这种新的神经网络要比符号系统灵活和稳定得多——它能够从障碍和噪音中恢复过来。由于它同时以多种并行的路径运作,而不是以单一序列运作,它的运行速度也要快得多。

 

人工神经网络似乎比GOFAI更接近于人类认知,刚开始,这让克拉克感到异常兴奋。但尽管联接主义者的愿望很美好,结果却令人失望。“1950年代的科幻小说和1960年代的科学新闻中承诺的人工智能在哪里呢?”他写道,“为什么我们最好的人工智能,其愚蠢程度还是难以形容,令人绝望?一种可能性是,我们完全误解了智能本身的性质。我们把智能想象成了一种使用一系列清晰的数据来做出逻辑推理的设备——一种逻辑机器和文件柜的结合物。”他认为,所谓的AI,很大程度上不过是运用了计算机不断增强的计算能力,而采用这条路径注定是错误的。

 

他开始相信,如果想要搞清楚智能是如何工作的,你就总是要记得,智能的出现最初是从完成具体的任务进化而来的:逃脱捕食者,结识伙伴,寻找食物。换句话说,心智最初的任务是想控制身体。纯粹思维的观点从生物学的角度来讲不合逻辑:认知总是具身的。在AI发展的早期阶段,智能被认为是一种解决问题的能力,这些问题在AI研究人员看来是很有难度的,比如,证明定理,下象棋。而小孩子很容易做到的事情,比如,走路不撞到墙,或者区分填充动物和桌子,则完全不被认为是智能的体现。然而,一旦研究人员开始制造机器人,他们才发现,让机器人具备小孩走路的能力是一件极其困难的事情,比下棋还难。

 

····

 

上世纪九十年代中期,当克拉克在圣路易华盛顿大学教书时,他决定也要造一些机器人来帮助他思考。他一直都很喜欢机器人——这种神秘的机器行动起来就像鲜活的生命一样。他的机器人很简单,很容易造出来:它们看上去就像是车轮上放了几个小的甜甜圈。但是,对于机器人来说,简单并不总是一件坏事。实际上,简单具有难以想象的价值,这是从机器人学中引申出来的最重要的原则之一。

 

几年前,克拉克看了一部名叫《欲焰狂流》(Elmer and Elsie)的黑白老电影。Elmer和Elsie是美国发明家威廉·格雷·沃尔特(William Grey Walter)于1940年代用真空管、电动机和安装了老式计量表的齿轮制造出来的两个小机器人,它俩如乌龟般大小,移动速度也很缓慢。他专门设计了与乌龟一样的外壳,让它们看上去更像是乌龟,只不过头顶上还安装了感光器。这两个小机器人只能做有限的事情:它们被指令朝有光线的地方移动,当它们碰到障碍物时,会进行随机移动,直到找到前进的方向。尽管它们的机械原理非常简单,但令人惊讶的是,它们的行为却很难预测。由于沃尔特让它们身处的世界过于复杂,它们的行为也变得复杂起来。它们似乎就像动物一样,你甚至可以用拟人词汇来描述它们的行为:搜索、犹豫、绕圈、逃跑。


William Grey Walter和他的机器乌龟


之后,机器人变得越来越复杂。在1960年代,斯坦福大学的一群人设计了一款与人同样大小的机器人,名叫谢克(Shakey),它可以绕开障碍,执行指定的任务,比如,将一个木块从一个房间推到另一个房间。谢克身上有一个摄像机,由一台远程计算机控制,该计算机预装了一套完整的谢克所在世界的二维地图。此前的Elmer和Elsie非常无知,只能以一些简单的方式应对它们所遇到的障碍,而谢克则可以一步一步地仔细谋划自己的行程。在移动了一小段距离之后,或者在遇到了一个障碍物时,它会停下脚步,呆上几分钟,同时它的计算机“大脑”消化由摄像机发送给它的位置信息,计算下一步走向。谢克比Elmer和Elsie更聪明,但也更刻板,反应速度更慢。它的行为完全不像动物。如果一个动物需要停下脚步,为接下来的行进方向思考五分钟,那它一定是一个死动物。

 

Shakey | 来源: SRI.


在圣路易斯,克拉克开始阅读与机器人学有关的著作。他发现,一个名叫罗德尼·布鲁克斯(Rodney Brooks)、在麻省理工学院工作的澳大利亚籍机器人学家与他持有同样的观点:也许,试图通过安装设备让物体变得更聪明,是一条错误的路径。正确的方式也许应该是设计一种能够逐渐进化的智能物体,就像孩子一样——从看和走学起。很多类型的智能,甚至是那种可以证明定理和下棋的智能都是从最基本的技能(感知、移动控制)产生出来的。尽管制造了一个名叫艾伦的机器人,但布鲁克斯认为,给它安装感知设备的最好方式,就是根本不去安装这样的设备。艾伦比Elmer和Elsie更复杂,它被一个具有层级架构的程序所控制,更高层级能够指挥更低层级,它要完成的目标有三个:回避障碍物、随机游走、计算距离。但与谢克不同的是,艾伦不知道朝前走是什么意思,它也不会做出任何规划,只是见招拆招。


Rodney Brooks和他的机器人 | 来源:Boston Magzine


艾伦以及之前的Elmer和Elsie,让克拉克想到了一种完全不同的心智理论。看到这些机器人在完成简单目标的过程中如此笨拙,他意识到,认知没有那么简单,不是由位于大脑中的高级中央规划者发出指令,然后大脑下面的身体做出相应的回应就搞定了。在响应身体遇到的紧急情况时,中央规划过程太笨拙、太缓慢。认知是由相对独立的技能和策略所构成的网络,这些技能和策略是在应对不同的身体需求的过程中逐渐进化出来的。对于AI而言,移动并非是一个很容易实现的低级应用功能,但只要实现了该功能,接下来,把它嫁接到更抽象的逻辑思维之中就万事大吉了。不,行动和思考之间的界线比想象的要更模糊。一个动物不会去想如何移动,它只需要移动就是了。在移动过程中它观察到这个世界,然后形成了自己的想法。

 

····

 

这个世界充满了尖叫声、喇叭声、嗡嗡声、恶臭味、甜味、红色、灰色、蓝色、黄色、长方形、多面体、各种不规则的奇形怪状、冰冷的表面、光滑而油腻的东西、柔软而粘稠的物体、尖锐而锋利的事物,但所有这些东西都能以三维体的形式呈现出来,我们可以记住它们的属性,可以理解它们的用途。但这一切是如何发生的呢?毕竟,大脑本身是不具有视觉、听觉、嗅觉和触觉的。它的周围有一些设备——眼睛,耳朵,鼻子,更远一些的双手,皮肤——它们将外部世界的信息传递给了大脑。但这些设备本身只是传递混杂的信息,它们无法理解这些信息。

 

对有些人而言,感知(传递从外界获取的各种感官信息)似乎就是世界与心智之间的天然界线。克拉克已经在他的意识延展论中质疑了这一界线。在很早的时候,他就知道有一种关于感知的理论,在他看来,这种理论将心智——甚至从最传统意义上去理解的心智——描述为不仅仅是被动应对来自外界的信息,而是主动搜寻这些信息。这被称为“预测处理”。

 

传统上讲,感知被认为是自下而上产生的。比如,眼睛接收到各种视觉信号,然后转化为形状、颜色、维度和距离,这种感官信息一路往上走,到达越来越高的理解层次,直到呈现在你面前的事物被大脑认定为是一扇门或一个杯子。这种归纳叙述听起来似乎是符合逻辑的,讲得通的。但还有很多感知情形,用这种叙述方式就讲不通了,比如,每个人都会有视力幻觉。当你从里面看一张空面具时,外面看上去是凹进去的部分,在里面看上去是凸出来的,但为什么面具看上去还是很像一张脸的样子?或者,当一张照片放在你右眼前——比如说,一张特写的脸——同时,再放一张完全不同的照片在你左眼前,比如一间房子,为什么你不可能同时感知这两张照片,即便你同时看到了它们?相反,为什么你只能先感知其中一张,才能感知另一张,就好像大脑遇到了一个荒诞而不可能出现的情景:一张脸和一间房子具有同样的大小,存在于同一个地方,于是,大脑只好一个一个地去分辨哪个是脸,哪个是房子?

 

如此看来,似乎大脑对于这个世界有着自己的看法:哪些为真,哪些为假?而那些看法比眼睛(以及其他感觉器官)所看到的更真实。那么,感知的运作方式就不仅仅是自下而上了,它首先是自上而下的。比如说,你所看到的不仅仅是眼睛传来的信号,更是这一信号和大脑自己预计这一信号会产生什么样的想法的结合物,有时,大脑的预测甚至起到了主要作用。为什么有些人会把一件衣服看成白色和金色,而另一些人会看成蓝色和黑色?大脑不是直接感知到颜色的:一个有经验的大脑知道,一个物体在阴暗处会比在阳光下看上去更昏暗、更模糊,因此大脑会根据物体所处的情景调整对颜色的感知。(心理学家推测,大脑对于颜色的推测可能是由一个人更多处于阳光下还是处于人工灯光下决定的。)因此,感知不是被动和客观的,而是主动和主观的。某种程度上讲,感知是由大脑产生的幻觉:一个人看上去是受到了现实的影响,但实际上是受到了幻觉的影响。

 

这种自上而下的感知理论事实上已经有超过200年的历史了。伊曼努尔·康德曾经认为,大脑是通过内在的心智概念来理解复杂的感官世界的。1860年代,普鲁士物理学家赫尔曼·冯·亥姆霍兹(Hermann von Helmholtz)也提出过与“预测处理”类似的理论。当亥姆霍兹还是个小孩时,在波茨坦,他路过一座教堂,看到一些小人站在钟楼上,他以为它们是些玩偶,于是叫他母亲上去帮他取下来:他还不能理解距离的概念,而这正是小人看上去很小的原因所在。当他年龄再大点,他的大脑就会很自然地把这一概念整合进他对世界的无意识的认知中去——也即是整合成了一系列的期望值,或者“先验物”,而它们都来自于经验——距离这一概念如此基本,以至于他只能透过它去看这个世界。

 

我们成为一些视觉把戏的俘虏:比如空面具幻觉,或者没有注意到在前一段文字中我故意让“the”这个不起眼的单词在三个地方连续出现两次。这是大脑所付出的必要代价,而大脑对于期望值的控制使得我们对于世界的认知更为可靠。有些精神分裂症和自闭症患者更不容易受到空面具幻觉的影响:他们的大脑不太容易驱除虚假的感知信息。在其他感知方面,他们与常人也有区别。当一个精神正常的人抚摸自己时,会比别人抚摸他时敏感度更低,因为他的大脑已经预测到他要抚摸自己的行为——这就是为什么挠自己的痒不会发笑的原因所在。精神分裂症患者更容易在挠自己的痒时发笑,也更容易产生幻觉,以为他们自己的行为都是外部因素造成的。

 

····

 

克拉克意识到,感知问题的一个困难在于,太有多的感知信号持续涌进大脑,需要得到消化,因此大脑必须做出选择。获取信息本身不是大脑的目的所在,认知世界的原因在于动物需要通过认知来求得生存。出于生存的目的,我们并不需要掌握世界的全景,而只需要掌握有用的部分——能够指导行动的信息。大脑需要知道事物是正常还是不正常,是有用的还是危险的。大脑必须推断所有这些信息,必须做出快速响应,否则它的身体会死掉——掉进洞里、走进火坑、被吃掉。

 

大脑要么预测每样事物都会保持不变,要么预测事物会以可预见的方式发生变化,如果它所预测的事情没有发生,就会产生错误的信号。



那么,大脑究竟会怎么做呢?它会专注于最紧急、最令人焦虑、最令人困惑的问题:那些它没有预料到的问题。大脑并不是每时每刻都会吸收所有新奇的信息,就好像这些信息是它之前从未见到过的事物似的,相反,它只会专注于“新闻”:事物有什么不同,有什么变化,哪些是它没有预料到的。大脑要么预测每样事物都会保持不变,要么预测事物会以可预见的方式发生变化,如果它所预测的事情没有发生,就会产生错误的信号。只要预测是正确的,对大脑来说就没有“新闻”可言。但如果信号与预测相冲突——你的沙发上有一只大狗(你并没有一只狗)——预测错误的信号就出现了,大脑将尽最大努力,以最快速度设想发生了什么偏差(所谓的狗其实只是弄皱了的毛毯)。这一过程不仅处理得很快,而且很轻松——它节省了神经带宽,因为它只利用了它所需要的信息——这种做法从动物生存的角度来讲是很有利的。

 

然而,如何将自上而下的行为预测和自下而上的信号发射整合起来,却并不那么容易。当预测错误的信号出现时,大脑不得不权衡两种相互竞争的事态解释:预测的事态和新信息下的事态。它应该相信哪个解释?它的先验能力(让它可以进行预测的能力)过去被证明是值得信赖的,然而,有时眼见不一定为实。它应该基于新信息相信自己的先验预测吗?(沙发上有一只狗——就在那里!)还是拒绝新信息,因为该信息很有可能是错误的?(狗不可能无中生有地出现在房间里。)大脑需要做的就是判断这种先验预测有多大可能是正确的,新的感知信息有多大可能是正确的,最后在综合两种可能性的基础上得出最终答案。

 

在克拉克看来,预测处理描述了大脑、身体和世界是如何持续互动的,而这种互动是人们在无意识中以一种非常流畅顺滑而又十分协调的方式完成的。为此他写了一本书,名叫《在不确定性中冲浪》(Surfing Uncertainty),冲浪是他对生活的一种比喻:是的,朝你迎面而来的海浪既凶猛、冰冷,又十分危险,但如果你一次次尝试着冲浪,与浪共舞,而不是遇浪则退,并相信你会战胜挑战,你就会放下自我,感受到与世界融为一体的那种快乐。

 

Surfing Uncertainty封面


克拉克是用他乐观的个性来看待预测处理理论的。但一个强调认知不确定性的理论,即大脑必须推测外界发生了什么而非直接吸收外界信息,并不必然是一个统一的理论。相反,在另一个对预测处理理论感兴趣的哲学家、莫纳什大学教授雅各布·霍威(Jakob Hohwy)看来,该理论强调了大脑要理解外部世界有多么困难。克拉克将大脑视为是在轻装前行,只吸收“新闻”,只吸收能指导下一步行为的信息,但霍威则把大脑看成是重型的心智装备,只能处理转瞬即逝的视线或感知。他为一本即将出版的新书《安迪·克拉克及其批评者》(Andy Clark and His Critics)写了一篇文章,其中他提出了与克拉克的快乐冲浪相反的比喻:不死僵尸。大脑就像是被关在了棺材里的吸血鬼。

 

“很多人都觉得,我们离与世界融为一体还差得很远。”霍威写道,“我们被世界包围,而我们还不知道该如何处理感官信息。我们总是在怀疑自己,不断退缩,试图搞清楚发生了什么。对很多人而言,当然也包括我自己,我们都很熟悉一种感觉,那就是社会焦虑。我们一直在从他人的行为中推测行为背后的理由,也即是他人内心的想法,但这些想法隐藏在他人的大脑之中,因此预测是一件非常困难的事情。很多人总是想知道,我冒犯那个人了吗?他们喜欢我吗?他们正在想些什么?我理解他们的意图吗?”对克拉克而言,心智最显而易见的特点是,它的认知方式非常迅捷,而且能完全适应身体需求;但霍威则注意到,大脑经常犯错。“我对精神疾病进行了大量的思考。”他写道,“我们忘了很多人都有这样那样的精神疾病,它们通常被认为是因为大脑内部的运作模式失去了自身的稳定性。1%的人患有精神分裂症,10%的人患有抑郁症,还有人患有自闭症。大脑系统崩溃的频率比我们所认为的要更高。”

 

····

 

2008年,克拉克在《新科学家》(New Scientist)上发表了一篇文章,介绍了据称是关于大脑的统一理论。该理论涉及他一直在思考的预测处理理论,但还涉及更大范围的内容,不仅解释了认知和感知,还解释了由单一机制所产生的行为。克拉克发现,他的新理论已经被伦敦大学学院的教授卡尔·弗里斯顿(Karl Friston,全世界论文被引用次数最多的神经科学家)认可。在神经影像实验中,弗里斯顿设计了一种统计方法来分析大脑行为,但他只是将做神经影像实验看成是自己的日常工作:他只在周末思考关于神经生物学的理论问题。弗里斯顿把他的理论称为“自由能量原理”(the free-energy principle)。弗里斯顿所谓的“自由能量”大约等同于克拉克所谓的预测偏差;弗里斯顿相信,大脑需要将自由能量最小化,或者将预测偏差最小化,大脑所做的一切都是为了达到这个目的。

 

克拉克与弗里斯顿碰了面,并进行了交流。之前,在周末的时候,弗里斯顿一个人在办公室做了大量的理论思考。他的办公室位于女王广场,装修风格参照了詹姆斯·邦德电影中的M办公室——地球仪、摆了几个香槟杯的鸡尾酒桌、挂毯和覆盖了方巾的沙发。他从来没从哲学角度思考过认知科学。“直到我遇到了安迪,”他后来写道,“我才明白什么是哲学。我知道哲学很美妙,就像国家公园、诗歌、乡村游园、历史以及其他事物一样,能丰富我们的生活。然而,我从没真正理解过哲学的科学意义。”

 

但弗里斯顿开始意识到,他很不擅长解释自己的理论。他尝试过,但没人理解他。心理学家和神经科学家不能理解他,因为他们不懂数学——想帮他们都帮不了,而数学家也不理解他。从纽约到墨尔本,有好几所大学组织过读书会和研讨会,试图理解弗里斯顿的自由能量原理,但不可避免地均以失败告终。不可能理解弗里斯顿的理论甚至逐渐成为一种网络文化现象(meme)。一个在西北大学教书的人工智能学者在网上发表了一篇题为“如何阅读卡尔·弗里斯顿(用原始的古希腊文)”的文章。一个名为“Farl Kriston”的推特账户,在一开始的几个月里,引用了弗里斯顿的一些令人费解的话,如“接下来,我们推测,将模型证据最大化的迫切性是(可能是同义反复)不证自明的”,之后的推文则完全像是胡言乱语,如“我想是什么就是什么,不然我为什么那么想?”(译者注:这句推文其实化用了说唱歌手Eminem的歌《The Way I am》里的歌词。)

 

然而,由于将预测处理与他更早之前对具身认知(认知的进化是为了身体和伴随着身体而展开的)的思考联系了起来,克拉克对弗里斯顿的自由能量原理特别感兴趣。弗里斯顿相信,将预测偏差最小化——大约等同于将自由能量最小化——导致身体产生了动作。的确,这种身体行为理论听起来有点奇怪。大脑是如何让一只胳膊移动的?它预测胳膊将要移动。拥有自我感受的感知器官发出了狂乱的错误信号给肌肉,告诉它胳膊不会移动;肌肉通过让胳膊运动解决了这一相互冲突的情况,于是让大脑的预测最终变正确了。

 

在克拉克看来,将身体动作整合进预测处理的心智世界循环是讲得通的,但他对这一理论是否能解释所有心智现象是心存疑虑的。弗里斯顿并不满足于只为人类大脑构建统一理论,他还把他的原理应用到动物、甚至植物身上。他说,在他很小的时候,他就对“融合和简化着迷”:他不仅对神经科学,还对数学和物理学着迷。克拉克则相反,他的世界观来自于进化生物学,生命被视为混乱、临时的过程,随着时间的推移由一点一滴的材料拼凑而成,一个系统进化成另一个系统,并一路伴随着冗余和杂乱。他对简化并不感兴趣,他甚至怀疑简化论——他凭直觉认为,简化论不可能是正确答案。

 

克拉克认为,根本问题在于,他就像一个肮脏的流浪汉,而弗里斯顿则像一个有洁癖的君子。克拉克喜欢多样、丰富、充裕。这不仅仅是因为他相信生物就像是从很多拼凑而成的魔法袋中蹦出来的,他还非常喜欢这种事物存在的方式。然而,弗里斯顿的观点把他拉向了简化论——他现在已经准备接受这样一种看法:预测处理是一种高级的精巧机制,消除了生物意义上的混乱。但他绝不会像弗里斯顿那样妄图构建一个优雅的理论。克拉克告诉弗里斯顿,从性情上讲,弗里斯顿更像冷峻的哲学家W.V.Q.蒯因(W. V. O. Quine)。弗里斯顿从未听说过蒯因,于是克拉克解释说,蒯因曾经针对那些不必要的复杂理论说过这样一句话:“从很多方面来讲,人口稠密的地球是很讨厌的,它冒犯了我们对美的感受,我们喜欢沙漠的简洁之美。”

 

····

 

如果不从字面上去理解“预测”这个词,弗里斯顿的身体行动理论——为了让胳膊移动,你的大脑必须预测你的胳膊将会移动——听起来就没那么怪异了。弗里斯顿所谓的预测不是对未来的猜测,而更像是一种投射——大脑理解世界的一种方式。投射可以是对正在发生的事情的一种推测,也可以是一种想象的场景,一种幻觉。大脑想象胳膊正在移动,构想胳膊正在移动,通过这种幻觉的力量,导致胳膊真的发生了运动。当然,有时现实并不配合:有时胳膊瘫痪了,或者被熊咬住了。在那种情况下,大脑将被迫通过压制先前的预测来应对预测偏差,至少承认感知到的信息是正确的,胳膊不可能移动了。

 

为了生存,大脑不得不做两件事:它必须驱动身体满足自身的需要,它必须形成对世界的理解,并且这种理解还要足够真实,才能指导对世界的理解和行为。



从神经科学的角度看,幻觉理论听上去像是怪异的弗洛伊德学说,然而,自由能量原理与弗洛伊德之间的关系正是弗里斯顿自己所探究的问题。曾经有位来自苏黎世的年轻神经科学家克里斯托弗·马泰斯(Christoph Mathys)到他的实验室工作。马泰斯在实验室呆了6个月之后,弗里斯顿偶然发现,他还是一个训练有素的精神分析学家。马泰斯从来没有提及这件事——精神分析学对于神经科学家而言并不是很要紧的知识。但事实上,促使马泰斯来到实验室的一个原因就是,他意识到弗洛伊德关于心智的理论与弗里斯顿的自由能量原理有极大的相似之处,并意识到两者之间有历史的渊源。

 

马泰斯知道,亥姆霍兹的无意识干预理论——源自于他童年时看见钟楼上像玩偶一样的人的经历——是弗里斯顿感知理论的先声,他知道弗洛伊德也受到了亥姆霍兹的影响。(在到达伦敦之后,马泰斯立即拜访了位于汉普斯特德的弗洛伊德生前最后的居所,他很惊讶地发现,在弗洛伊德那张很有名的沙发正上方的架子上,有一本亥姆霍兹所写的关于生理光学的手册复印本。)马泰斯向弗里斯顿提到了他的自由能量原则与弗洛伊德理论之前的相似性,并认为他们的理论在亥姆霍茨那里都有体现。弗里斯顿开始对精神分析产生兴趣。他找到那些比他更了解弗洛伊德的学者,并与他们一起就他的理论与精神分析学的关系写了好几篇论文。

 

弗洛伊德版本的自由能量(他也用了同样的词)与弗洛伊德的激发理论很相似一种神经系统想要释放被迫激发起来的心理能量。“兴奋的累积,”他在《梦的解析》中写道,“被认为是一种痛苦……而兴奋的释放则被认为是一种快乐。”想要释放自由能量的迫切性是一个人产生行为(来回移动、寻求性满足、工作)的驱动力。弗里斯顿版本的自由能量(预测偏差)初听上去像是只与认知有关的理论,就像弗洛伊德版本初听上去像是只与性有关的理论,但从根本上讲,它们都与生存有关。换句话说,预测偏差最小化比它听上去的意义更为重大。当大脑努力做到预测偏差最小化时,它不仅仅是在试图降低正在发生的行为的不确定性,它还在努力解决幻觉与现实之间的冲突——更准确地讲,让现实变得更像幻觉。为了生存,大脑不得不做两件事:它必须驱动身体满足自身的需要,它必须形成对世界的理解,并且这种理解还要足够真实,才能指导对世界的理解和行为。自由能量正是驱使大脑做这两件事的动力所在。

 

····

 

也许是因为克拉克与神经科学家之间的合作太紧密,他偏离自己研究生涯开始的领域已经相当之远了——1980年早期,他从认知科学领域开始了自己的职业生涯,并对AI产生了兴趣。“那个时候,我非常认同机器功能主义。”他说,“我原以为心智和智能是非常高阶的抽象产物,是否具有与之相对应的低阶结构完全不重要。”从符号主义AI到联接主义,从联接主义再到具身认知,再到现在的预测处理,一路走来的每一步都让他越来越远离那种将认知看成是一种与身体无关的语言的观念,并逐渐把认知看成是由动物身体的特殊结构——它的胳膊、大腿和充满神经元的大脑——所产生的东西。他已经走得太远,以至于现在碰到了一个问题:如果认知说到底是一种动物行为,那么人工智能究竟能走多远?

 

他知道机器人学家罗德尼·布鲁克斯最近也开始质疑整个AI事业的核心假设:心智可以由机器产生。布鲁克斯提出了一种理由,认为AI系统和机器人将在某种复杂程度上遇到天花板。这一理由便是,AI和机器人都是由错误的材料构成的——也即是说,机器人不是由肉体构成的,这一事实的重要性是他之前没有意识到的。克拉克不知道该怎样回答这个问题。一方面,他肯定不再是一个机器功能主义者:他不再相信心智只是一种软件,可以在不同材料的硬件上产生出来。另一方面,他又不相信,或者说不愿意相信,心智只能由柔软的生物组织产生。他对意识延展论注入了太多心血——对脑机融合、对半机械人的奇妙未来抱有太多的期待——以至于难以将它舍弃。

 

从某种意义上讲,正是大脑本身的一些构造特点,让他一开始提出了意识延展论:意识不是由一个不可分割的整体事物(比如大脑)所产生的,而是由数百万个准独立的事物(比如神经元)紧密协作产生的,而每一个这样的事物都是一个独立的存在。“生命真是太有趣了。”克拉克说,“我们的生命似乎是由一层又一层的系统构成的,最小的系统是单个细胞,它也有大量属于自己的微弱智能,如果你愿意这么去看待它的话——它们可以照顾好自己,它们有自己的使命。也许,在由这些微小的事物构造成人的过程中,还存在着巨大的灵活性,这些事物可以有能力保护自己,组织自己。我越来越对这样一种观点持开放态度:生命的某些基本特征的确是理解人类心智的关键所在。我以前并不这么认为,我曾经认为,你可以从中途开始,制造出你想要的一切东西。”

翻译:王培

审校/编辑:EON

原文:https://www.newyorker.com/magazine/2018/04/02/the-mind-expanding-ideas-of-andy-clark

Larissa MacFarquhar

《纽约客》作家,《Lingua Franca》资深编辑,《巴黎评论》顾问编辑,为《Artforum》、《The Nation》、《新共和国》和《纽约时报书评》等撰稿,著有《Strangers Drowning: Impossible Idealism, Drastic Choices, and the Urge to Help》。

深读

1

# 人工智能

我们能够量化机器意识吗?

2

# 心灵哲学

“原”来如此:意识竟然也由原子组成?

3

# 神经科学

心灵时间的数学原理

4

# 认知科学

大脑空空如也?

Messages from the unseen world_

神经现实  | 大脑 心智 认知

神经现实是公益的科普翻译小组,致力于译介神经科学、认知科学和精神病学等领域内的深度文章和最新研究,以专业态度和前沿视角开拓科学传播这一领域。点击“阅读原文”,进一步了解我们。

    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存