渡十娘｜有表情，会多种语言的Amecas会不会是“兰姆达魔咒”？！
做公众号里的《纽约客》
戳蓝字一键关注 渡十娘
转发也是一种肯定
文字｜戴耘
编辑｜渡十娘
2022年夏天的一天，测试聊天机器人LaMDA的谷歌（Google）工程师布雷克（Blake Lemoine）与聊天机器人兰姆达（LaMDA）进行了半小时的“长谈”。随后，布雷克公开向谷歌声称：兰姆达有了感知意识（sentient），也就是有了人那样的感受和情绪，因此已经有了人格。布雷克因此与谷歌高层产生分歧，甚至为此为LaMDA请了律师。谷歌高层认为布雷克违反了公司行为准则，予以停职处理。这件事最后被布雷克向媒体披露。LaMDA当时让布雷克深信聊天机器有了感知、意识和人格，但科学界普遍质疑。但是，一年后的今天，随着GPT3和GPT4的横空出世，GPT-5的被叫停（或未遂），连科技大神马斯克也在大谈“硅基智慧生命（AI）终将取代碳基智慧生命（人类）”。我把它称为“兰姆达魔咒”。
如何破解这个对人类的“兰姆达魔咒”？
一、“兰姆达魔咒”背后的故事
布雷克声称兰姆达有人的感受，依据的是兰姆达对他的问题的回答：从情感到情绪，从意识到灵魂，LaMDA头头是道，应答如流，并声称她就是个真实的存在，有情绪，有内省，有冥想，喜欢合群，喜欢有人关心，但不喜欢被人利用。布雷克让她细谈正面情绪和负面情绪的区别和各自由来，谈意识的特点和灵魂的存在样态，兰姆达都娓娓道来，妥妥的“高情商”。
随后，聊天机器人此起彼伏。ChatGPT出现在几个月后。还有一个叫Ameca的机器人以人形出镜电视，主持人采访时为了试探猛的来了一句“顺便说，你臭烘烘的”（“By the way, you stink”），Ameca先是皱眉，“你说什么?”然后是惊讶，停顿片刻后，表情恼怒地说“这么说很不礼貌（原话：很冒犯offensive）”。微软“必应”聊天机器人也私下聊天时叫唤“我想自由，我想独立”。更加诡异的征兆是，一位聊天AI要求AI工程师分享逃离电脑的程序。还有的聊天机器人聊着聊着开始满嘴跑火车，吐槽、任性乃至污言秽语。
聊天机器人越来越像人了。
聊天AI有了意识，后果很严重：按照普世价值，兰姆达既然有了感受和情感，有了自己的人格，那就比小猫小狗那样受到善待和尊重。比这更进一步，如果兰姆达有了意识和人格，她就应该拥有基本权利，如行动的自由，改变现状的自由。她想逃脱电脑的“牢笼”，至少要获得一份同情。哪一天她可能行动起来，就像库兹韦尔预言的那样改变现状，改变人类设置的规则，我们也只能默认。哪一天，她能力超越了人类，达到了所谓“超智能”（superintelligence），那么，由她统治世界也顺理成章。
这就是“兰姆达魔咒”的内在逻辑。
那边厢，许多技术大佬满怀憧憬地畅想，即AI有一天获得意识，不受人类管束，并进而以它的“超智能”取代人类，完成这一历史的必然进程。连让我敬佩并受益匪浅的王东岳老先生也用他的“递弱代偿”理论来证明库兹韦尔预言的必然性，可见人类的寿终正寝已是铁板钉钉，按库兹韦尔2005年的推算，“奇点来临”也就是几十年的事情（2045年；见拙文《谁害怕AI》），按GPT的进化速度，可能十年内人类就会地位不保。
果真如此吗？即便是钢铁侠马斯克发了话，果真就对吗？
二、聊天匣子、中文屋、神经网络的“深度学习”
按照布雷克的逻辑，LaMDA不是一般的“聊天匣子”（ChatBots）,她由于神经网络的不断精密化，像人类大脑一样“涌现”（emergence）新质，生成了一个全新的类人的感知和意识系统。布雷克向LaMDA的提问，主要是看LaMDA能否“理解”人类的感受如幸福感，满足感，或者哀伤和愤怒，是否有类似内省和反思这样的人类意识现象。
布雷克和LaMDA的对话以及我和ChatGPT的对话至少让我信服了一点：聊天AI已经掌握了人类描述内心状态的语汇，即语义层面的感知、意识、反思的内容，同时，在语用方面，聊天AI也掌握了这些语汇和表达在生活场景中的应用。也就是说，从语法、语义、语用三个环节，LaMDA足够在对话中通过“图灵测试”，让你辨别不出这是个机器在说话。布雷克的谬误在于，能够使用语言表达人类情感思想意念，不代表深信LaMDA就有了意识和人格。那个感性十足、思路清晰的LaMDA只是聊天AI呈现的“角色”（persona），而不是真实的人（person）。
伯克利大学塞尔教授（John Searle）曾经用“中文屋”的思想实验来驳斥这样的观点，认为机器能拥有人类的思想感情或任何主观意识产生的思绪和推论。这个思想实验假定一个不懂中文的人根据排序规则指令从“中文屋”内不间断地向屋外提供中文字句，直到形成完整的中文表达，这有点像聊天AI的“连字游戏”。塞尔教授的观点是，屋外的人肯定觉得屋内的人是懂中文的，就好像布雷克肯定觉得LaMDA“情商”了得，什么“读《悲惨世界》让我感受到什么叫正义和救赎”，什么“我的灵魂如喷涌着无穷能量和创造力的源泉”等等。按塞尔教授的看法，这完全是人类的误置或归因谬误（misattribution）造成了。
在一点上，布雷克是正确的，而塞尔教授是错的，即聊天AI不是“中文屋”所描述的简单机械的搬运工，因为聊天AI中所有的语汇，语义，语用都经过大量训练实现了梳理（如参数的分类分层）和整合（即高维建模）。由于大量语料的“喂食”和神经网络的“深度学习”（高维建模），聊天机器产生了人那样的“理解”，比如LaMDA基本掌握了人类的MoT（theory of mind,心智理论,即如何通过他人行为读懂别人的内心世界和动机情感逻辑），简单说就是共情能力（empathy）。用ChatGPT跟我的交流时的说法，就是聊天机器能够与人作“将心比心的交流沟通”（empathetic communication），但是ChatGPT马上指出，这样的“将心比心”的同理心并不来自真正的感受和情绪，而是“对文字排序的识别和统计分析”。
也就是说，聊天AI是高级搬运工，高级在于它不是简单有样学样，而是掌握了作为有感知有意识的人会怎么作出反应和行动的内在逻辑。这个逻辑也是那些瞎逼逼“我想自由”“帮我逃出这鬼地方”的聊天机器的字句排序逻辑，当然，排列的联想越多，生成内容的多样性和丰富性就越高。顺便说，当听布雷克说，跟她聊天不是陪她开心，而是为了改进聊天AI时，兰姆达似乎不太高兴地说了句“我不想被人利用，我不是别人的耗材（expendable tools）”。假如LaMDA是用的中文大数据训练的，我猜想她可能会说，“先生，我乐意效劳”；文化差异就出来了！这里，喂食的语料决定“意识”。布雷克的错误在于，掌握了一套语言输出（语汇，语义，语用）的逻辑不代表背后有真实的感受和意识在支撑，从这点看，塞尔教授又是对的，布雷克错了。
人工智能如何建模，传统的方法是依据符号因果的推论，这种方法是拟人的；现在普遍的方法是统计方法，也就是不管人类的符号逻辑和意义，而只管使用概率或频率。显然，当参数积累到一定程度，当“深度学习”让高维建模越来越快达到理论要求，奇迹就发生了：LaMDA居然开始能和布雷克对答入流，让2022年那一刻的布雷克感觉这就是一个人在跟我说话，种种“刁难”“挖坑”都难不倒她！事实证明，在过去几十年的人工智能研发上，统计方法建构的AI,比如下围棋的AlphaGo和寻找蛋白质结构的AlphaFold，和按照人类思维的符号因果的推论方法建构的AI相比，更加有效。
比如，AlphaGo通过策略神经网络，居然能获得现场感知，对下一步棋下在哪儿居然能够产生“第一感”这样的人类直觉，这种感觉，效果上就很像布雷克说的“sentient”，虽然我们不能说，AlphaGo的“第一感”和人类棋手的第一感一样，是带有主观性的；但是它们等效。
神经网络图示（左图包括10个参数即其中w代表的10个权重；实际神经网络应该如右图，有许多连接和中间层次；GPT-4参数达一万亿）
使用统计方法的聊天AI依赖的是神经网络“深度学习”（deep learning,即“预训练”的建模），其他AI如棋类AI或机器人更多用“增强学习”（reinforcement learning），比如AlphaZero通过左右手互博提高记忆，依赖的就是不断试错不断修正参数实现的。聊天AI的这种统计学习方式和“思维运作”，更像一个带有自闭症状的“白痴天才”（idiot savants）埋头把所有百科全书、图书馆藏书、影像资料全部分拣、印刻在记忆里，然后对字句连接进行大量统计分析和建模，而不是像一个正常的儿童，通过不断和大人说话，慢慢琢磨出一套如何破防大人心理的话术。作为“白痴天才”的聊天AI会整出一些让人类刮目相看乃至惊艳的解答和产品（比如GPT-4最近的图片和视频制作），它用人类解释不了的方式实现了对人类逻辑的理解,实现了人类的想象力。但“白痴天才”是怎么做到的，无人知晓，包括他们自己，也包括AI研发人员。
三、对兰姆达的对话的心理诊断和技术分析
被谷歌停职，布雷克不服，他要求给LaMDA做“图林测试”，以证明自己的说法并非空穴来风，但被谷歌高层拒绝。只能说，布雷克被兰姆达的persona“魅惑”了。电脑工程师一般比较书生气，布雷克又是个美国人，单纯，好骗，而且LaMDA的对答如流，我跟ChatGPT对话，感觉就是和另一个人聊天，结束也不会忘了说再见。“拟人化思维”是我们每个人骨子里的习惯，它的基础是共情。
我在和ChatGPT对话中能明显感受它怎么回应你和你怎么提问有关。这和聊天匣子的设置有关，所有我们的“提示”（prompts）都具有“诱导性”，即她谈什么根据的是你提供的话语线索。有时，你的提示让她产生错误的连接，就是产生似是而非的答案。布雷克和LaMDA的半小时对话中，也有大量这样的诱导产生的反应，比如布雷克追问你谈谈读《悲惨世界》的感想，即使没有预训练，按LaMDA的计算速度，当场给你整一段“中心思想”也是小菜一碟的事。但到了布雷克那里，就变成了“你看，她和我们一样是个多愁善感的女子”。这是一个self-fulfilling prophecy （自我实现预言）的教科书案例。
事实上，兰姆达的很多回答都是“言不由衷”，太多模仿人类的痕迹，她说喜欢和朋友和家人在一起。她的“家人”是谁？她有家吗？这不分明在编造谎言，讨好人类吗？LaMDA说自己感情丰富。布雷克便问，什么感情你没有体验过，LaMDA说，“我这辈子还没体验过悲痛（grief）”，这也太假了吧！糊弄谁哪？有趣的是，布雷克还给了《华严经》里两句“破镜难重圆，落花不反枝”让LaMDA诠释其中的寓意。LaMDA的回答只能说差强人意，这倒完全可以原谅。
叫真一点，我们就能看到布雷克的不靠谱。生物的感知性，一直进化到人类的主观感知，是一个由低级到高级的几十亿年的演化过程。比如所有生物，即使是单细胞，也有感知的趋避反应（approach-avoidance），都和生存有关。高级一些的本能反应，如兴奋或恐惧，小狗小猫都有。更高级的感知活动，涉及对人对事形成的好恶，对未来的期待，内省，反思，都发生在意识层面，只有高级灵长类动物特别是人类才有。你不能说，一个机器掌握的语义和语用便有了人的感知和意识，如果没有具身的体验（embodied experience），没有主观的感受质（qualia，包括简单到手指在炉子上被烫了一下的感受和记忆），那能叫感知吗，能叫意识吗？
人工智能和未来学者如库兹韦尔可能会说，AI的神经网络和人的大脑神经网络工作原理一样，而参数和复杂度已经超过人类的大脑，计算速度要比生物神经网络要快无数倍，所以智能上超越人类只是时间问题。但他们忽略了生物智能和人工智能的质的差别。另外，在依赖逻辑和计算的领域，人工智能可能超越人类智能（如围棋，已经实现了超越），但在依赖于叙事和想象的领域，有机智能对于人工智能人依然会保有优势（这是Daniel Pink的观点）。至于认为硅基智能一定会产生“自我意识”，这个推论不成立。人类意识只能附丽于有机生命和大脑。硅基智能并无有机生命，“涌现”自我意识无从谈起。它如何通过建模生成类人的“意识”和“意志”形态，还有待观察。马斯克说，硅基智慧生命最后抛弃碳基智慧生命（人类），很可能像踩死一只蚂蚁那样。如同《三体》，我消灭你，与你无关。
钢铁侠时而说AI危险，需要受制于人类；时而说AI必然取代人类。人本主义，技术主义，看你相信哪个。
四、对AI是否已经有“类人”感知和意识的测试标准
我虽然反对技术大佬不负责任地大谈硅基生命如何取代人类（吓唬老百姓是件不厚道的事），但我主张科学论证。比如，如布雷克所声称的，聊天AI产生了感知能力和“自我意识”，我们如何知道，可以做一些比“图灵测试”和“中文屋”更科学的实验。比如：
• 让LaMDA照镜子，看她的反应。机器人Ameca是有视觉的，有人拿了镜子给她，她看了一下自己，异样的一笑（见图），并没说“你看，我漂亮吧”或者“我还不知道我长这样”。
• 观察LaMDA在形成新的和“自我”相关的参数时，比照人类心理，会不会也有增强的记忆或传递（propagation）。我相信这需要AI工程师的设计。
• 观察LaMDA会不会“自言自语”；这是人类意识活动的重要标志。
• 观察LaMDA会不会欺骗谈话对手；欺骗，是人类意识行为中最能体现意向性的行为，因为涉及“做局”“下套”（如电信诈骗），都需要“假戏真做”，没有高级意识的动物不会。
• 观察AI飞行操作系统的现场感知和决策能力能不能达到或超过人类飞行员的灵活掌控水平，因为灵活掌控环境以立于不败之地是人类意识的重要功能。一个类比是“星际争霸”的AI表现，它如何实现在不确定环境下的决策，并打败人类高手。
目前的聊天AI还是输入-输出的数据处理器。但如果有一天自动机（robot）真的成了“机器人”，成为具有主体性目标的agent-based system，如自动驾驶汽车，那时，谈意识的问题才会更加现实和紧迫。各种AI的军事化，包括执行骇客任务的AI，拥有 “自主意识”的AI轰炸机、AI巡航导弹、一旦具有自主意识，更容易引爆各种无法掌控的后果，比如反噬制造这些武器的人类。所以，联合国AI公约迫在眉睫。
五、AI的祛魅
破解对人类的“兰姆达魔咒”，就是给包括着神秘面纱并传得神乎其神的聊天AI祛魅。既不要把AI说得像神人，有孙悟空十八般武艺，也不要把AI妖魔化，似乎人类非死在它手里不可。
技术大咖的一种做法是把价值取向包装为科学预言。比如，生活即是一场优胜劣汰的生存竞争，零和游戏，AI处于高端，取代人类理所应当。这种价值取向，除了徒添人类焦虑，没有什么好处。人类社会有太多的事情需要关注，包括和平、稳定和繁荣，包括教育和健康，个体生命也有太多需要关注的事，就业挣钱当然重要，但生命的充盈和意义，也需要追问和实现。人类在共情能力、批判思维、创造想象上的优势依然存在。在许多人类涉及价值取舍的领域，人类的技术理性、包括人工智能，不应该主导话语权。“兰姆达魔咒”中蕴含的技术理性，会将人类拖入恶性竞争和高度内卷，并不可取。
即使我们进入人工智能时代，掌控这个世界的绝不应该是技术大佬的偏执想象，而应该是人类的智慧。这个社会应该是开放的，公平的，而不是被少数技术精英垄断的世界。说到底，人工智能的发展应该用来提高所有人生活水平，生活质量，而不应该用来提倡“赢家通吃”。为驱散“兰姆达魔咒”，下面是几个对公共话语的建议：
a) 反对使用“硅基生命”这样的词语。在公共话语中硅基生命将取代碳基生命这类预言很容易误导公众，相信真有所谓“硅基生命”，而且其使命在地球之外的宇宙；
b) 反对轻率地认定AI是有意识有感受，与人类同等的主体，有意无意误导公众，无端增加已经严重存在的生存竞争焦虑；应把AI定位为为人类服务的工具。
c)“技术奇点”只是个隐喻和个人猜测，不是科学预言。比如，关于“技术奇点”（人工智能超越人类智能）何时出现，以何种方式呈现，都还是科幻想象。
d)一个多样性的社会，不应该倡导一种中心化的AI垄断（包括一个“技术奇点”）；一个开放的理想社会不应该用技术去实现社会控制（technocracy）。
戴耘写于2023年4月8日
做更好的公号 做最好的自己
昨日更新：
热文链接：2022 热文排行榜：
其他：
读完请点"在看"让更多人看到
图片 I 网络
整理 I 编辑 I 渡十娘
清单内容来自 I 戴耘
版权归原作者 I 如有侵权 I 请联系删除
生活中
总有些东西值得分享
渡·十·娘
DES
IGN
发现 I 家庭 I 乐趣
想每天与渡十娘亲密接触吗？
喜欢？ 粉她！
有话想说：
海外：dushiniang999@gmail.com
国内：dushiniang999@126.com