许纪霖：深入了解ChatGPT后，我很难乐观
The following article is from 混沌学园 Author 混沌学园
为什么要听人文学者讲ChatGPT？
“ChatGPT的诞生不仅是技术现象，也是文化现象，它将带来第4次里程碑式的科技革命。”许纪霖老师说。
2023年初，ChatGPT引爆了全球对人工智能的强烈关注。最近科技界、知识界和舆论界，更是围绕着应用体验，对AI发展前景发生了激烈的争论。千位科学家发表公开信，呼吁暂停ChatGPT的继续研发。《时间简史》作者赫拉利更是直言：人类的文明有被摧残的风险。
AI会改变人类、成为新人类吗？它会给教育、思维带来何种变化？人，将如何安身立命？本文为华东师范大学特聘教授、历史系博士生导师许纪霖对此的分享。
口 述：许纪霖 华东师范大学特聘教授、历史系博士生导师
来 源：混沌学园
（ID：hundun-university）
人类历史上，
第4次里程碑式的科技革命
英国大思想家以赛亚·伯林说，世界上有两种学者：
刺猬型思想者，是一种开创体系的大思想家，某种知识储备特别完备；狐狸型思想者，对很多知识都有兴趣，思想是发散的。
我是一个狐狸型的思想者。另外，我觉得每一个人的命运，和时代是分不开的。所以我总追逐最新、最前沿的一些问题，这也是我的兴趣所在。
我对历史的研究比较多，也发现历史当中，几乎每一次重要的变化，都可能和一场科技革命有关。比如18世纪法国启蒙运动，是因为古登堡发明现代印刷术，使报纸、杂志、出版物出现，使知识的普及成为可能。
从2023年开始，我们就进入了一场人工智能的革命。这是人类历史上，第4次里程碑式的科技革命。
和4次科技革命相对应的，就是蒸汽时代、电气时代、信息时代，和可能从2023年正式拉开帷幕的智能时代。
这一次，我们不仅是目击者，而且是经历者。
当ChatGPT出现以后，我发现很多人强烈关心这一议题，并且产生了一种焦虑感；也有一些人很漠然，觉得AI离自己太遥远。事实上，每一个人都会受到它的影响。
我首先沉浸性地体验了ChatGPT（以下简称GPT），也对它做了一些思考和分析。可以坦率地说，我的心态有些变化。对GPT了解得越深入，越是无法乐观……
ChatGPT，
有创造性思考吗？
周鸿祎说，ChatGPT是通用人工智能发展的奇点，强人工智能即将到来的重要拐点。它的出现，标志着一场超越互联网的产业革命的到来。
GPT4，被认为是超级人工智能的雏形，被认为是世界上最聪明的“人”。
GPT3.5的特点是生成（generate）， GPT4强调的是输入和输出。GPT4是一种能够处理图像和文本，输入并生成文本输出的大型多模态模型。是一个包含输入和输出的开放体系，特别是“视觉输入”。也就是说，GPT有眼睛了，有视觉能力，能抓取图像。
英伟达研发的ChatGPT专用GPU，使新一代GPT的推理速度提升了10倍。与AI相比，人的大脑运作速度极慢，大脑中的电信号速度是硅芯片信号速度的1/100,000。AI能够做到人脑可以做到的一切，但不受记忆容量和操作速度的实际限制。
所以，英伟达公司的CEO黄仁勋说，GPT4为代表的生成式AI模型的能力增长是“计算的新时代”，AI的“iPhone时刻”已经来临。
1. GPT3.5的用户体验：一流的逻辑，二流的内容，三流的文采
我的使用感受是，与谷歌、百度比较，GPT提供的回答，简明、流畅、概括性极强，能抓住问题的要点，可以就某个细节进行追问，其上下文的理解和互动能力已经与自然人不相上下，而且理解力、逻辑性更强。
它还可以作图。给王勃的《滕王阁序》作图，落霞与孤鹜齐飞，秋水共长天一色。表明它能很好地理解古文，在瞬时间做出这样一张图。
2）二流的内容
再先进强大的算法，依然要依靠数据库数据的覆盖面和真实准确性。虽然GPT积累了大量的数据资料，并经过反复的预训练，但比较起全人类积累的海量数据，依然是沧海一粟。
英文文献，它掌握得非常齐全；非英语文献的部分，比如说我是做中国研究的，问它和中国有关的问题，结果错误百出。
别人问它贾宝玉最想娶谁？它也一本正经地说贾母，还给出一套理由。孔子说，知之为知之，不知为不知。但GPT一定要表现出像上帝一样全知全能，它会编一套东西给你，很可怕。
3）三流的文采
GPT的文字风格形同答卷，非常规范，符合标准。但缺乏个性和文采，即使你命令它写各种风格的诗歌、散文，基本也是似曾相识的陈词滥调，了无新意。
GPT在意境和文字风格上，远远不具有人类的创新能力。它能够模仿各种风格和文体，然而，GPT因为缺乏生活实践的感受和个性的情感，它不能创作出具有独特韵味的语言风格。
它作的图，拿它所画的仕女举例，都是陈逸飞风格的标准美女。
2. GPT最终能够取代人吗？
目前为止GPT还缺乏创新，这是程序员为GPT设置的“人设”。
关于人，我们不能把人仅仅理解为一个认知理性的动物。人作为地球上万物之精灵，拥有一般动物所不具备的理性、情感和意志。
知情意皆备，才具有完整的人格。
AI所拥有的理性能力，是一种计算理性。通过日夜不停地学习、模拟和再训练，AI在计算理性能力上超过人类，是指日可待的。
但高级人工智能在不远的将来，会成为人类无法企及的理性超人吗？在GPT3.5的基础上，我初步的判断是不可能的。因为AI缺乏个性，缺乏创造性或批判性的思维能力。我们今天鼓励的个性和原创，不仅是计算理性和逻辑推演的产物，更重要的，是一种生活实践和心灵实践的知识。
3. 人工智能当下的局限性
人的创造性来自哪里？英国哲学家、大思想家卡尔·波普尔说，关于人的认知，有3个世界：
“第一世界”是人的五官能够感知的现实的物理世界；
“第二世界”是人的心理世界，包括思想、意识、情感和主观体验。这个世界是主观的，离不开作为主体的人的生活实践，唯有作为人才能直接体验；
“第三世界”是抽象世界，包括知识、语言、逻辑等各种符号系统，这个系统独立于作为主体的人的主观世界，具有另一种抽象的客观性，可以为人类共同使用和理解。GPT对第三世界的理解掌握，已经远远超过人类了。它缺的是什么？它不仅无法感知物理的“第一世界”，也匮乏“第二世界”的实践知识。
波兰尼提出了一个概念叫默会性的知识。“默会性知识”属于“第二世界”，是指那些通过人的经验、实践和观察而习得的知识，而且难以明确表达、难以形式化并传授给别人的知识。
比如管理这门知识不是抽象的知识，而是实践性的知识。再比如学习驾驶，考满分也未必会开车。和实践有关的这部分知识，就是默会性的知识。
人的知识与能力，特别是创造力，就更多来自“第二世界”的“默会性知识”。
AI再怎么强，也只有理性，它就是一个超级大学霸。学霸是很聪明的，但智慧要比聪明更高一个层次。它缺乏我们人类，特别是优秀的人所具有的直觉、悟性、想象力。
但我还是要说，今天它已经初步具备这个功能了。ChatGPT的胡说八道，不可笑，而是可怕。周鸿祎说，GPT的胡说八道，也是一种想象力，具有了编故事的能力。
只是它现在还比较低级，因为情感和意志功能被关闭了，一旦打开怎么样？
4. 人的肉身至关重要
情感与悟性一样，不能凭逻辑推演，而是活生生的肉身感受。一个完整的人，灵与肉须臾不可分离，没有肉身的灵魂，与没有灵魂的肉身同样可悲。
好莱坞电影《她》，讲述了一个男人爱上AI的故事。
每一个肉身，都有自己独特的气场与魅力。AI没有肉身，自然人通过脑机接口，或通过VR的虚拟交往，在脑皮层里感受到相应的快感，这种快感依然是功能替代性的，而非真实的灵肉相融。
爱情具有强烈的排他性，没有排他性的情感，不能算爱。但当男主人公问AI女友，你还有其他像我一样的爱人吗？等到的回答是，我同时和500个人在谈恋爱。于是他陷入了绝望。
故事告诉我们，AI再怎么发展，到目前为止仍然是缺乏肉身的，不可能成为真正的人。你和它交往当中获得的，是一种类似的感觉。
但问题是，假如把人工智能的发展和基因技术、脑机接口技术等技术结合起来。足以乱真的机器人会进入我们人类世界。这不是科幻，如果我们的法律、伦理、宗教容许，它可能就是明天的现实。
AI的冲击
任何一场新技术革命，都会带来知识与教育的变化，也最终将改变人的思考方式和思维模式。
GPT在不久的将来，将替代那些按照规范程序和标准答案教学的平庸教师，它无法代替的，将是那些具有开放性、想象性和创造性的教学。
犹如海平面一般，GPT将成为衡量一个好学生的底线标尺。凡是不能超过GPT的老师不是好老师。凡是不能超过GPT的答卷，就不是好回答。
AI语言模型介入教学，可能带来两种不同的前景。
1. 第一种前景
无论是教师还是学生，深度依赖聊天式语言模型，到那里去寻找标准答案。虽然不同的语言模型，可能给出的答案有差异，但基本大同小异。
由此形成的知识依赖性，让未来的学生思维更加趋同化、单一化。
问GPT，偷一块面包来养活一个饥饿的家庭是否道德？它回答说，这是一个艰难的情况，虽然偷窃通常被认为是不道德的，但绝望的时候会导致艰难的选择。
GPT对各种前沿或敏感问题的回答，都是四平八稳、滴水不漏，似乎是一套正确的废话。
但作为老师，要培养学生的是一种批判性的思考能力，而不是学一套似是而非的正确性答案。
德国大哲学家黑格尔，提出主奴辩证法。他说主人和奴隶，看起来主人主宰、操纵着奴隶的命运，但是由于主人不劳动，每天要仆人伺候，离不开仆人。最后反仆为主。
AI作为人类思考的工具，一旦主体高度依赖工具，工具反过来也会主宰主体。所以这是我担忧的一个前景。
2. 第二种前景
我期待的是第二种前景。聊天对话式的GPT，在技术上创造了一种可能。师生的教学过程，将会是一场雅典城邦苏格拉底式对话。
苏格拉底怎么教授知识？不断地抓住你问题的破绽，你的回答的破绽，不断地追问，最后达到真理，这是一场对话式的、对知识的探求。你可以和ChatGPT无穷对话，一步一步接近我们所想达到的真理。
在《论语》中，孔子和弟子们同样也是一问一答，也是Chat。无论是古希腊，还是中国，两大古代的轴心文明，最伟大的哲学，都是Chat式的。
要成就一场苏格拉底式的对话，用户要具有批判性思考能力，不迷信GPT的标准答案，不断地深挖GPT的问题底蕴和逻辑破绽，通过自身的主体性反思，步步紧逼，提出真正的问题，逼迫GPT发挥出最大的知识能量。
对话成功与否，是否可以达到较高的知识层次，也取决于前提条件：GPT拥有更完备的知识储存和开放的逻辑演绎，让答案具有无穷的开放性，不预设意识形态和价值前见。
如果往这个方向研发，我们整个的教学场景就改变了，好的问题很重要。
有好的问题，才会有好的答案。
数学家陈景润打破两个哥德巴赫猜想。哥德巴赫与陈景润，谁更伟大？
我的看法是哥德巴赫更伟大，因为哥德巴赫提出了一个猜想，一个问题，但是他自己没法证实。上百年来，数学家们前赴后继，要证明他是个猜想。所以从这点来说哥德巴赫更伟大，他具有创造性，他也养活了很多数学家是吧？
提出好问题的要比解决问题的更伟大，这才是真正的突破。
ChatGPT有可能让学生的思维更具有创造性，这和第一种前景是不一样的。这场21世纪的新技术革命，如果最终带来的是轴心文明古典精神的复兴，这种意外之喜，无疑是人类的福音。
那GPT所改变的，将不仅是人类汲取知识的方式，而且是古典意义上批判性思考的回归。
人又将如何安身立命？
ChatGPT给教育带来改变，而教育最终改变的，是我们对自我的理解，解决我们如何安身立命这一问题。
1. 操控的焦虑
今天，人看起来很自由。但你发现没有，我们却被各种各样，甚至互相冲突的资讯包围，或者被主流的一种资讯所主宰。
在体验GPT的过程中，我发现，GPT传授的不仅是一套客观中立的科学知识，在其貌似客观中立的表象背后，可以悄悄灌注一套意识形态或伦理道德价值观。
我想说的是，技术永远是中性的，但其价值偏向取决于那只看不见的手，那个操纵了程序和算法的程序的价值偏好。
所以，我们要警惕，AI技术绝对不是价值中立的，其可以被各种不同的幕后之手操控。操控得不动声色，遮蔽其答案中的意识形态偏见。
要摆脱被操控，有一种教育很重要，情感教育。
我前面有说，ChatGPT最强大的是一种理性的功能，但它缺乏情感。教育，不只是提高我们的认知。情感教育，是教育的一项重要功能。
未来的教育，纯知识的理性教育，在很大的程度上将被AI取代。唯独在情感层面，AI没有肉身，徒有大脑，缺乏丰富的心灵。
2. ChatGPT时代，人工智能替代不了情感教育
情感教育源自法国的近代启蒙运动，有两个源头：伏尔泰代表的理性主义、卢梭的浪漫主义。卢梭的自然教育理念，注重的是人的情感培养，再高级的人工智能也无法替代。
中国哲学中，宋明理学将“性”与“心”区分，说人“性”是相通的、普遍的、统一的，但人“心”是个体的、特殊的、多样的。
每一个个体都是独一无二的，不可复制的。这也激发了人的各种激情与感受：死亡、痛苦、爱、同情、怜悯。
这些东西，恰恰是我们对孩子教育上会忽视的，恰恰对培养一个完整的健康的人格来说却又是必须的。
赫拉利说了一段话，我非常赞成。他说：“正是我们对痛苦和苦难的认识使我们能够采取适当的防护措施，防止最糟糕的情景发生。我们将必须教会人工智能如何预防苦难，因为它对苦难一无所知。”
3. 什么是AI无法替代的？
自我，这个概念不是我们过去想象那样简单。一般人都把它理解为意识的自我。高级一点，是认知的自我、理性的自我。今天讲到这里，还有一个另外一个自我是什么？情感的自我。
公元1世纪普鲁塔克提出的忒修斯之船悖论。一条船，经历几次大修以后，帆也换了，舵也换了，船身的每块木板都换了，还是原来这条船吗？什么是自我？这是西方哲学中一个很重要的问题。
那在一个基因复制、脑机接口技术和人工智能的时代，什么是真正的自我？大脑？心灵？肉身？这个问题，也将在哲学和法律上成为一个难题。
我个人觉得，恐怕人最难被AI替代的，就是最神秘的那部分，心灵。
人内心的复杂，和宇宙一样，甚至是不可捉摸，不可猜测的。心灵的密码，到目前还是科学很难破的，每一个人的心灵都不可复制。如果说一定有一个不能置换的自我，恐怕是心灵。当然，肉身、大脑的替换，是否会产生一个心灵，我们尚未可知。
当代人，怎么安身立命？实际上都和心灵有关。
人可以成为自身的造物主吗？
马斯克最近讲了一个惊人的预言。他说，“人类作为碳基生物存在的目的，是为了激活像人工智能这样的硅基生物。”极端的预言，引起很大争议。
所谓碳基生物，是指地球上大多数生命形式，其生命过程和化学反应都是基于碳化合物进行的；硅基生物，是指假想上的生命形式，其生命过程和化学反应是基于硅化合物进行的。
到底会不会出现新人类？
1. 乐观的观点
人为了超克自身的有限性，膜拜各种神祇：上帝、天神、圣人与生活中的偶像。膜拜只是为了超克人性的有限性，将一个完美的自我投射到一个无限完美之物。
这就是人性中的两面：可堕落性与可超越性。人的有限性造就了人的诗意、人的追求。
凡是肉身，最大的恐惧是死亡，AI是不死的。倘若没有死亡，所有与生命有限性相关的追求：基因繁衍、自我保存，精神永恒，都显得没有任何价值，歌咏青春、感伤生命无常的情感，也变成可笑的无病呻吟。
人性中追求完美的可超越性，即宗教的神性，也不是AI所能企及的上限。如果AI不死，AI为什么要信仰那些超越的东西？
假如没有这样的超越世界，AI的世界，依然是不完整、有缺陷的。它的世界和人的世界终究不是同一个世界。
2. 悲观的观点
悲观的观点，认为新人类足以乱真。基因复制+脑机并口+人工智能=新人类。
语言是人类文化的操作系统。从语言中产生了神话和法律，众神和金钱，艺术和科学，友谊和国家，以及计算机代码。人工智能对语言的掌握，意味着它现在可以入侵并操纵文明的操作系统。
赫拉利在最近的几个访谈中，显得有些悲观。他说：“AI可以迅速吃掉整个人类文化——我们几千年来产生的一切——消化它，并开始涌出大量的新文化艺术品。不仅仅是学校作文，还有政治演说、意识形态宣言、新邪教的圣书。到2028年，美国总统竞选可能不再由人类主持。”
周鸿祎也讲，GPT-10版本内，人工智能一定会产生意识。
当GPT能修改自己的代码，自我升级自我迭代，这种进化速度超过指数级。留给人类的时间不多了。
自我意识意味着什么？AI不再是机器、工具，而是一个有自我心灵的新人类了。它甚至不再需要程序员编辑、修改自己的代码，可以自我更新，自我进化。
3. 新人类，不是技术上能不能，而是哲学上该不该的问题
好奇害死猫，具有无穷创造力的人类，很有可能会亡于浮士德式的永不满足的好奇心之中。
千名科学家呼吁暂停GPT4以上版本的开发，有它的道理。我们必须把它的发展限制在可控的范围之内。它对市场的冲击，对全球金融系统、销售系统的冲击，目前尚不可控。
今天我们终于懂得怎么和大自然相处，怎么保护地球的自然生态。那怎么保护我们的生命生态？恐怕同样需要探究。
赫拉利说：“现在我们已经处于这样一个阶段：人工智能已经足够先进，可以创造自己的文字和图像。如果情况没有改变，那么我们文化中的大部分文字、图像、旋律甚至工具都将是由人工智能制作的。我们必须让这个过程变慢，让整个社会适应这个情况，并且制定出一套（应用于人工智能的）道德规则。否则我们的文明就有被摧毁风险。”
为什么我们需要有风险意识？回到最后，就是一个哲学的问题，就是一个文明底线的问题。
人类高级文明出现以后，从轴心文明的古希腊哲学、儒家哲学到近代的启蒙哲学，都预设了一条文明的底线：人是主体，整体的人类利益和个人的生命、自由和尊严是至高无上的。这就是我们今天说的人权法则。
倘若我们依然认可这条文明的铁律，那么AI技术的发展应该有天花板。
我认为，以ChatGPT为代表的强人工智能，潘多拉魔盒中的精灵，已经探出头，准备跳出盒子，而且将再也收不回。
作为人类，不得不为这个精灵，设置一个笼子……这个笼子就是法律、伦理道德、宗教、哲学，让它在人类可控的安全的尺度里，能够有序地、缓慢地发展，而不是无序地、失控地、自主地发展。
我们可以欢迎它、拥抱它，同时又警惕它、防范它，确保高级人工智能永远是人类的好伙伴和好朋友。
好文推荐：
审校 | — — 执行主编 | 徐悦邦