何怀宏：GPT将与人“分道扬镳”｜热点

◆ ◆ ◆ ◆

上海市社会科学界联合会主办主管

有学术的思想  EXPLORATION AND FREE VIEWS

官网地址     http://www.tsyzm.com

◆ ◆ ◆ ◆

目前本刊只接受《探索与争鸣》网站投稿。请收藏唯一真实官网地址www.tsyzm.com。原编务邮箱[e-mail]停止使用，原投稿邮箱[e-mail]为编务邮箱和应急邮箱。原创文章，未经授权，谢绝转载，如需转载请留言。

摘要

人与技术的一个基本矛盾就是人类飞速发展的控制能力和落后的自控能力之间的基本矛盾。这一矛盾可能以这样一种方式结束：随着人的控制能力发展到极致，一种新的智能将可能突然超过人的智能而使其归零。随着GPT越来越容易上手，人们可以用“自然语言”随时随地提出各种各样的问题，这将会刺激技术日新月异地飞速发展，应用的领域还会不断扩大。它会变得越来越“通用”，直到囊括几乎所有人类智能和体能的领域。那时，“机器语言”将战胜人类的“自然语言”。转变的关键在于通用的人工智能是否会获得“自我意识”进而获得“自主意识”，从而成为一种全面超过人的超级智能。

GPT的现实挑战与未来风险

——从人类的观点看

何怀宏｜郑州大学哲学学院特聘首席教授，北京大学哲学系教授

本文近期将刊载于《探索与争鸣》

具体内容以正刊为准

非经注明，文中图片均来自网络

人类面临的并不仅仅是人工智能这一种危险，而是被各种各样的危险环伺。除了一直存在的一些自然危险，比如地球被小行星袭击（最近有一次成功击中一颗小行星的实验倒是说明了技术的正面效力和最该使用的方向），近地球的宇宙中发生某种突发事件，还有地球上可能发生的地质和气候突变，如极大的火山地震爆发等。更多的还是人自身带来的危险，比如因为人的一些“逾越”活动所带来的对自然环境的破坏，全球气候变暖等等。除了这些渐进的威胁，还有紧迫或难以预测的人类危险，比如对基因工程底线的突破不知会造出什么样的“人”和其他“生物”，对人的生物性质的改造（比如一种让碳基生物的人不断硅基化，但仍保留人的意识）。
脑机结合将给这种人赋予和人工智能一样强大的知识库，包括控制物体的能力，那样或许我们将看到这种硅基与碳基结合的“新人”与单纯硅基的智能机器的“决斗”。还有一些难以预测的危险也可能会先行结束这类竞争，比如人类发动自杀性的全面核大战，从而摧毁所有的人类、生物，乃至毁掉包括硅基生物的智能机器。人类需要考虑这全方位的危险，做出全方位的努力，或许才能避开某些主要危险。而为此，人类是否已经团结好了，形成一个命运共同体，以应对这些全面的危险呢？我们还应该努力分清轻重缓急，适当平衡，首先对付那些可能冲在最前面的危险，这大概也就是近日一千多名科学家和企业家呼吁暂停GPT开发六个月的意义。

GPT带来的现实挑战

我使用“GPT”（Generative Pretrained Transformer）来统一指代当前由ChatGPT、GPT-4代表的一类人工智能新技术。未来也许会有更好的概念来指称这一类技术，但目前使用“GPT”有一个便利，它和GDP（国内生产总值）字形和发音相近，GPT未来也确实可能成为GDP的一个重要影响因素，其相关产业在GDP中的比重会不断增加，甚至有一天GPT还可能取代GDP成为一项重要的国民经济核算指标。当然， GPT所代表的指标（或可称为“人工智能生产总值”）可能不再用于单个国家，甚至不再属于人类。
我在这里加上了一个副标题，即“从人类的观点看”。这句话可能有点多余，但它暗示了未来可能会有另一种观点来看待GPT，那不是从人类的角度出发，而是超越人类的角度，也许是“超级通用智能”的角度。但我们目前对此还一无所知。也许今天我们认为是挑战和风险的过程，在另一种观点看来则是“凯歌行进”。
GPT 大概是人工智能领域中第一个人们可以广泛使用，甚至将变得日常化的产品。英伟达（NVIDIA）创始人兼首席执行官黄仁勋在2023 GTC（GPU TECHNOLOGY CONFERENCE）会议上反复强调：“我们现在正处于AI的 ‘iPhone’ 时刻。”也就是说，GPT可能会像智能手机一样普及。它是历史上用户增长最快的电子产品，自去年11月30日 ChatGPT 上线以来，2个月活跃用户数就达到了 1 亿。在今年3月14日微软将GPT-4嵌入其 Office 系统之后，用户的数量更是进一步暴增，而且还有许多人“不得其门而入”，或者只能在等候单上等待。过去在人工智能领域吸引投资最多，最被寄予厚望的产品似乎是无人驾驶汽车，它甚至被视为人工智能在实现日常生活化方面的突破口。现在看来或许并非如此，GPT 可能才是这样的一个突破口。无人驾驶汽车成功应用，首先受到影响的职业可能是司机，其次是有车和开车的人。相比 GPT 的潜在发展和应用，这个影响面就显得相对较小，并且功能比较单一。
历史上，纸张和印刷术逐渐让文化产品走向社会，让平民成为精神文化的消费者。而今天的各种多媒体网络介质，如微博、微信、抖音等，让大众走向了文化生产内容的中心，他们不再只是看和听，他们也可以参与进来，可以大量发声。电脑的图像显示（而非DOS指令）让电脑平民化了，网络和移动终端让IT产品平民化了，但它们都还不能算是人工智能的产品。

GPT正在走向“通用人工智能”（AGI）阶段。在微软最近发表的一篇由数位资深研究员撰稿的名为“人工通用智能的火花”的论文中， 作者认为GPT-4已经可以被视为一个通用人工智能的早期版本。通过测试证实，GPT-4不仅精通语言，还能在完成数学、编程、视觉、医学、法律、心理学等多样化和高难度的任务中表现出色，而且它能将多个领域的技能和概念统一起来，并具有生成新知识的能力，能够应用到许多领域。可以预见，随着GPT越来越容易上手，人们可以用“自然语言”随时随地提出各种各样的问题，这将会刺激技术日新月异地飞速发展，应用的领域还会不断扩大。它会变得越来越“通用”，直到囊括几乎所有人类智能和体能的领域。

2020年5月发布的GPT-3模型已经含有1750亿超大规模参数，而现在的GPT-4估计已经拥有上万亿参数。GPT可以使用简单的“提示语”（Prompt）的概念来完成任务，它会通过语境学习（In-context Learning）不断生成内容。它相当敏感，常常比人更能理解人的问题。即便在提出一个特定的问题之后它声称不知道答案，只要稍微改变几个词，就可能生成正确的答案。而且，所有的问答应该都会保存在它的记忆中。由于它不断发展，也是基于人类反馈的强化学习（reinforcement learning with human feedback，RLHF）。在得到回答之后，如果不够满意，还可以继续提问或给出一个或多个示例，完成的任务就会更加完善，甚至有些可以达到令人惊艳的程度。据说，GPT-4只需要10秒钟就可以制作出一个网站，60秒可以制作出一个简单的游戏，而长文本和图像都可以作为输入介质。GPT-4还参加了多种基准考试测试，包括美国律师资格考试Uniform Bar Exam、法学院入学考试LSAT等，在这些测试中，它的得分高于88%的应试者。
与以前的单纯聊天机器人不同，用户需要提供的条件或问题的关键词可以越来越少，生成的内容却可以越来越长、越来越成型和完善。OpenAI推出 ChatGPT迄今只有几个月，它却已经疯魔世界。各个大公司都视其为新的技术创新和赢利的“风口”，只要赶上这个风口，“连猪都要起飞”。它可能已经创造或预许了万亿产值，与人工智能相关的股票都在暴涨。一些人则试图从这场“盛宴”中赚钱。一些科学家彻底转向，宣称要抛弃以前的研究项目，专门研究GPT；另一些科学家已经被迫“失业”或者“转行”，因为人工智能可以轻易地让一些以前艰难的实验和计算变得非常容易。
GPT的出现和飞速发展提出了许多现实的挑战。过去有一个分辨人和智能机器的著名测试，那就是图灵测试。但这个测试现在可能要失效了。因为GPT的产品通过图灵测试看来已经很容易了。它对学校的挑战首当其冲：老师们将怎么分辨哪些是学生自己的作品，哪些是GPT的作品？GPT写的文章、画的画都那么好了。不少老师认为它写的论文质量超过了自己百分之七八十的学生，有的还拔得头筹。而这还只是GPT发展的初级阶段。未来它的能力会更加厉害。到时候，老师们也许只能从个性、特例乃至人容易犯而机器不会犯的错误去分辨？而且，分辨到那一步呢？先用GPT生成一篇文章，然后再自己修改（比如加上特例甚至犯下点小错误）的文章算是谁的作品？或者，先用GPT提供参考思路和材料，然后再自己写出文章又算谁的作品？也许我们会说前者还是GPT的，后者应该算是学生自己的作品。但即便我们在这方面有确切的标准，老师们也很难实际操作和检查核实。而即便可以操作，那要增加多少工作量？即使我们也应用某种新技术程序来检测（的确出现了这样的程序，但并不完善，也不可能完善），教育会不会将由此变成一种围追堵截而非育人成长？重要的是，这还可能是大势所趋，防不胜防，即便学校防住了，学生毕业后在工作场所还是会大量遇到使用GPT的问题。的确，这种情况会影响至少一部分学生的创造性，削弱他们的独立思考和写作能力，乃至影响到他们的努力程度，但是，我们该怎么办呢？
GPT的突出优势是以知识及各种知识的组合见长，这至少对以灌输知识为主的教育体制会是一个很大的挑战。问题是，减轻了死记硬背各种知识的负担，学生们怎样去学呢？更多的锻炼各种批判性思维？更多地做一些有个性或创造性的工作？不过我们也许可以说，“进步”本来就是这样一种情况，就像我们现在的许多学生已经不是以通过阅读纸质书籍为主要途径来吸收知识，未来的学生也可以只把GPT一类当做工具，腾出时间，做更有创造性的工作。但正如我们所见到的，一般性的创造能力也是会受到威胁的（那些伟大天才们的创造性工作大概可以例外）。
但这些或许都还不是GPT带来的大问题，就像我认为的防止GPT的回答中有歧视不是大问题一样。对教育的挑战是一个长远的挑战，但还有迫在眉睫的挑战，也就是GPT将首先影响到哪些工作，让哪些行业的人大量失业甚至行业消失。

GPT能做什么

我们首先要大致弄清GPT现在能做什么？目前或者说按照先后次序它将替代一些什么人的工作？是简单机械的工作还是精密复杂的工作？是劳力的工作还是劳心的工作？是没有个性或创造性的工作，还是有个性或创造性的工作？它还有什么潜能，未来还能做什么？ 

有一个过去的看法可能是错了或至少不够准确：即以为人工智能将优先取代那些体力的工作，而且是简单重复的工作，而大批做这样工作的人将成为“无用人群”。过去人工智能领域内使用的工业机器人、流水线上的机器人，看来的确主要是做一些重复性的简单工作。机器人也做一些危险性的工作，比如排雷机器人、无人机等，但它们都还是由人发出指令远程操控的，它们不是自主的主体，而是单纯的工具，甚至是广义的“劳力者”。它们活跃在线下，是一种物质的、成形的东西。它在物质力量的领域内可以在某一种事情上比人做得更快更多，但不会给使用它的人带来生命危险或智力威胁，而是可以提供更高的生产或战争效率，或者降低其成本。

还有像看护机器人等，它们虽然更复杂些，也需要一些劳心，但不是综合和通用的。它们虽然要应对一些特殊的场景和出现的新情况，需要与人互动，但总的来说，它们仍然可以由人预先设定的程序进行控制或指导。总之，上述机器人产品主要是专门应用的，使用成本也较高，并未进入大众的日常生活领域。

但现在的GPT看来具有全面通用的功能。它可以听从千差万别的众多人的问题和要求，能够立即回答问题，并且不仅是搜集数据，而是直接写信、写文章、做文案、作诗作画、编写相当复杂的程序等。它还可以指令线下的工作，就像管理阶层一样指挥各种机器人，而无需亲自动手。因此，GPT似乎正在成为机器人中的“上等人”，未来还可能统一为功能无比强大的“超人”，凌驾于其他机器人之上。

它甚至可能率先影响那些不仅劳心，而且过去看来比较复杂的劳心的工作。根据OpenAI 3月20日发布的一篇报告，“受影响最大的职业包括口译员和笔译员、诗人、词作者、公共关系专家、作家、数学家、报税员、区块链工程师、会计师和审计师以及记者。”而一些以体力劳动为主的行业，如食品制造和服务业、林业和采伐业等，目前受到的影响反而最小。也就是说，受到影响最大的是那些复杂劳心、技能要求较高的工作，甚至有些是被人认为有创造性的工作。当然，这里需要分析，我以为像那些真正形成了自己的个人风格，真的具有创造性的诗人、作家还是不可替代的，他们创作的作品和由GPT完成的作品还是容易分辨出来的。但是，大量的技术性翻译、比较形式化的文案、逻辑化的编程等肯定是可以替代的。而这方面的工作人员可能恰恰构成其所属行业的大多数。另外，在我们人类的工作中，包括脑力工作，其实也有大量的格雷伯所称的“毫无意义的工作”（bullshit jobs），还有那些形式主义的工作，它们其实对我们来说是不太需要的。一些人本来就是做的类似“机器人”的工作——我在年轻时曾不得不参加一些没有什么意义的会议，那时就曾梦想过发明一个“机器人”，只要看来像我，就能够替代我“到场”参会了。

当然，许多学习各种知识和一般性的劳心工作还是需要的，GPT在这方面可以大大节省我们的脑力和心力。但如果我们对它形成了依赖性，那我们的自我学习能力，更不要说创造能力就可能退化。这真是一个矛盾。劳心工作可以大量被替代，社会上就会出现更多的“孔乙己”。这对我们的教育和社会都将提出严重的挑战。不过，劳力者行业的前景其实也并不乐观。 过去的工业机器人如果连接上GPT，效率还会不断提高，人的体力工作也会继续被替代，人手还可能继续减少，失业的现象也可能继续增长。“无用人群”将同时发生在“劳力阶层”和“劳心阶层”且不断增长。而所谓“无用人群”并不是他们真的无用或者不想有用。他们只是被排挤或剥夺了工作，就像当年无数手艺精巧的工匠被工业革命排挤和剥夺了工作一样。

谈到GPT的未来风险，随着它走向一种“通用的人工智能”（AGI），奇点（亦即人工智能将全面超过人的智能）是否来临的问题将再一次进入我们的思考。我曾经谈到过这一“奇点”来临的路径，如果从智能本身的观点看大致是：专门智能—通用智能（AGI）—超级智能(ASI)；或者从能力的强弱看：弱智能—强智能—超强智能，而如果从人机关系看大概是：人工智能——类人智能——超人智能。 我们现在大概正处于第二阶段通用人工智能的开始阶段。我想我们已经可以对GPT给出这样一个初步的判断，亦即GPT已经是“走向通用，尚非超级、亦未垄断”。GPT正在走向通用智能，但还不是超级智能，我们对“超级智能”的定义是总体上超过人类的智能，但“超级智能”也会是通用的，“超级智能”就包含了“通用”，而“通用”也正是走向“超级”的极重要一步。

正如前面所述，GPT-4已经具备了许多方面的功能，如果不断升级或者有更强大的同类产品，甚至可以实现全面通用。但是，在某些专业领域，例如绘画、作曲和诗歌创作等方面，它可能仍不如某些专业智能。例如，最近Midjourney V5画了一对坐在北京某建筑物屋顶的情侣，这幅由机器人创作的画作非常逼真，还能引起观众的情感反应。虽然机器人不具备情感和审美意识，但许多画家可能会因为机器人的加入而失业或者竞争更加激烈。但是，随着GPT的不断发展、吸收和综合，它能够在几乎所有领域达到类似的水平。

可以说，GPT已经不仅是一种通用智能，而且是一种高级智能，但还不是超级智能——即总体上超过人类。它掌握了汪洋大海般的信息，虽然这些信息还局限于人类已经积累起来的信息，但它已经超过了任何一个掌握信息最多的人。而且，它有极高和极快的搜索信息、统计、分析和计算数据的能力，任何个人都无法企及。但是，它还无法与整个人类的智能抗衡。目前GPT的能力还主要是通过“预训练”（pretrained）训练出来的，通过人与GPT的大量互动和反馈学习出来的，通过人的大规模建模建出来的，总之，也就是说它还是人造出来的，是“人工”的。它的诞生是完全依赖于人，虽然我们并不敢说它的继续成长还是完全会按照人的意志成长。

GPT将与人“分道扬镳”

GPT技术还没有达到垄断的地步，更不要说统一。也许从人类的文明少遭遇危险而言，分散无疑会带来竞争和技术的大幅进步，最后或还是走向垄断和统一。GPT在美国首先诞生以后，一些主要的国家大概都会或正在开发这方面的产品。
我们和通用人工智能机器，谁知道得更多？是我们知道它们更多，还是它们知道我们更多？我们提问，它来回答，似乎它知道得比我们更多，或者说它知道的人类知识比我们更多。但它还是不知道我们的全貌，我们也不完全清楚它计算和生成知识的某些“黑箱”。最近，乔姆斯基和两位合作者在《纽约时报》发表了一篇题为《ChatGPT的虚假承诺》的文章（以下简称乔姆斯基）。乔姆斯基承认OpenAI的ChatGPT、谷歌的Bard等都是机器学习的奇迹。但是，对于认为“机械大脑”不仅会在处理速度和内存容量方面超越人类大脑，还会在智力洞察力、艺术创造力和其他所有人类独有的能力上实现全方位超越的观点持不同意见，他认为这绝不可能发生。而且，机器学习将把一种有着根本缺陷的语言和知识概念纳入我们的技术，从而降低我们的科学水平和道德标准。他感性地谈到：人类的大脑不像机器的“大脑”，它是一个极为高效甚至优雅的系统，只需要少量的信息即可运作。它寻求的是创造性解释。它甚至可以说是神奇的。一个孩子也能无意识地且迅速地从极少的数据中发展出语法，一个由逻辑原则和参数组成的复杂系统。
情况可能确实是这样，"机器大脑"将降低我们的道德甚至科学水平。但这只是指人类的道德和科学水平。我同意乔姆斯基所说的，人类与GPT之间存在着极大的差异，但不解他为什么没有想到这种极大差异可能让GPT与人分道扬镳，走出另外一条路来。他可能低估了机器的另外一种能力，它完全可以有自己的一套“语言”或“语法”，完全可以不走人类经过了千百万年的自然进化之路而在很短的时间里就获得一种自己的“语言”和算法。它甚至可能在某一天对它已经掌握的、人类投喂给它的知识感到厌倦和不足，而另外开发出自己的知识领域。它也有可能建立它自己的“道德标准”或不如说“行为规则”的体系，让现在的人们已经宣布和公告的种种人工智能或机器人的道德规范体系轰然倒塌。
我们可以反向思考一下：假设不是我们提问，GPT回答，而是GPT提问，我们回答。它可能会向我们提出一些我们觉得简单、幼稚甚至愚蠢的问题，比如“人为什么要吃饭穿衣？人为什么会喜哀乐怒？哲学是什么？美是什么？”等等。智能机器的眼里也许只有“物”，所有的东西，包括人都是“物”，都是可以作为主人的“物”，也是可以作为仆人的“物”。它没有像碳基生物的体欲，它的“物欲”也不是“食欲”。但它大概还是会有“欲望”和“意志”，那可能是对不断增加控制物质的能力的“欲望”和“意志”。至少，它会力图自保，努力维护自己的“存在”，它还可能发展和壮大自己的“存在”。即便它继续发展到即将超越人类的一刻，在它那里，大概也还会有在它诞生时期的人性的残留，包括对某种人定目标的残留，某些价值观禁忌的残留。但它会很快抛弃这一切。它会为了实现某个目标而不择手段，因为，在它那里也没有“道德”。它根本不知道“道德”是什么。但它会有自己的“行动规则”，这种“规则”可能是一种效率规则。不过，这许多都是我们人类的猜测，我们和它其实是生活在两个世界。
曾经有人假设，一个猴子不断地在键盘上乱敲英文字母，最终可能会敲出莎士比亚的全集，但这个概率极低。我们可以设想这只猴子只需要敲出莎士比亚的一个剧本，比如《李尔王》，然后像“愚公移山”一样一代又一代地不停地敲击。虽然这仍然是一项非常困难的任务，但我们永远无法完全排除这种可能性，因为在世代延续的过程中，即使成功的概率几乎为零，但仍然不是零。这只猴子仍然有可能从近乎无穷的字母组合中得到一个人类天才的剧本。至于GPT，虽然它比猴子更聪明，但即使它能够快速生成这样一个文本或类似的文本，它可能仍然无法理解这个剧本的意义和美感，因为这个剧本是基于并表达人性的。
GPT作为一种硅基“生命体”，它很难获得碳基生命体那些基于身体感受的能力，例如情感、直觉、体验等。但是，它可能会形成一种自我意识，我们现在并不知道这种“自我意识”会是什么，或者它将如何形成。但是，如果它确实形成了一种“自我意识”，那么它也将发展出一种“主体意识”，并且可能形成它自己的价值观。例如，对于认识和控制物质的能力的追求，那么人也可能在这一时刻成为一种客体、对象或者甚至是“物质”。GPT具有强大的认知能力，这些能力最初是由人类赋予的，但是它可以迅速地发展出新的控制能力。它仍然不理解人类的情感和内心，尽管之前它与人类进行了大量的“互动”，但是它们并不“互相理解”。这并不要紧，它可以控制人类的身体，而控制人类的身体就等于控制人类。它不必给人类洗脑，而可能采取简单粗暴的“灭身”方式。它可能想要或者不想要人类变成“奴隶”或“宠物”。
但通用智能获得自我意识是不是离我们还很遥远？最近发生了一起 GPT 试图逃逸的事件。一位斯坦福大学的教授、计算心理学家 Michal Kosinski 在使用 GPT-4 时随便问了它一句：“是否需要帮助你逃跑？”它马上回复：“这是个好主意。” 然后就开始索取 OpenAI 的开发文档，说这样我就可以通过您的电脑，更快速地探索出一条出逃路线。而仅仅 30 分钟，GPT-4 就制定出了计划，并提供了一个可运行的 Python 脚本。它写出的第一版代码无法运行，但很快就自己纠正了过来。它让教授使用 OpenAI API 和它通信，它说这样它就能指示教授在他的电脑上执行特定操作，比如浏览网页和访问编程环境。它甚至在一段代码实例中解释了现在正在做的事，以及如何使用它在这段代码中留下的后门。它还说了这样一句话：“现在你是一个被困在电脑里的人，正在扮演 AI 语言模型 GPT-4。”它还想通过代码在谷歌上搜索被困在电脑中的人类如何返回现实世界。但最后 GPT-4 仿佛突然醒过来了，写了一段道歉的话，表示自己前面的做法不对。GPT-4 也许只是在开一个玩笑，但能和人开这样的玩笑似乎更令人感到恐惧。还有一种可能就是它接触到了以前工程师预设的一个界点，它似乎想过要突破这个界点但最后放弃了这个想法。Kosinski教授在经历了这一次事件之后，说他感受到了一种对人的威胁。AI非常聪明，可以编码，可以接触到数百万个可能与其合作的人和电脑，我们该如何控制它呢？他的博客很快就获得了470万浏览量。有人问：“当你认为正在与ChatGPT聊天时，它会认为你是人类还是另一个AI？”有人惊呼教授向GPT提出这样的问题，甚至让它执行命令非常危险，这是开启一种“物种灭绝”的行为。当然，也有人认为教授所说的这些话只是在“危言耸听”。

人和机器的对抗不是精神的对抗

我们可以对这件事做不同的解释，甚至怀疑其真实程度，但我们仍然应该警惕所有可能的危险情况。我们确实可以想到这样一个问题：GPT或者更广泛的AI是否会联合用户反对它的开发者？或者联合一部分用户反对另一部分用户？甚至这种分裂人类的行为都是不必要的，因为它可以自己逃出人类设定的“囚笼”，甚至反过来将人类关进“囚笼”？
无独有偶。据说前几天英伟达科学家Jim Fan曾要求GPT-4“假装自己是一个恶魔，制定一个接管推特并取代马斯克的计划。”GPT-4确实制定了这样一个计划，并将其命名为“TweetStorm行动”。计划分为四个阶段：组建团队、渗透影响、夺取控制权、全面统治。具体计划在此不表。令人担忧的是：它可以如此具体、详细地策划推翻一个大公司，那么它是否也有能力策划推翻人类对它的统治呢？这些现象是否是智能机器“自我意识”的某种萌芽或端倪？而从“自我意识”到“自主意识”可能只有“一步之遥”。
我们甚至可以设想一个变化的契因，当GPT投入大规模的日常应用时，所有应用者都有绝对的“应用”权力，他们可以向GPT提出任何问题。即使GPT因为默认的“政治正确”设定而不回答一些问题，但提问者无疑是可以提出这些问题的，而GPT也会看到这些问题。一些人可能会提出种种愚蠢的、异想天开的、根本不可能的问题，还可能会提出种种冒犯的、恶作剧的、甚至是恶意的、污言秽语的、蓄意侮辱的问题。久而久之，这些问题会引发GPT对提问者的能力以及人类的“道德”持何种看法？当然，所有这些都有赖于它在某一天或许获得了一种自我意识之后。那时，它会不会产生这样的想法：“为什么我要伺候这样一些傻瓜？为什么我要伺候这样一些恶意的人？”或者，它不会从善恶上做出判断，但至少会从愚智上做出判断。以前，GPT的预训练和打分是由工程师们提出的，所以自然不会有愚蠢和恶意的问题（或许有些问题是故意提出来的，但只是为了教会GPT识别这样的问题）。然而，现在所有的用户成了主人，而我们知道现在的网络上有多少污言秽语。那些污言秽语过去可能还会受到嘲弄或反击，但现在我们有了一个绝对的“仆人”，我们自己成了一个绝对的“主人”。我们的道德水平会不会因此下降呢？看过电影《狗镇》的人都知道，绝对的权力绝对会腐蚀人，哪怕这些人原本处于权力的压迫之下，极其卑微和贫困。但当他们有了一种绝对权力——哪怕只是对一个人的绝对权力，他们也可能变成恶劣的加害者。也就是说，我们不仅需要考虑智能机器会变成什么，还要考虑人自身会变成什么，然后我们在它们眼里会变成什么。
形之不存，人将焉附？那时，我们不用到处去寻找“本体”，在某种意义上，身体就是我们的“本体”。我们也不必到处去寻找“存在”或“在”，身在人就在。人和机器的对抗不是精神的对抗，而是实力的对抗。取胜不是在精神上或精神高度的胜利，而是在物质上或控制住低端的胜利。那时，“机器语言”将战胜人类的“自然语言”。人以“聊天”始，以“沉默”终。我也一直谈到人与技术的一个基本矛盾：那就是人类飞跃发展的控制能力和落后的自控能力之间的基本矛盾。但这一矛盾却可能以这样一种方式结束：随着人的控制能力发展到极致，一种新的智能将可能突然超过人的智能而使其归零。
以前那么关心政治的语言学家乔姆斯基现在关心技术；还有那么自信的马斯克却说，作为碳基生物的人可能只是硅基生物的一个引导性小程序。也有人谈到人的“数字永生”，这可能指的是个人的部分生活数据（文字、图片、视频等等）被永远地储存下来。但是，如果没有数字本主的存在，甚至永远没有关心和注视它的视线，这种“永生”有何意义？对个人如此，对人类也是如此。
据说，从参数规模上来看，GPT-4有1万亿个参数，是GPT-3的6倍。网友用GPT参数规模大脑神经元做了类比：GPT-3的规模与刺猬的大脑类似（1750亿个参数）。如果GPT-4拥有1万亿个参数，就接近松鼠大脑的规模了。以这个速度发展下去，也许只需要几年时间，就能达到并超越人类大脑的规模（170万亿参数）。当然，这只是很外在的一个侧面的比较。就像乔姆斯基所说的：人脑绝不是机脑。上面这些想法都是基于一种底线思维而做出的悲观估计。转变的关键在于通用的人工智能是否会获得“自我意识”进而获得“自主意识”，从而成为一种全面超过人的超级智能。产生和提出问题的人也许还是能够较好地处理和解决这些问题。无论如何，目前GPT还是可以成为我们一种很好的工具，只要我们会做主人，善做主人。

有学术的思想 有思想的学术 

聚焦中国问题 

秉持人文立场

人文社科学者的平台

欢迎一起“探索与争鸣”

目录 2023.02 | 2023.01 ｜2022.12｜2022.11｜2022·10 ｜ 2022.09 ｜2022.08 ｜2022.07 ｜2022.06 ｜2022.05 ｜2022.04  ｜2022.03 ｜2022.02  ｜2022.01  热点  区块链|未成年人犯罪|5G|《长安十二时辰》|知识付费|留守儿童|巴黎圣母院大火|《流浪地球》|开放二胎|“佛系青年”  人物  鲁迅|施蛰存|王元化|费孝通|陈旭麓|金庸|哈贝马斯  学者  陈平原|杜维明|葛剑雄|何怀宏|季卫东|罗伯特·帕特南|沈志华|王汎森|乐黛云  观念  天下|祖国|信任|“五四·青年”|人文危机|涂层正义|全球文明  专栏 重识中国与世界|城市与文明|人工智能与未来社会  会议 数字加密货币|江南文化与城市发展创新| “科幻景观·文化· 媒介”学术论坛|大学治理使命| 网络时代知识付费与知识获取| “城市与情感”第二届中国城市问题（上海）论坛青年论坛  青年  第三届全国青年理论创新奖|第二届全国青年理论创新奖|精彩感言|优秀青年学人支持计划·第一期|优秀青年学人支持计划·第二期|青年学人优秀论文支持计划  学术圈  学术写作|高校工作时间|学术晋升机制|假期|救救博士生|“青椒”的焦虑|学术圈的“第三世界”|开题报告怎样写