辛顿之忧：拿什么面对加速变革的动荡未来
2024年的诺贝尔物理学奖，颁给了AI教父杰弗里·辛顿，角度出人意料但贡献实至名归。然而辛顿在接到诺贝尔官方电话时，却重点表达了对人工智能发展的深层担忧：“我认为我们正处在历史的某个关键点，在接下来的几年时间里，我们需要弄清楚，是否有办法应对这种威胁……特别是考虑到一旦这些事情（AI）失控，就会接管人类，使人类面临生存威胁。”
辛顿对人工智能的“不安”，与气候变化、生物技术不同。他认为要缓解气候变化，“你需要做什么”是很明确的，生物技术专家对克隆等问题的控制做得也比较好。但是要解决人工智能领域的问题，我们实际上对于即将发生什么以及如何应对知之甚少。应对人工智能带来的挑战，局面要困难得多。
对于“你是否担心人们不认真对待你的警告”这个问题，辛顿非常确定地称，AI大模型有理解能力，乔姆斯基语言学流派认为其没有理解力的判断是错的。现在人们必须研究如何将其置于人类的控制之下。我们需要投入大量的研究精力。我认为政府可以做的一件事情，就是迫使大公司在安全研究上投入更多资源。这样，像OpenAI这样的公司，就不能只是把安全研究放在次要地位。
而OpenAI在“向人类对齐”与“商业化超级加速”之争以首席科学家、对齐派伊尔亚·苏茨克维落败并离开之后，安全团队半数被清洗，昔日高管团队大多去职。山姆·奥特曼一人掌控，融资66亿美元的同时，奥特曼发表长文称 ASI将在「几千天内」降临！人类奇点近在咫尺。
乱纪元倒未必，但走向奇点一定程度上也是走向沸点。人类社会如同一个处在持续加热过程的能量体、能量生态，随着温度、能级不断升高，个体与群体、局部与整体都更为活跃。传统组织、秩序、规则、关系不仅越来越不适应，而且逐渐不再能作为“社会容器”有效承载和容纳。全球化重组、国际关系撕裂、经济竞争与下行挑战、地缘冲突、种族矛盾等，与信息科技、人工智能一起，成为有可能导致熵增的“加热器”。
如何行稳致远？未来的深处如果没有“新三观”，超级智能不仅可能意味着力量与利益失衡，还可能意味着失序，如果应对不当，本来可以实现智能普慧、互利共赢的AI革命，有可能变成零和甚至双输、没有赢家的游戏。
人工智能奠基，神经网络开创，辛顿一路走来最了解AI尤其是强智能、超级智能。最了解的人一直以来对人工智能深深担忧，不了解的人没有理由盲目乐观。
舆论对AI来袭的反应，心态有些复杂，始终是希望与担心并存。一声声惊呼，一次次发问，只不过随着越来越习惯，惊呼少一些，发问多一些了。
不再频频惊呼是因为人们已经越来越清楚地知道，强智能的进化正在加速，必然带来前所未有的改变。
开始频频发问是因为，AI带来的冲击已经近在眼前，与每个人切实相关，而重大关切问题中远期并不明朗。
五种力量正在影响走向，一是智能科技的创新发展原力，二是企业的觉（悟）力，三是国际国内治理规则的约束和推动力，四是需求引力，五是个人和舆论出于权益保护而对智能及相关企业施加的压力。
OpenAI创始人Sam Altman之前在《华盛顿邮报》撰文，充满浓厚的意识形态色彩，似乎有意将中美两国的AI从合作引向对立；9月24日，他在社交平台X上发表的长文《智能时代》则声称超级智能有可能在几千天之内到来；但是紧随ChatGPT Voice发布的是多位高管离职和Altman将获得10%股权的传闻。
OpenAI终于从一家使命凝聚的公共平台，转换为一家利益凝聚的一人内控企业。
与此同时，全球范围内争议四起。荷兰法官用AI判案，一些专家称十分荒谬；美国游戏演员因AI威胁发动大罢工；美国加州提起的《前沿人工智能模型安全创新法案》试图为高风险AI模型建立安全标准，以防滥用或引发灾难性后果，李飞飞等业者反对；接连车祸后美国加州无人驾驶出租车投用量砍半，而萝卜快跑在中国武汉投放市场后，有望在“AI取代就业”的争议声中扩展到更多城市……
AI快进，争议也在快进。史上最为剧烈的变革过程，其实才刚刚开始，后续冲击远非当前可比。
从强智能到超级智能的发展，堪称影响人类命运的全球竞赛，与每个人相关，人人都有权利关注、表达、议价、博弈，面对超级智能维护自己的权利。
非常赞同Elon Musk等上千位科技业者之前发出的呼吁信里的一句话：我们需要负责任地监督AI的发展，并让社会有机会逐步适应AI带来的冲击。
从来不怀疑AI能做什么，但更重要的问题其实是：人类选择让AI做什么（能做什么不能做什么），发展什么样的AI（中心化还是分布式，力量极化还是生态平衡），以及谁的AI（少数人控制还是共同发展，数字鸿沟还是智能普惠，是一部分人控制AI剥夺和驱逐另一部分人，还是让更多人获得发展，扩大人群差距还是弥合差距）。
AI的发展，一半是“技术-产业-市场”问题，一半是公共问题。如果不能从一开始意识到AI其实是有史以来最不是技术问题的人类形态导向，不能摆清人与AI的关系，必将遭遇其反身性。
AI尤其超级智能出现的生态化、平台化、操作系统化、中心化（以及未来的寡头化）发展势头，已经引起警觉。全球AI峰会、美国人工智能发展路线图都是信号，中国的行动也一定在路上。
对这场变革，可能需要有更充分的预期和心理准备。
科技与新全球化，也是个人关系、生产关系、社会关系、国际关系等历经博弈重新塑造的历史过程，而且这个过程在一定程度上是IT、新IT技术革命在生产力和生产关系层面的变革所产生的结果。
由于还存在强智能走向超级智能这个方面，人智关系因此也成为未来一条重要主线，且人智关系将在较大程度上影响其它主线的走向。所以正在到来的变革远不只是技术与应用的局部变化，远不只是生产力变化，而是秩序、规则、机制、组织、形态、经济等相互交织的立体变革。且这个过程正在加速进行。
变革不仅是科技、产业、经济的，也将是社会、文化、心理的；不仅剧烈，也可能引发冲突甚至关系对立。工业革命如此，信息革命如此，智能革命更是如此。革命从来不是一路欢歌。
变革也可能是交锋。比如工作消失必然伴随失业，产业颠覆必然伴随凋敝，社会再造必然伴随动荡。
新职业、新产业、新经济涌现，创造大量新就业机会。但机会不是所有人的，总体就业增加，并不意味着相当一部分人不会失去工作。总有一些人、一些企业会成为时代的牺牲品。
AI快进的过程，有新生，有死亡，有欢欣，有痛苦。人智关系、人机关系这条贯穿未来的主线，需要重点解读。
2020-2050年，这个时间区间，智能的发展粗略看，可能陆续会出现九个重要节点。
节点一是强智能产生；
节点二是强智能的军事化；
节点三是多模态驱动AI走向现实世界；
节点四是AGI（通用人工智能）来临；
节点五是AI被应用于人类治理；
节点六是EI内生智能出现；
节点七是智能-生物-量子技术交融驱动生命科学在范式转移的基础上大发展；
节点八是人与智能的交融发展进入相变区间；
节点九是II自主智能到来。
每一个节点都是相对而言，每一个节点都将空前考验群体智慧。能不能形成共识，能不能做出恰当的选择，能不能形成发展与安全并重的公共政策，旨为关键。
在这个过程中，越是科技能力加身，克制反倒越珍贵。未来科技越是创新发展，越需要人文观念之锚。AI很重要，但人更重要，对人类的AI（爱）也比AI更重要。
如果不能形成“新三观”，人类将可能hold不住超级智能？这个担心不是多余的。群体智慧里生发出“新三观”，才可能行稳致远，至少不翻船。
新三观的提法仅供商榷，新三观包括创新未来观、科技价值观和智能发展观。
创新未来观，意味着对科技业态的全景认知，对科技创新趋向、智能发展走向、产业经济与社会发展走向进行长期持续关注，形成面向未来的观察理解。创新未来观更多是认知。
科技价值观，意味着从人机关系、人智关系、科技与社会关系角度，形成个人、企业、社会、国家、国际的科技价值观，以人为本，科技向善。科技价值观更多是观念。
智能发展观，意味着人工智能的公共政策、科技产业发展政策、智能社会理念，本着可持续与协调发展原则，落地成为切实可行的措施。智能发展观更多是行动思路。
AI爱人，是发展AI的起点。以人为本，是人智关系这条航线的锚点。
人智关系的发展，可能相对会经历四个阶段：无障碍、有温度、能共情、可共生。
无障碍阶段解决的是人机自然交互问题，用户体验无障碍；有温度阶段解决的是AI服务于人的过程中的人智友好问题；能共情阶段解决的是智能对人情绪情感的理解与回应问题，机器人在这个阶段真正实现可陪伴，而不只是机器形态的人；可共生阶段解决的是人智交融发展问题，从规则到躯体-智能体，人与智能共同进化。
以人为本的智能也就是人本智能，首先意味着AI普惠、普慧算力。智能，为每一个人，而不是为少数人。全球不同地区、不同族群、不同行业、不同个人与家庭，均有权利获得智能的普遍服务。防止数字鸿沟延伸为智能鸿沟。不同用户所获得的智能，如果水准差异较大，也会导致智能鸿沟。
人本智能其次意味着智能的形态是以每个人为中心，分布式端侧智能与中心化云端智能协调发展。人本智能作为每个人的智能、每个人的AI，其形态有别于虽然为每个人所用，但实质是超级智能巨头的智能的依附形智能。智能对人对劳动的解放，为每个人赋能是基础。
人本智能再次意味着对人的隐私安全、个人数据等方面的尊重和保护。每个人可以掌控的自己的智能，是安全的基础。数据不出本机，应用不离本地，有助于相对安全。
人本智能再次意味着科技业者对产品服务、企业形态、价值范式、生态方位、商业社会角色的重新定义。不仅做到产品服务体验以人为本，智能形态以人为本，企业发展以人为本，企业社会责任以人为本（企业的存在本身就是社会之益），更要做到重新理解商业、科技、社会、人之间的关系，重新理解商业的本质，由此重新定位科技商业企业与社会的关系，实现超级智能的生态和谐发展。
以下10个方面的关系能否处理好，决定超级智能及相关企业能走多远。因为未来的人智、人机关系从根本上取决于包括这10大关系在内的底层逻辑：
1.发展与规范的关系：不同阶段平衡点在不同位置，早期发展为主，规范为辅。
2.加速与对齐的关系：其实对齐有助于加速发展，e/acc（有效加速）有助于打破板结，建立新的平衡；e/acc不能目中无人，Super Alignment（超级对齐）不必唯安全论。
3.集中与分布的关系：中心化与去中心化，不仅与利益相关，也与力量的集中与分散高度相关，更与人智关系是依附型还是自主型相关。
4.数据与隐私的关系：数据流动不可避免，数据确权比较困难，围绕流动和使用来界定的基础上，保护用户数据隐私安全，是人本智能的基础要件。
5.开放合作与生态保护的关系：基于算力、模型核心能力所形成的广泛的开发者与合作伙伴生态，上下游之间逐步确立边界，尤其是闭源模型与基于API的开发者的边界，超级入口与App的边界，开源模型与闭源模型的竞争合作与互补发展等。
6.彼此竞争与共同发展之间的关系：智能服务企业之间、模型厂商之间、芯片与算力，如何在竞争的同时避免过度竞争，避免生态的破坏性内卷。
7.智能科技与传统产业之间的关系：如何为千行百业赋能而不是消灭替代传统行业企业，如何让变革的过程进行得和平一些，如何让智能成为增量创造者，而不是存量重新切分者。
8.效率与公平的关系：这将是强智能向超级智能发展进程中，悬在智能业者面前的一道难题，很多时候效率与公平往往难以平衡，企业也很难做到自动自觉。新的生产力对旧的生产力的替代过程，必然会冲击到就业，必然会导致基尼系数局部扩大，但只有意识到从根本上企业与社会是共生关系，强势与弱势群体也是共生关系，智能的发展才能降低社会摩擦成本。
9.技治与政治的关系：智能平台越来越像社会企业，超级智能体会比互联网平台更深入渗透到经济社会活动的方方面面，不再只是Apps，而是数字与现实的种种场景，从算法即规则、规则即治理到智能即现实，智能生态越来越多、越来越底层的部分实际上开始处于技治层面，全球性超级智能综合体也往往超越了传统国家的治理边界。
10.科技与伦理道德的关系：在治理问题上人服从机器还是机器服从人？在破译的基础上智能能否用来编辑和增强人？即使技术上未来是可行的，智能可否用来读取人脑？诸多根本问题需要回答。
2017年ASILOMAR会议提出的关于AI的23条原则，是过去以来各方广泛认可的基础认知框架。但是ASILOMAR原则一方面时过境迁，另一方面更像是一些讨论点而非面向未来的系统行动的思路框架。
笔者认为，是时候在各方交流基础上，索引未来共识，促进主要原则的形成，助力超级智能的普惠与可信赖发展。综合各方动态，笔者结合相关研究，初拟《AI发展21原则》，抛砖引玉，仅供参考：
1.AI为人，普慧人类：一切AI均以人类为中心，帮助人、服务人、普惠人类，服从于人，人类控制AI；
2.全球公共事务与广泛协调：AI影响人类命运，是全球性的公共事务，应符合人类普遍伦理道德和根本利益，为此需要开展国际合作，广泛协调；
3.社会企业与商业边界：商业权益私有与超级智能服务于广泛的公共利益可以并行不悖，但AI相关企业应理解为提供公共产品的社会企业，超级智能不应成为纯粹的私器，商业有边界与底线，不应凌驾于人类之上。
4.不驱逐人：总体扩大就业、促进经济、增加收益，AI以科技生产力的进步创造新价值，将人从繁重劳役中解放出来并给人类以生活、教育和工作等方面的基础支持，与应许之地有关，而不是以广泛替代将人类驱赶到无依之地。
5.重要节点的广泛确认：对AI尤其是超级智能发展进程中的重要节点进行广泛的预研、观察，评估其中对于人类社会的重大利害，进行持续监督，建立人类对这些重要节点是否通过的确认机制（节点参考10个奥本海默时刻）；
6.超级对齐与安全系统：开发能够确保AI持续安全运行的系统，尤其需要让超级对齐成为超级智能有效运行的首要基础；
7.避免AI对人的控制：AI不应成为妨碍人类正当行为的约束系统，避免AI对人的控制，由此防止未来机器对人的统摄成为现实；
8.可解释：实现AI训练与推理过程及结果的可解释，避免黑盒模型的危险竞赛和重大不可测。
9.透明、可监督：原理、算法、数据、规则、结果可见，可实施内部、外部监督。
10.可标识、可区分、可追溯：AI内容与服务，明确标注AI生成以免真假混淆，方便公众及时有效区分人类行为产物与AI行为产物，以区块链等技术手段支持AI内容来源的可追溯；
11.分级分类：风险防范机制以及对AI的监管不应一刀切，包括对低龄人群的服务内容，需要适用分级分类原则，具有适度的动态、灵活性，以促进AI发展和用户方便。
12.可确信、可信赖：提升AI对内容理解、生成的准确性，减少AI因恍惚生成误导性的虚假信息。
13.防止对AI系统的反向诱导、信息污染和操纵欺骗：用户提供给AI系统的数据信息，系统以识别能力防止AI被恶意操纵，因数据信息污染而波及其它用户。
14.尊重人类知识财富，保护知识产权、数据所有权：AI的研发与使用，使用了人类有史以来积累的几乎所有知识财富，AI的发展应该建立在对这些知识财富的尊重，以及对全球数据、信息、知识各项权益的保护之上，明确来源，尊重版权、知识产权、数据所有权。
15.用户数据信息与隐私保护：AI应用的参与者和非参与者，其数据、信息、隐私都应得到切实保护。用户提交给AI系统的数据，AI系统可从用户及其设备中获得的数据，其权限与使用范围应有严格界定，不可将用户未许可的本地、云端数据用于训练或转用于服务其它用户、合作伙伴。
16.开放、协作、分享：AI领域保持高度的开放性，吸引产业链、开发者、合作伙伴、用户的协作参与，广泛分享发展红利，避免AI平台的生态链通吃。
17.生态平衡：中心化、行业企业私域、个人AI等不同形态AI融合发展，平衡的生态对用户利益和人类权益都很关键，去中心化形态是生态的有益部分，未来也是对AI生态的有效支撑。
18.避免垄断、寡头化、少数人控制：超级巨头与超级智能的合体，超级智能为少数人控制，意味着权力极化和力量失衡，在AI发展早期尤其需要避免科技、产业、市场过早过快高度集中，和基于生态控制的对用户利益的支配性剥夺；避免少数人控制；实际上超级智能不应与任何一种超级力量、权力中心合体。
19.直接责任主体：AI的开发者、运营者、投资者，相关企业的实际控制和管理者，对确保AI安全负有直接、重大的根本责任；尤其超级智能的责任主体，更加肩负着广泛的社会责任和为人类利害负责的道义。
20.防止滥用、间接利用AI作恶：AI系统无法做到完全不被滥用，也无法完全防范欺骗行为、虚假信息、各类犯罪间接利用AI作恶，对于AI系统及其运营者以外的人类产生的有害行为，AI业者协助协同有关各方，采取有效治理措施。
21.AI普惠的未来路径：现有AI主要商业模式从根本上依然是传统的，难以从根本上避免数字鸿沟的扩大。普惠AI，人人参与人人受益的AI，从根本上需要探索新的技术路径、商业架构、底层基础设施形态，这可能是算力分布、去中心化智能、区块链/智能合约与现有生态的结合。
利用全人类有史以来积累的几乎所有知识财富诞生，利用数十亿人的广泛参与、数据与行为的给养成长，这样的AI需要在每一处个人节点层级回馈人类，如此才能形成长期互利共生的可持续发展生态。
如果不以技术/产品、产业/经济、科技/社会、人/智能关系的长周期多维统合观察为基础，不足以形成对生态走向的中长期预判，所以看业态是看生态的基础，但对业态影响最大的其实会是生态。
超级智能未来最大的发展成本既不是算力，也不是电力，也不是研发与运营，而是社会。智能能不能够发展成为比较科幻的样子无须质疑，即使AGI也不是终点。而在技术的进化之外，未来两条成本曲线决定智能前景，一是单位智能的技术成本，必然逐步降低，另一条曲线是智能总体的社会成本，必然逐步升高。
只不过从财务模型角度，社会成本无法计为直接成本。但是有远见的生态型企业，必然思考如何有预见性的平抑而不是被动等待甚至以自身行为抬高社会成本。
从根本上说，人智关系的走向，超级智能未来的社会处境，从根本上取决于AI商业的底层逻辑，AI产品的内在，AI企业的科技三观。前文说到5种力量正在影响AI与人智关系的走向，企业的觉（悟）力是其中非常重要的一个方面。
企业的觉（悟）力有主动有被动。比如OpenAI迄今为止总体比较被动。而IT企业的姿态以主动居多。比如联想集团继“普慧算力”之后，提出“人本智能”理念，智能不是取代人，而是应该以人为本，服务于人，所以应该发展“人人可用人人受益”的AI。
当然这也是与其长期以来的Smarter for All的理念一脉相承。混合智能、企业智能帮助各行各业企业实现智能化。而AI PC和AI手机将个人大模型、个人智能体带给个人用户，量身定制个性化的AI助理。
人本智能，个人认为既是对人智关系的长远定义，也是对分布式、以人为中心的智能形态的理解。中心化与分布式，既意味着力量分布，也意味着利益分布。毫无疑问分布式对个人对用户长期更友好。
/// END ///
No.6007 原创首发文章｜作者 胡延平
作者简介：FutureLabs未来实验室首席专家，信息社会50人论坛成员。《全球创新前沿科技地图》及相关研究项目主导者，科技畅销书《黑科技》共同作者与出品人。
开白名单 duanyu_H｜投稿 tougao99999｜图片 视觉中国/豆包
欢迎点看【秦朔朋友圈视频号】