AI领袖发表公开声明：防范AI的生存风险应成为全球优先议题
导读
2023年3月29日，生命未来研究所官网发布公开信，联署呼吁暂停开发比GPT-4更强大的AI系统至少6个月。
公开声明和署名靠前的专家（截至发文时，名单持续更新中）
众多资深AI科学家和AI领袖已署名支持
已署名的专家包括：
“深度学习三巨头”中的两位Geoffrey Hinton与Yoshua Bengio
Google DeepMind CEO Demis Hassabis和联合创始人Shane Legg、首席研究科学家David Silver和研究科学家Ian Goodfellow
OpenAI CEO Sam Altman、联合创始人Ilya Sutskever和John Schulman
Anthropic CEO Dario Amodei、多位联合创始人Daniela Amodei、Tom Brown、Jared Kaplan、Chris Olah、Sam McCandlish
UC Berkeley宋晓东(Dawn Song)教授
清华大学张亚勤教授、詹仙园助理教授
中科院自动化所研究员曾毅研究员
……
AI专家、政策制定者和公众日益关注AI可能带来的生存风险
被称为“深度学习之父”的Geoffrey Hinton最近从谷歌离职后，就频频公开表达对AI技术的担忧。他表示AI技术发展的速度已经超过了自己曾经的预期，担心AI可能是对人类生存的威胁，而且威胁或比气候变化更为紧迫[2]。2022年的一项调查显示，近一半受访的AI研究人员 (在NeurIPS和ICML等重要机器学习会议上发表论文的作者) 认为AI导致人类灭绝的概率至少有10%[3]。同年的一项NLP领域调查也显示，36% 的受访者认为AI系统可能“在本世纪引发一场至少与全面核战争一样糟糕的灾难”[4]。在国内，对AI发展保持警惕的声音一直存在。近年来，多位院士和AI科学家讨论过AGI可能对社会和人类带来灾难性风险，包括高文[5]、方滨兴[6]、姚期智[7]、张钹[8]、朱松纯[9]、周志华[10]、曾毅[11]等。
各国政府也就AI风险进行了研判。英国政府在其2023年3月的《促进创新的人工智能监管方法》白皮书[12]中明确提到，AGI和影响生物安全的AI可能带来“高影响但低概率”的生存风险。英国首相苏纳克也会见了OpenAI、Google DeepMind和Anthropic的三位CEO，讨论AI带来的虚假信息、国家安全和生存威胁等风险，以及在AI安全和监管方面开展国际合作的可能途径[13]。最近，美国总统拜登在白宫会见了谷歌、微软、OpenAI和Anthropic的CEO，会议上直言“你们所做的事情具有巨大的潜力和巨大的危险”[14]。
同时，伴随着民众对AI的关注，担忧也随之而来。根据2021年中国科学院自动化研究所人工智能伦理与治理中心等科研人员设计的调研，我国大多数受访者认为强人工智能会对人类造成生存风险；2023年2月美国蒙茅斯大学调研发现55%的人认为人工智能最终可能构成生存威胁[15]。
安远AI长期关注AI安全与风险，认为AGI的确有可能导致生存风险
尽管目前不存在失控或者高风险的AI系统，安远AI基于对当前AI研究的理解和对未来AI发展的推断，总结了AGI可能会带来生存风险的多个具体场景。这也被称为威胁模型(Threat Model)，包括深度学习视角的对齐问题、寻求权力的AI、早期的概念性探讨、以及战争和滥用风险。其导致生存风险的路径，参考DeepMind研究团队的分类主要有两类[16]：一是来自“不对齐的权力寻求”，指AI系统将寻求权力作为一个工具性的子目标，且所追求的目标不是其设计者的意图；二是来自“多个系统的交互”，不仅仅指存在多个AI系统，更多是指风险来自AI系统之间的复杂交互，且因为我们对其严重依赖而无法轻易停止或转移。
而大模型作为当前AGI发展的主要方向之一，目前还没有可靠的技术可以控制大模型的行为，专家也还无法解释大模型的内部工作机制[17]，这意味着AGI的发展还存在许多未知的风险。近日，图灵奖得主Yoshua Bengio结合当前大模型的发展，从一系列关于可能危害人类的AI系统的正式定义、假设和主张开始，讨论了AI带来灾难的可能条件[18]。 Bengio认为当前的大模型几乎没有行为能力，但如Auto-GPT所示，可以将其转变为目标驱动的AI系统。尽管ChatGPT被设计为避免不良行为，但仅仅几个月内，人们就找到了“破解”ChatGPT的方法，解除其针对种族歧视、侮辱或暴力言论的限制。未来，如果我们构建了一个自主的和目标驱动的超级智能系统，但其目标没有严格和全人类的福祉对齐，那么它可能给人类社会带来生存风险。
安远AI认同防范AI的生存风险应成为全球优先议题之一
在迈入21世纪的今天，生存风险并未随着文明的进步而消失。相反，全球化进程与新兴技术的发展反而在一定程度上放大了生存风险[19]。
牛津大学哲学家托比·奥德(Toby Ord)曾就人类面临的生存风险的整体格局进行了讨论，并估计人为风险是自然风险发生概率的1000倍。他认为的五大风险包括核战争、气候变化、其他环境破坏、基因工程大流行病和价值未对齐的人工智能，并估计它们都至少有1/1000的风险概率在本世纪摧毁人类的潜力，因此需要全世界为消除这些风险做出重大努力[20]。
鉴于AI可能给人类带来堪比流行病和核战争的生存风险，我们支持“防范人工智能的生存风险应成为全球优先议题”的公开声明。在我们努力应对恶意使用、虚假信息和劳动力影响等迫切的AI风险的同时，也应该认真面对AI可能对人类构成的生存风险。
坚持底线思维要求我们凡事从坏处准备，努力争取最好的结果，对AI的发展也应如此。从相称性治理的角度，对于AI可能造成的风险，尤其是生存风险，必须付出与其可能造成的影响相称的努力，在关注度和资源上给予相应的投入，用于进行规划和缓解风险。
中方《全球安全倡议》认为，安全问题事关各国人民的福祉和人类的前途命运，提出多个重点合作方向，包括防止核战争、降低生物安全风险、解决气候变化，以及加强人工智能等新兴科技领域国际安全治理，预防和管控潜在安全风险。
我们呼吁在高级别的国际论坛上就这一问题展开讨论，以促进更多研究与共识。我们也鼓励中国的AI科学家和AI专家积极参与全球AI安全和治理，贡献中国智慧、提供中国方案、展现中国担当。
参考资料：
[1] Statement on AI Risk, https://www.safe.ai/statement-on-ai-risk
[2] AI pioneer says its threat to world may be 'more urgent' than climate change, https://www.reuters.com/technology/ai-pioneer-says-its-threat-world-may-be-more-urgent-than-climate-change-2023-05-05/
[3] 2022 Expert Survey on Progress in AI, https://aiimpacts.org/2022-expert-survey-on-progress-in-ai/
[4] What Do NLP Researchers Believe? Results of the NLP Community Metasurvey (Michael et al., 2022), https://arxiv.org/abs/2208.12852
[5] 高文，《针对强人工智能安全风险的技术应对策略》、《强人工智能与类脑计算路线及安全对策》、《新一代人工智能发展的战略战术与安全问题》、《新一代人工智能发展的安全问题》
[6] 方滨兴，《人工智能安全》
[7] 姚期智，《人工智能能否跨越智慧的疆界？》、《人工智能面对的一些挑战》、《人工智能理论的新方向》
[8] 张钹，《做负责任的人工智能》、《纯粹数据驱动的人工智能不可靠 存在危险》
[9] 朱松纯，《关于AGI与ChatGPT，Stuart Russell与朱松纯这么看》
[10] 周志华，《关于强人工智能》、《我们需要有意识、有情感的 “强人工智能”吗？》
[11] 曾毅，《伦理治理确保人工智能稳健可持续发展》
[12] A pro-innovation approach to AI regulation, https://www.gov.uk/government/publications/ai-regulation-a-pro-innovation-approach/white-paper
[13] UK to work with AI firms to ensure society benefits from the new technology, https://www.reuters.com/technology/uk-work-with-leading-ai-firms-ensure-society-benefits-new-technology-2023-05-24/
[14] White House Pushes Tech C.E.O.s to Limit Risks of A.I., https://www.nytimes.com/2023/05/04/technology/us-ai-research-regulation.html
[15] Artificial Intelligence Use Prompts Concerns, https://www.monmouth.edu/polling-institute/reports/monmouthpoll_us_021523
[16] Clarifying AI X-risk (Kenton et al., 2022), https://www.alignmentforum.org/posts/GctJD5oCDRxCspEaZ/clarifying-ai-x-risk
[17] Eight Things to Know about Large Language Models (Bowman, 2023), https://arxiv.org/abs/2304.00612
[18] How Rogue AIs may Arise (Bengio, 2023), https://yoshuabengio.org/2023/05/22/how-rogue-ais-may-arise/
[19] 何怀宏，《人类还有未来吗》
[20] 托比·奥德(Toby Ord),《危崖：生存性风险与人类的未来》