叫停GPT-4后续AI大模型！马斯克与图灵奖得主带头签署公开信，要求暂停开发至少6个月
图片来源：Unsplash
来源 arstechnica.com、机器之心等
编译 科研圈
本月早些时候，OpenAI 发布了新一代多模态预训练大模型 GPT-4，准确性较 GPT-3.5 有明显提升，并在多项专业考试中横扫人类考生。尽管这一说法仍有待更多研究和评估，但 GPT-4 和其衍生出的 ChatGPT、Bing Chat 在功能上的进步令一些专家感到忧虑。
信中这样写道：“具有人类智能水平的 AI 系统可能对社会和人类带来极大的风险，这一点已经得到顶级 AI 实验室的认同。正如广泛认可的 Asilomar AI 原则中所述，高级 AI 可能代表地球生命史上的深刻变化，应以相应的关怀和资源进行规划和管理。”
因此，该信呼吁所有人工智能实验室应立即暂停训练比 GPT-4 更强大的 AI 模型，为期至少 6 个月。在暂停期间，公开信的作者建议实验室和独立专家合作，针对 AI 的设计和开发建立共享的安全协议，并由独立的外部专家监督，确保 AI 系统“安全、无可置疑”。
公开信网页截图
公开信译文
大量研究[1]表明：具有人类智能水平的 AI 系统可能对社会和人类带来极大的风险，这一点已经得到顶级 AI 实验室[2]的认同。正如广泛认可的 Asilomar AI 原则中所述，高级 AI 可能代表地球生命史上的深刻变化，应以相应的关怀和资源进行规划和管理。不幸的是，目前尚无这种级别的规划和管理。最近几个月人工智能实验室陷入了一场失控的竞赛，他们致力于开发和部署更强大的数字思维，但是没有人能理解、预测或可靠地控制这些大模型，甚至模型的创造者也不能。
当代 AI 系统现在在一般任务[3]上表现与人类相当，我们必须扪心自问：
· 我们是否应该让机器用宣传（尤指褊狭、误导的）和谎言充斥我们的信息渠道？
· 我们应该自动化所有的工作，包括令人满意的工作吗？
· 我们是否应该发展最终可能超越我们并取代我们的非人类思维？
· 我们应该冒险失去对我们文明的控制吗？
我们不应该将此类决定交给未经选举产生的技术领导者。只有当我们确信 AI 大模型的影响是积极的并且风险是可控的时，我们才能开发强大的 AI 系统。而且，这种判断必须有充分的理由，并随着系统潜在影响的大小而跟进。OpenAI 最近关于人工智能的声明指出：“在开始训练未来系统之前进行独立审查可能很重要，并且对于最先进的工作来说，人们应该在合适的时间点限制用于创建新系统的计算增长率。”我们认为，现在已经到了这个时间点。
因此，我们呼吁所有人工智能实验室立即暂停训练比 GPT-4 更强大的 AI 系统，为期至少 6 个月。这种暂停应该是公开的和可验证的，并且所有关键参与者也应该暂停相关工作。如果不能迅速实施这种暂停计划，政府机构应介入并暂停。
人工智能实验室和独立专家应该利用这次暂停，共同开发和实施一套用于高级 AI 设计和开发的共享安全协议，并由独立的外部专家进行严格审计和监督。这些协议应确保遵守它们的系统是安全的，无可置疑的[4]。这并不意味着总体上暂停 AI 开发，而是从具有新兴功能的、不可预测的大型黑盒模型的危险竞赛中后退一步。
AI 的研究和开发应该重新聚焦于使当今强大的、最先进的系统更加准确、安全、可解释、透明、稳健、一致、可信和可靠。
同时，AI 开发者必须与政策制定者合作，大幅加快强大的 AI 治理系统的开发。这些工作至少应该包括：专门针对人工智能的新的、有能力的监管机构；对高能力的人工智能系统和大型计算能力池的监督和跟踪；帮助区分真实和合成数据的溯源、水印系统，并跟踪模型泄露；强大的审计和认证生态系统；对人工智能造成的伤害的责任认定；对人工智能安全技术研究的强大公共资金；资源丰富的机构，以应对人工智能将造成的巨大经济和政治混乱。
人类可以通过 AI 享受一个繁荣的未来。在成功创造出强大的 AI 系统之后，我们现在可以享受一个“人工智能之夏”。在这个夏天，我们收获了回报，为所有人的明确利益设计这些系统，并给社会一个适应的机会。社会已经暂停了对自身有潜在灾难性影响的其他技术[5]。我们在这个领域也可以这样做。让我们享受一个漫长的人工智能之夏，而不是在毫无准备的情况下冲进秋天（Let's enjoy a long AI summer, not rush unprepared into a fall）。
注释和参考资料： [1] Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021, March). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?🦜. In Proceedings of the 2021 ACM conference on fairness, accountability, and transparency (pp. 610-623).
Bostrom, N. (2016). Superintelligence. Oxford University Press.
Bucknall, B. S., & Dori-Hacohen, S. (2022, July). Current and near-term AI as a potential existential risk factor. In Proceedings of the 2022 AAAI/ACM Conference on AI, Ethics, and Society (pp. 119-129).
Carlsmith, J. (2022). Is Power-Seeking AI an Existential Risk?. arXiv preprint arXiv:2206.13353.
Christian, B. (2020). The Alignment Problem: Machine Learning and human values. Norton & Company.
Cohen, M. et al. (2022). Advanced Artificial Agents Intervene in the Provision of Reward. AI Magazine, 43(3) (pp. 282-293).
Eloundou, T., et al. (2023). GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models.
Hendrycks, D., & Mazeika, M. (2022). X-risk Analysis for AI Research. arXiv preprint arXiv:2206.05862.
Ngo, R. (2022). The alignment problem from a deep learning perspective. arXiv preprint arXiv:2209.00626.
Russell, S. (2019). Human Compatible: Artificial Intelligence and the Problem of Control. Viking.
Tegmark, M. (2017). Life 3.0: Being Human in the Age of Artificial Intelligence. Knopf.
Weidinger, L. et al (2021). Ethical and social risks of harm from language models. arXiv preprint arXiv:2112.04359.
[2] Ordonez, V. et al. (2023, March 16). OpenAI CEO Sam Altman says AI will reshape society, acknowledges risks: 'A little bit scared of this'. ABC News.
Perrigo, B. (2023, January 12). DeepMind CEO Demis Hassabis Urges Caution on AI. Time.
[3] Bubeck, S. et al. (2023). Sparks of Artificial General Intelligence: Early experiments with GPT-4. arXiv:2303.12712.
OpenAI (2023). GPT-4 Technical Report. arXiv:2303.08774.
[4] Ample legal precedent exists – for example, the widely adopted OECD AI Principles require that AI systems "function appropriately and do not pose unreasonable safety risk".
[5] Examples include human cloning, human germline modification, gain-of-function research, and eugenics.
监管难题
尽管这封信有来自 AI 学界和业界多位名人的署名支持，但他们并不能 AI 领域的全部声音。
科技媒体 Ars Technica 指出，AI 领域内对于“人工智能的潜在危险”这一问题的认知本身就存在巨大分歧。美国计算机学者 Timnit Gibru 认为 GPT-4 还没有强大到需要害怕的程度，在人们还没有彻底“看清”之前没必要害怕。
而美国华盛顿大学计算语言学实验室主任 Emily Bender 在社交平台上表示，这类模型已经被证明会衍生出广泛的社会偏见和虚假信息，对 AI 超越人类的恐惧则会有助于推动这类商业模型的宣传。她还指出，带来风险和危害的从来不是“过于强大的 AI”，而是权力由此高度集中，系统性压迫得以复制，信息生态遭到破坏，能源滥用毁灭自然。
不过，在这场辩论中，很多人都同意 AI 领域的变化在过去一年中非常之快，法律体系、学术研究、道德文化等各个方面都没有时间适应这种可能开启经济变革的新工具。即使是 OpenAI 自身也在敦促让 AI “减速”。马斯克等人联署的公开信认为，这个关键节点就是现在。但从实践或监管角度来说，目前我们并不清楚到底怎样才是“比 GPT-4 更强大”，这封信也没有明确指出如何测试多模态或大型语言模型的相对能力，以确保它们“合规”。而且 OpenAI 一直严守关于 GPT-4 如何工作的技术细节。此外，对潜在的 AI 系统，尤其是 GPT-4 这类大型语言模型的监管似乎还没有在政府层面形成共识，社会也缺乏具备法律效力的条文，这都令所谓的“监管”难以执行。
不论未来是否会出现 GPT-5 或 GPT-6 ，也不论它们是真能全面超越人类还是炒作的噱头，如何与 AI 共存是我们必须面对的课题。
主要来源：
1.https://futureoflife.org/open-letter/pause-giant-ai-experiments/
2.机器之心 https://mp.weixin.qq.com/s/pGAL89rrgC2bJLDcFbOzMg
3.https://arstechnica.com/information-technology/2023/03/fearing-loss-of-control-ai-critics-call-for-6-month-pause-in-ai-development/
本文来自微信公众号“科研圈”。如需转载，请在“科研圈”后台回复“转载”，或通过公众号菜单与我们取得联系。相关内容禁止用于营销宣传。
▽ 精彩回顾 ▽