我们呼吁所有人工智能实验室立即暂停训练比 GPT-4 更强大的人工智能系统，至少暂停 6 个月。

具有人类竞争力的人工智能系统可能对社会和人类构成深刻的风险，这一点已经被广泛研究证明，并得到了顶尖的人工智能实验室的认可。正如广泛认可的阿西洛马人工智能原则所述，先进的人工智能可能代表了地球生命历史上的深刻变革，应该用相应的关心和资源进行计划和管理。不幸的是，即使最近几个月，人工智能实验室一直在进行一场失控的竞赛，试图开发和部署比 GPT-4 更强大的数字智能，但是没有人——甚至是它们的创造者——能够理解、预测或可靠地控制这些系统。

当前的人工智能系统正在变得具有人类竞争力，能够完成一般任务。我们必须问自己：我们是否应该让机器用宣传和虚假信息淹没我们的信息渠道？我们是否应该自动化所有的工作，包括那些令人满意的工作？我们是否应该开发非人类的思维，这种思维最终可能会超过、超越、过时和取代我们？我们是否应该冒着失去对文明的控制的风险？这些决定不应该委托给未经选举的技术领袖。只有当我们确信其影响将是积极的且风险可控时，才应该开发强大的人工智能系统。这种信心必须得到充分的证明，并随着系统潜在影响的重要性而增强。OpenAI 关于人工通用智能的最新声明指出，“在某个时刻，可能在开始训练未来系统之前进行独立审查非常重要，并且对于创建新模型使用的计算的增长速度，最先进的努力要达成共识限制。”我们同意。这个时刻已经到来。

因此，我们呼吁所有人工智能实验室立即暂停训练比 GPT-4 更强大的人工智能系统，时间至少为 6 个月。这个暂停应该是公开和可验证的，并包括所有关键的参与者。如果不能很快实施这样的暂停，政府应该介入并实行禁令。

AI 实验室和独立专家应该利用这个暂停期，共同开发和实施一套共享的高级 AI 设计和开发安全协议，并由独立的外部专家严格审核和监督。这些协议应该确保符合它们的系统是可以安全运行的，这个安全性是经过合理怀疑的测试的。这并不意味着要暂停所有 AI 的发展，只是要暂时停止那种不断扩大的、具有出现能力的不可预测的黑匣子模型的危险竞赛。

AI 研究和开发应该重新聚焦于让现有的最先进系统更加准确、安全、可解释、透明、稳健、对齐、值得信赖和忠诚。

同时，AI 开发者必须与政策制定者合作，大幅加速健全的 AI 治理系统的开发。这些系统至少应包括：专门负责 AI 的新型监管机构；对高度能力的AI系统和大量计算能力的监督和跟踪；可追溯性和数字水印系统，以帮助区分真实和合成数据并跟踪模型泄漏；一个强有力的审核和认证生态系统；AI 造成的损害应负有法律责任；强大的公共资金支持技术 AI 安全研究；以及应对 AI 所带来的巨大经济和政治颠覆（尤其是对民主制度）的机构。

人类可以在人工智能的帮助下享有繁荣的未来。我们已经成功地创建了强大的人工智能系统，现在可以在这些系统中获得回报，为了所有人的明显利益而设计这些系统，并给予社会适应的机会。社会已经暂停了其他可能对社会造成灾难性影响的技术。我们也可以在这里暂停。让我们享受一个长长的人工智能夏季，而不是匆忙地进入秋天而毫无准备。