AGI即将来临，谁来守护人类? OpenAI 超级对齐部门人事变动

最近，不仅 OpenAI 首席科学家 Ilya 正式离职，连他的直接领导的 OpenAI 超级对齐部门主管 Jan Leike 日前也宣布辞职了，这消息引起了不少关注。

超级对齐部门的任务：确保 AI 在任何情况下，不危害人类的安全

CEO 奥特曼不得不提前打预防针，他将撰长文解释

Leike 的离职不仅仅是一次普通的人事变动，还反映了 OpenAI 内部对公司使命的深层次分歧。

Leike 在离职声明中提到，OpenAI 在计算资源上不够用，难以同时支持“超级对齐”项目和大规模扩展 ChatGPT 服务。这直接导致了 Sam Altman 和 Ilya Sutskever 之间的争论。争论的核心在于，公司应该专注于 AGI（通用人工智能）及其安全性研究，还是优先扩展 ChatGPT 等现有服务。

扩大 ChatGPT 服务需要大量计算资源，而这些资源的占用让 AGI 安全研究受限。如果 OpenAI 还是一家专注研究的非营利组织，那毫无疑问应该把资源投入到确保 AGI 安全的“超级对齐”项目上。但现实是，OpenAI 更像一家追求“世界统治”的科技巨头，不断推出针对企业和消费者的多项功能和服务。

在 Leike 和 Sutskever 看来，这种急功近利的做法非常危险，因为我们对 AGI 了解还不够多。Sutskever 坚信，随着计算能力的提升，我们可能会看到机器意识的出现。

尽管这一观点有争议，但不可否认，面对未知风险，谨慎行事总是更好的选择。因此，Sutskever 和 Leike 坚持认为，应该优先进行“超级对齐”研究，以确保 AGI 的安全发展。

Leike 认为，解决这个问题的最佳方式是开放和透明，让全人类共同监督和确保 AGI 的安全发展。然而，OpenAI 似乎既不愿意开源，也不愿意全力投入超级对齐研究，而是全力冲刺 AGI 的发展，同时试图建立竞争壁垒。

Leike 在离职声明中表达了对 OpenAI 现状的深切担忧。他提到，过去几年中，安全文化和流程逐渐被闪亮的新产品所取代，导致公司未能充分准备好迎接 AGI 的影响。他强调，建造比人类更智能的机器本质上是一项危险的工作，OpenAI 肩负着为全人类负责的巨大责任。

Leike 呼吁 OpenAI 员工重视 AGI 的发展，采取严肃认真的态度，进行必要的文化变革，以确保 AGI 能够造福全人类。他的离职不仅是对 OpenAI 现状的不满，更是一种对公司未来方向的警示。

不过，著名 AI 科学家李飞飞有不同看法，她 1 周前接受采访，曾表示安全问题被夸大了，李飞飞：- 我更担心的是更为紧迫的社会灾难风险。我也担心人类灭绝风险被过度炒作。我觉得这已经被夸大了。

这次人事变动暴露了 OpenAI 在使命和战略上的重大分歧，也提醒我们在追求科技进步的同时，必须时刻警惕其潜在风险。AGI 的安全不仅关乎 OpenAI 的发展，更关乎全人类的未来。只有在开放透明的前提下，集思广益，我们才能确保 AGI 的安全和福祉。