加州通过人工智能法案，硅谷AI发展迎来新挑战

法该
美国加州议会于2024年8月28日通过了《前沿人工智能模型安全创新法案》（以下简称：“SB 1047法案”），这是美国首批也是最重要的人工智能系统管理框架之一。该法案计划通过制定各种测试、安全和执法标准，为大型人工智能模型的开发增加新的要求，旨在遏制人工智能可能被用来制造对公共安全的新威胁，如网络攻击、自主犯罪甚至大规模杀伤性武器。
SB 1047法案最终能否能被签署仍是个未知数，因为该法案引发了硅谷人士的强烈反对，认为该法案会对美国人工智能的发展和国家安全产生负面影响，目前该法案正等待加州州长加文·纽森（Gavin Newsom）的批准或否决。

除了科幻电影，人工智能系统杀人或被用于大规模网络攻击的情形尚无先例。然而，一些立法者希望在坏人将这种反乌托邦的未来变成现实之前实施保障措施。因此，SB 1047法案应运而生，试图在现实世界中阻止人工智能系统造成巨大灾难。

虽然这似乎是每个人都能达成的共识，但SB 1047法案却引起了硅谷大大小小参与者的反对，包括风险投资家、大型科技贸易集团、研究人员和初创公司创始人。目前，美国各地都在讨论制定人工智能法案，但加州的SB 1047法案已成为最具争议的法案之一。

SB 1047法案的亮点

涵盖模型

SB 1047法案仅适用于世界上最大的AI模型。即使用“大于10^26次浮点运算”的计算能力进行AI训练，开发成本超过1亿美元。这与拜登政府最近关于安全、可靠和可信地开发和使用人工智能的行政命令中设定的计算阈值相同。并且该计算阈值会随着时间变化而调整。据称，目前尚未有人工智能模型能够达到该门槛。

该法案规定的“严重损害”是指涵盖模型或其衍生产品所造成或实质上制造或使用化学、生物、放射性或核武器，并造成大规模伤亡；或由模型对关键基础设施进行网络攻击，或为实施一次或一系列针对关键基础设施的网络攻击提供精确指令，从而造成大量人员伤亡或至少五亿美元的损失。

但OpenAI、谷歌和微软等科技巨头可能很快就会在模型开发商突破该计算阈值。AI模型（本质上是识别和预测数据模式的大型统计引擎）通常随着规模的扩大而变得更加准确，并且这一趋势将持续下去。马克·扎克伯格最近表示，下一代Meta的Llama将需要10倍以上的计算能力，这也将使其受到SB 1047法案的监管。

关键测试和安全要求

SB 1047法案列出了开发商应当遵守的各种关键测试和安全要求，主要包括：

“全面关闭”功能：开发人员在对涵盖模型进行训练之前，必须实现“立即全面关闭”的功能，其中包括停止所有受保护的模型操作。提案虽未定义“”立即的定义，但规定了“在实施全面关闭时，开发商应酌情考虑涵盖模型及其衍生产品的关闭可能导致关键基础设施中断的风险。”这给开发商预留了时间进行调查。

安全测试与评估：开发商必须有一份记录在案的安全协议，以避免“严重伤害”。在使用该模型或将其公开之前，开发商必须评估该模型是否有可能造成严重伤害，记录并保留评估的测试结果，并实施适当的保障措施。此外，开发商还必须创建测试程序来应对人工智能模型带来的风险，并且必须每年聘请第三方审计师来评估他们的人工智能安全实践。这对开发商在训练涵盖模型之前的保护措施和保护程序提出了严格的要求。

计算机集群政策：“计算集群”是指通过每秒超过100千兆位的数据中心网络过渡连接的一组机器，其理论最大计算能力为每秒至少10^20次浮点运算，可用于训练人工智能模型。运营计算集群（由多台计算机连接在一起作为一个满足特定计算能力阈值的单一系统协同工作的网络）的开发商必须制定政策和程序，以应对客户使用足以训练涵盖模型的计算资源的情况。他们必须获取所有客户的身份信息，评估客户是否打算使用计算集群来训练涵盖模型，并具备及时关闭用于训练或操作客户控制下的模型的任何资源的能力。

执行机构及指导方针

SB 1047法案进一步规定了执法机关和指导方针，具体内容为：

执行机构

SB 1047法案将在政府设立独立于技术部的前沿模型委员会（the Board of Frontier Models，以下简称“委员会”），由该委员会执行相关规则，并规定委员会的成员资格。

委员会将由9名成员管理，包括来自AI行业和学术界的代表，由加州州长和立法机构任命。该委员会将就SB 1047法案的潜在违规行为向加州总检察长（Attorney General，以下简称“AG”）提供建议，并向AI模型开发商发布安全实践指导。

指导方针

审计与报告：从2026年开始，AI开发商必须聘请第三方审计师每年对其合规性进行独立审计。并要求AI开发商公开其安全协议和审计师报告的删节版，并根据要求向AG提供这些文件的未删节版。该法案还要求每年向AG提交合规声明，如果发生“AI 安全事件”，开发商必须在了解事件后72小时内报告。如果发现模型确实被用于造成“严重损害”的事件，AG可以起诉该公司。对于一个花费1亿美元训练的模型，第一次违规的罚款可能高达1000万美元，后续违规的罚款会随着AI模型变得越来越昂贵而随之增加。

民事诉讼：该法案授权AG对违反规定的行为提起民事诉讼，这些行为会导致死亡或人身伤害、财产损失、盗窃或挪用财产，或造成紧急的公共安全风险。AG可以寻求民事处罚、金钱赔偿、禁令救济或宣告性救济。民事处罚的上限为用于训练所涵盖模型的计算能力成本的10%。

此外，该法案引入了惩罚性赔偿，通过对尚未造成灾难性损害的系统实施严厉处罚，大大增强了开发商遵守规定的动力。AI治理面临的一个主要挑战是前沿人工智能系统会产生不确定的风险。它们可能造成巨大的损害，以至于全额补偿受害者的惩罚性赔偿将导致公司破产并超过任何合理的保险政策。因此，惩罚性赔偿的威胁可能不足以诱使人工智能开发商支付确保其系统安全的成本。然而，惩罚性赔偿条款却缺乏关于惩罚性赔偿的条件或赔偿金额的具体指导。

举报人保护：该法案为员工提供了举报人保护机制。开发商不得阻止员工向AG或劳工专员披露其不遵守该法案的情况或AI模型具有不合理的危险性，或对实施上述行为的员工进行报复。

支持与反对

支持者意见

加州参议员斯科特·维纳（Scott Wiener）是该法案的起草人，他表示，SB 1047法案旨在吸取过去数据隐私政策失败的教训，在为时已晚之前保护公民安全和公共安全。

Scott Wiener表示：“我们过去对待科技的态度是等待危害发生，然后束手无策，我们不要等着坏事发生，我们要抢在它之前采取行动。”

即使一家公司在德克萨斯州或法国训练了价值1亿美元的模型，只要它在加利福尼亚州开展业务，它就会受到SB 1047法案的监管。维纳表示，“国会在过去25年里几乎没有制定任何有关数据隐私技术的立法”，因此他认为加利福尼亚州应该在此开创先例。

被称为“人工智能教父”的人工智能研究人员杰弗里·辛顿（Geoffrey Hinton）和约书亚·本吉奥（Yoshua Bengio）都支持这项法案。他们担心AI技术可能会造成世界末日的情景。人工智能安全中心（the Center for AI Safety，是该法案的赞助方）呼吁世界将“减轻人工智能灭绝的风险”作为优先事项，就像流行病或核战争一样严肃对待。

人工智能安全中心主任丹·亨德里克斯（Dan Hendrycks）表示：“这符合加州乃至美国产业的长期利益，因为重大安全事故可能是进一步发展的最大障碍。”

反对者意见

A16z（Andreessen Horowitz，硅谷一家风险投资公司）强烈反对SB 1047法案。今年8月初，该公司的首席法律顾问杰库马尔·拉马斯瓦米（Jaikumar Ramaswamy）向参议员维纳提交了一封信，称该法案“将因其任意且不断变化的门槛而给初创企业带来负担”，对人工智能生态系统产生了寒蝉效应。随着人工智能技术的进步，其成本将越来越高，这意味着更多的初创公司将突破1亿美元的门槛，并将受到SB 1047的监管。这显然不利于人工智能的创新与发展。

被称为人工智能教母的李飞飞在今年8月初在一篇杂志的专栏中写道，“该法案损害我们刚刚起步的人工智能生态系统。”

一些大型科技公司也对SB 1047法案感到恐慌。代表谷歌、苹果、亚马逊和其他大型科技巨头的贸易组织进步商会（Chamber of Progress）发表了一封公开信，坚决反对该法案，称SB 1047限制了言论自由并“将科技创新赶出了加州。”

代表硅谷的美国众议员罗·卡纳（Ro Khanna）也发表声明反对SB 1047法案。他表示该法案“会惩罚个体企业家和小企业，并损害加州的创新精神”。此后，众议院议长南希·佩洛西（Nancy Pelosi）也加入了他的行列，也表示该法案会损害创新。

下一步计划

SB 1047法案自首次提出以来已被多次修订，一些内容的修改使该法案看起来没那么糟糕。目前，SB 1047法案的命运掌握在加州州长加文·纽森的手中。无论最终结果如何，SB 1047法案的争论已经引发了对人工智能监管重要性的深入思考，并可能会对未来的AI创新和政策制定产生深远的影响。

未来展望

SB 1047法案要求人工智能开发人员采取一系列非常合理的预防措施，以确保他们的系统安全，这看起来十分必要。然而，就目前情况而言，没有人知道如何确保人工智能系统的安全，从而推动安全前沿的发展。仅仅要求开发商采取足够的预防措施是不够的。因此，鼓励前沿人工智能开发商不断推进安全前沿的最佳方式应当着眼于让他们承担系统造成伤害的风险，而不是采取扼杀创新的手段来应对AI的未来可能危害的不负责任的恐慌。‍

（完）

参考资料：

1.https://digitaldemocracy.calmatters.org/bills/ca_202320240sb1047.

2. Luisa Rodriguez and Keiran Harris：Nathan Calvin on California's AI bill SB 1047 and its potential to shape US AI policy，

https://80000hours.org/podcast/episodes/nathan-calvin-sb-1047-california-ai-safety-bill/.

【延申阅读】

产品服务

01

前瞻研究

02

中心动态

03

数据信任与治理

“数据信任与治理”由下一代互联网国家工程中心运营。放眼全球数据治理前沿理论与实践进展，探索可信数据治理的中国模式，促进数据要素有序流通，释放数字经济红利。

TDG focuses on the cutting-edge theory and practice of global data governance, explores the Chinese model of trusted data governance, promotes global data flow, and fulfills the potential of the digital economy.