导语
来自牛津、剑桥、Open AI等14个机构的26位专家联合撰写的报告表示，恶意使用人工智能（AI）技术将会引发安全格局的变化，包括扩大现有威胁、引入新的威胁、改变威胁的典型特征。从数字安全、物理安全和政治安全三方面来看，AI都将使安全威胁程度更大，并带来新型攻击方式。为预测、预防和缓解这些威胁，报告提出4项建议：决策者与技术人员加强合作，在研究中事先考虑技术被滥用的问题，借鉴计算机安全领域的经验，让社会各界参与安全讨论。建议优先在4个领域进行探索研究：与网络安全社区学习交流，针对研究工作的开放问题建立制度和规范，加强AI研究人员和机构的教育和管理，制定技术和政策解决方案。
本报告由来自牛津大学人类未来研究所、剑桥大学现存风险研究中心、人工智能组织Open AI等14个机构的26位专家联合撰写，与2018年2月20日发布。报告研究了恶意使用AI技术可能带来的安全威胁，并提出了更好地预测、预防和缓解这些威胁的建议。
人工智能（AI）和机器学习能力正在以前所未有的速度增长。这些技术有许多广泛的应用，从机器翻译到医学图像分析，无数更多的此类应用正在开发之中。AI技术是一柄双刃剑，恶意使用AI技术也将带来安全威胁。
（一）引发安全格局的变化
随着AI的功能日益强大，应用日益广泛，AI系统的使用预计将导致安全格局的变化：
（1）扩大现有的安全威胁。原来需要人力、智力和专业知识的任务，可利用AI系统来完成，攻击成本将大大降低。其结果是攻击者数量更多，攻击速度更快，能攻击更多的潜在目标。
（2）引入新的安全威胁。使用AI系统可以完成人类攻击者做不到的攻击任务。并且，AI系统的安全漏洞也会被恶意攻击者所利用。
（3）改变安全威胁的典型特征。可以预见，随着AI应用越来越多，安全攻击将效率更高，针对性更强，难以归因，针对AI系统漏洞的攻击也会成为典型安全威胁。
（二）对不同场景安全威胁的影响
从数字安全、物理安全和政治安全三个方面来看，AI的发展将对安全威胁产生以下影响：
（1）数字安全：传统网络攻击中，攻击规模和攻击效率难以兼顾，而使用AI自动执行网络攻击在很大程度上可以兼顾这两个方面，这将使劳动密集型网络攻击（如鱼叉式网络钓鱼）带来更大的威胁。另外还会出现新型攻击方式，如利用人类弱点（如利用语音合成冒充本人），利用现有软件漏洞（如自动黑客攻击），或利用AI系统漏洞（如对抗样本和数据投毒）。
（2）物理安全：利用AI自动操作无人机和其他物理系统（如自主武器系统）进行攻击，由此带来更大的威胁。另外还会出现新型攻击方式，如破坏网络物理系统（如导致自动驾驶车辆崩溃）或利用无法远程控制的物理系统（如使用成千上万的微型无人驾驶飞机）进行攻击。
（3）政治安全：使用AI来进行自动监测（如分析大量收集到的数据）、说服（如开展有针对性的宣传）和欺骗（如篡改视频），可使涉及隐私入侵和社交操纵的威胁增大。另外还会出现新型攻击方式，如利用AI分析人类的行为、情绪和信仰等。
（三）应对安全威胁的建议
面对不断变化的威胁环境，报告提出了4项高层建议：
（1）决策者应与技术研究人员密切合作，对AI潜在的恶意用途进行调查，并寻求措施预防和减轻其带来的损失。
（2）AI领域的研究人员和工程师要意识到其工作成果有遭到滥用的可能性，要在确定研究重点和规范时将技术滥用问题纳入考虑，并在预见到可能发生有害应用时找到相关行为者。
（3）借鉴计算机安全等较为成熟领域的经验，更好地解决双刃剑问题。
（4）让更多的利益相关者和领域专家参与到对安全挑战的讨论之中。
（四）优先探索领域
报告建议优先在四个领域进行探索研究，寻求潜在干预措施：
（1）向网络安全社区学习，并与其共同学习。在网络安全和AI攻击的交叉领域进行探索，组建网络红队（read teaming），开展形式验证，负责任地披露AI漏洞，开发安全工具及安全硬件。
（2）探索不同的开放模式。AI和机器学习的双刃剑作用越来越明显，有必要针对研究工作的开放性重新设计规范和制度，首先是在重要技术领域成果发布前进行风险评估，建立中央许可访问模式，与其他双刃剑技术交流借鉴有利于安全和保障的制度和做法。
（3）促进责任文化。AI研究人员和其所属机构对于塑造AI世界安全格局具有独特意义，需要重视教育、道德声明，以及标准、框架设计、规范和预期。
（4）制定技术和政策解决方案。报告对一系列有前景的技术以及政策干预措施进行了分析，这些技术可以帮助AI建立更安全的未来。进一步研究的领域包括保护隐私，协调使用用于公共安全的AI，AI相关资源的监测，以及其他立法和监管措施。
应对安全威胁不仅需要AI研究人员和企业的关注和行动，还需要立法机构、政府部门、监管机构、安全研究人员和教育工作者的关注和行动。这将是一个艰巨的挑战。
内容框架
执行摘要
（一）引言
1.1 范围
1.2 相关文献
（二）AI与安全威胁的基本框架
2.1 AI的能力
2.2 AI的安全属性
2.3 主要影响
（三）场景
3.1 数字安全
3.2 物理安全
3.3 政治安全
（四）安全领域
4.1 数字安全
4.2 物理安全
4.3 政治安全
（五）干预
5.1 建议
5.2 未来研究的优先领域
（六）战略分析
6.1 影响AI与安全平衡的因素
6.2 总体评估
（七）结语
附件A：研讨会情况
附件B：未来需要研究的问题
本内容仅供研究参考，严禁用于商业用途。
校 审 | 陈 力、凌 霄
编 辑 | 陆 廷
欢迎转发分享！
如需转载，请联系授权事宜：
电话：62304025 62300198
Email：media@caict.ac.cn
推荐阅读