【Defending Against Adversarial AI】DARPA开发抵御欺骗人工智能的技术

Original 掰棒子的防务菌从心推送的防务菌 2022-04-11

GARD项目背景

当前，机器学习（Machine Learning，ML）正在形成自己的体系，从高效制造、医学和海量信息分析到自动驾驶等，提供了各种各样的应用服务。然而，它也是一把双刃剑，如果被滥用、误用或遭到干扰，机器学习有可能造成巨大破坏。

“在过去十年中，研究人员一直致力于实现能够完成现实任务并使其更高效的实用机器学习技术。”对此，DARPA信息创新办公室（I2O）项目经理Hava Siegelmann博士表示， “我们已经从这项工作中受益，并迅速将机器学习整合到了许多体系中。但是，我们以一种非常实用的方式向前推进，很少关注机器学习平台固有的漏洞，特别是在篡改、破坏或欺骗这些系统方面。”

在一个经常被引用的案例中，自动驾驶汽车使用的机器学习被停车标志的视觉变化所欺骗。虽然这一变化对于人类的识别来说没有任何困难，但是机器学习确错误地将停车标志识别为45英里/小时的限速标志。如果将这样的技术应用到现实世界，自动驾驶汽车会加速通过停车标志，极有可能会造成灾难性的后果。而这只是最近发现的可被攻击的机器学习应用程序中的一种。

GARD项目内容

为了应对这一严峻的安全挑战，DARPA创建了确保AI对抗欺骗的鲁棒性（Guaranteeing AI Robustness against Deception，GARD）项目。GARD旨在开发新一代抵御对机器学习模型开展的敌对欺骗攻击。而当前开展的工作主要是防止特定、预定义的敌对攻击，在测试时可以发现仍然容易受到超出其设计参数范围的攻击。GARD寻求以不同方式来抵御对机器学习的共计——通过开发广泛的防御系统来解决特定场景中的众多可能攻击。

针对人工智能的攻击越来越受到国防和商业界的关注，特别是随着机器学习在复杂性和普遍性方面的不断提高。为了应对这种日益严重的威胁，GARD项目旨在开发新一代防御系统，以防止敌方对机器学习的欺骗行为。

Siegelmann解释说，“随着（ML）技术越来越多地融入我们最关键的基础设施中，我们迫切需要机器学习技术方面的防御。GARD项目旨在防止在不久的将来可能发生的混乱，当前处于起步阶段的攻击方法届时已经发展到更具破坏性的水平。我们必须确保机器学习是安全的，不会被欺骗。“

GARD项目目标

GARD项目对于敌对人工智能的新应对将集中在三个主要目标：

1.发展具备防御功能的机器学习理论基础以及基于它们的新防御机制的专门词汇；

2.在各种环境下创建和测试具备防御能力的（机器学习）系统；

3.构建一个新的测试平台，以表征机器学习的防御能力。

通过这些相互依存的项目要素，GARD旨在创建具有严格标准的抗欺骗机器学习技术，以评估其鲁棒性。

GARD项目将探索许多潜在防御的研究方向，包括生物学。Siegelmann介绍说，“例如，免疫系统能够识别攻击、赢得战争并记住攻击方式，从而在未来的交战中采取更有效的反应措施，我们正在寻找一种基于场景的广泛防御。”

GARD项目将致力于解决当前的需求，同时也将考虑到未来面临的挑战。该项目最初将专注于最先进的基于图像的机器学习，然后发展到视频、音频和更复杂的系统，包括多传感器和多模态变化。它还将寻求解决能够在其寿命周期内进行预测、决策和适应的机器学习能力。

DARPA在2月6日举行了提案者日，提供更多有关GARD项目的技术目标和挑战信息。

前情回顾