【Assured Autonomy】DARPA迈向可靠安全的自主系统

美国军方对于自主（Autonomy）的定义为：系统能够独立地完成目标，或者在复杂和不可预测的环境中，在最少限度的人为监督下完成目标。美国国防部认为自主系统对于国防机构当前和未来的任务需求越来越重要。例如，美国陆军机器人与自主系统（Robotics and Autonomous Systems，RAS）2015-2040年战略报告确定了一系列能力目标，包括增强态势感知、减少认知工作量、部队保护、网络防御、后勤等，这些目标依赖于自主系统和更高水平的自主权。

在过去的十年中，研究界在构建自主网络物理系统（Cyber Physical Systems，CPS）方面取得了巨大的进展，这一点可以从各种无人系统的扩散中得到证明：空中、地面、海上和海底载具。近年来，有赖于计算、建模、传感和其他技术的进步，目前正在各个领域和行业开发的自主系统的复杂程度显著提高。虽然促成这场技术革命的许多技术已经迅速向前发展，但这些系统的正规安全保证仍然落后。这主要是由于它们依赖于数据驱动的机器学习（Machine Learning，ML）技术，而这些技术本身是不可预测的，并且缺乏必要的数学框架来保证其正确性。在没有保证的情况下，对任何学习功能型网络物理系统（Learning Enabled Cyber Physical System，LE-CPS）的安全性和正确操作的信任是有限的，这妨碍了它们在关键防御形势或能力下的广泛部署和应用。

所以综合来看，这几个因素阻碍了自主系统的部署和采用：

• 由于缺乏可依赖的高度自主，需要大量的运营人员参与，这不仅严重限制了运营收益，而且在人机交互和混合主动控制领域带来了巨大的新挑战；

• 另一方面，在不确定、非结构化和动态环境中实现更高层次的自主，越来越多地涉及到数据驱动的机器学习技术，这涉及到许多开放系统科学和系统工程挑战；

• 当前广泛使用的机器学习技术本质上是不可预测的，缺乏必要的数学框架来保证正确性，而依赖于安全和正确操作来保证任务成功的国防部应用需要可预测的行为和强大的保证。

为了应对这一挑战，美国国防高级研究计划局（DARPA）推出了“可靠自主”（Assured Autonomy）项目，致力于在学习功能型网络物理系统的设计和运行期间，持续保证其安全性和功能正确性。该项目正在开发数学上可验证的方法和工具，可应用于这些系统中数据驱动的ML算法的不同类型和应用，以增强它们的自主性并确保它们达到可接受的安全级别。为了帮助实现研究目标，该项目正在优先考虑与国防相关的自主载具空间中的挑战问题，特别是与空中、陆地和水下平台相关的问题。

“可靠自主”项目的第一阶段最近结束。为了评估开发中的技术，研究团队将它们集成到少数自主演示系统中，并针对各种与国防相关的挑战对每种技术进行评估。在对保证方法、工具和学习功能型能力（Learning Enabled Capabilities，LECs）进行了18个月的研究和开发之后，该项目显示出了早期的进展迹象。

据DARPA信息创新办公室（I2O）负责“可靠自主”项目的经理Sandeep Neema博士介绍：“项目中有许多成功的范例，但有三个范例在空中、陆地和水下演示平台上取得了巨大进展。由波音公司、诺斯罗普·格鲁曼公司和美国陆军作战能力发展司令部（CCDC）地面车辆系统中心的评估小组与技术开发小组共同领导的研究人员开展协作，成功演示验证了在设计时以及在运行时能够提供保证的技术系统和环境正在演变。”

在航空领域，来自加利福尼亚大学伯克利分校、柯林斯航空航天公司和SGT公司的团队与波音公司合作，成功演示了他们开发的“可靠自主”技术能够在地面运行过程中证明可提高飞机的系统安全性。为了帮助在项目设计时提供更大的可靠性，大学团队开发了一个工具包，用于设计和分析由形式化模型和规范驱动的基于机器学习的系统，他们将之称为VerifAI。VerifAI试图通过对感知和机器学习组件应用形式化方法来应对挑战，并在存在环境不确定性的情况下对系统行为进行建模和分析。为了在操作过程中提供可靠性，研究人员还开发了一种“闭眼”（eyes-closed）安全核心方法。该方法允许自主系统检测异常输入，例如学习功能型网络物理系统路径上的障碍物，然后确定适当的安全响应行为。

研究人员将他们的工具与波音公司的评估平台相结合，包括一个铁鸟X飞机模拟和一个小型测试平台飞机，并测试了它们与地面操作相关的挑战问题，特别是确保了机场上的滑行操作。这些问题包括中线跟踪和滑行时跑道上障碍物的检测和规避，这是无人机在机场和航空母舰甲板上运行的重要能力。在飞机实战演习期间，可靠措施能够在滑行中检测障碍物的存在，从而触发识别并执行围绕障碍物绕行的安全响应方法。可靠措施还检测到当摄像机馈电发出噪音或被遮挡时，启动一种安全措施，确定并执行它认为最安全的反应——让飞机停止，直到它能够安全地恢复运行。此外，这些工具还能够检测到可能导致其学习功能型能力错误行为的异常情况，并允许系统在这些异常情况下保持安全运行。此外，正规模型和规范的使用为系统在设计和运行时的安全提供了保证。

在陆军装备领域，HRL实验室（以前是休斯飞机公司的研究机构，目前由通用汽车公司和波音公司拥有）的一组研究人员与美国陆军CCDC地面车辆系统中心合作，成功地在自主军用车辆——北极星MRZR（一种全地形车，可适用于空降机动作战）上演示了他们的保障工具。HRL实验室的研究人员开发了一个工具包，该工具包使用数学推理来分析人工智能系统，通过计算可能导致不良结果的环境来发现和预防安全故障，基本上决定了何时使用神经网络是不安全的。他们使用LECs的数学模型和计算机检查的安全性证明，以及动态可靠监视器来测量演示系统与数学模型的偏差。

为了评估他们所使用的的工具有效性，HRL实验室的研究人员最初使用他们的工具来识别人工智能系统意外运行或表现出异常行为的潜在场景。然后，研究人员将他们的研究结果输入到一个模拟中，以验证并证明所确定的情景确实会导致不安全行为。在模拟评估之后，研究人员与CCDC地面车辆系统中心合作，将他们的工具包和学习功能型能力集成到试验用北极星MRZR上，进行现实系统演示。HRL的工具面临着通过计划的路径成功控制北极星MRZR和绕过障碍物的挑战。在试验过程中，研究人员验证了基于学习的激光雷达方法能够将点分类为“地面”和“非地面”，或者实现地平面分割，从而使系统能够识别车辆路径中要避开的障碍物。该团队的方法被验证为满足数学正确性，并在基线系统上验证了显著的性能改进。

在水下领域，来自范德比尔特大学和宾夕法尼亚大学的两个研究小组正在与诺斯罗普·格鲁曼公司合作，研究如何利用最大似然法技术提高自主水下载具（AUV）在载具控制和感知领域的任务效能。该小组正在开发一种学习功能型能力，使自主水下载具能够在现场监测操作条件、评估、估算，然后实时规划替代行动方案，以安全地实现任务目标。范德比尔特大学的研究人员开发了一种集成的工具链，用于设计和保证一种称为可靠学习能力（ALC）的学习功能型能力。可靠学习能力支持使用学习功能型能力开发一个网络物理系统，该系统支持体系结构建模、数据收集、系统软件部署以及学习功能型能力培训、评估和验证。开发的学习功能型能力和保证技术被集成到自主水下载具演示平台中，并挑战使用机器学习来支持系统感知和控制。具体来说，挑战问题的重点是确保自主水下载具在检查海底基础设施时，能够沿着设定的路径航行，而不必事先接触该区域的布局或地图。

Sandeep Neema指出：“虽然每一个评估环境都是独特的，但海底环境提出了一系列独特的挑战。在这些环境中，事情进展得慢得多，由于恶劣的环境条件和物理限制，任务可能需要更长的时间，导航/传感/通信问题加剧了挑战的难度。先进的自主和可靠性可以大大帮助在水下领域的行动。”

在“智能行为”的支持下，自主水下载具完成测试任务所需的时间和能量大大减少。由于之前需要详细的、多步骤的指令，学习功能型能力仅使用有关测试任务的基本指导就能够安全地在环境中导航。使用学习功能型能力将通常需要的多个任务合并为一个任务，减少了对人工数据分析的需要，并实现了最佳的传感器分辨率。

Sandeep Neema表示：“虽然第一阶段的测试显示了重大的项目进展，但在这些技术符合实际部署条件之前，还需要在后续阶段完成重要工作。第二阶段的工作将集中于成熟度和可扩展性，提高危险场景的覆盖率，增强环境变化的稳健性，以及优化突发事件中的缓解行为。”

---

来将通名&非诚勿扰

---

前情回顾

---

防务菌

---

有礼有节&百无禁忌