DARPA“空战演进”技术领域一：创建作战自主（翻译&字幕 by 防务菌）作为“马赛克战”（Mosaic Warfare）愿景的重要组成部分，国防高级研究计划局（DARPA）正在为“空战演进”（Air Combat Evolution，ACE）项目技术领域1（TA-1）：创建作战自主征求创新性建议。ACE项目旨在通过使用越来越逼真的平台（在建模和仿真演示之后，该项目将逐步发展为小型无人机，通过自动在视距内（WVR）机动（俗称空中缠斗，dogfight）来增加作战人员对作战自主技术的信任，并在具有作战代表性的飞机上达到高峰）。ACE TA-1广泛机构公告特别要求开发能够进行空中缠斗的人工智能（AI）算法。斗智斗勇代表了自主性的进步，从当前的基于物理的自动化（通常为操作员所信任）发展到实现未来有人/无人组队合作前景所必需的更复杂的人机协作。2020年3月26日，DARPA将举行ACE TA-1广泛机构公告构建格斗算法的潜在提案者日。
马赛克战设想了一个未来：在多个作战域中，杀伤链的功能分布在有人、无人资产装备上
ACE项目将通过使用人机协作空中缠斗作为其挑战问题来增加对作战自主技术的信任，这也是复杂人机协作的一个切入点。ACE将把人工智能技术应用于增加真实感的实验中的空中缠斗问题。同时，ACE项目将实现测量、校准、增加和预测人类对作战自主技术性能信任的方法。最后，该项目将把自动空中缠斗的战术应用扩展到更复杂、异构、多机、作战级的模拟场景，这些场景由实时数据感知，为未来的实战、战役级的马赛克战实验奠定基础。
ACE项目将利用斗智斗勇来弥合从目前可信的基于简单物理的自动化系统到未来需要的非线性交互或复杂系统之间的鸿沟在未来由对手争夺的空战中，人类飞行员将能够通过有效地从有人驾驶飞机内部协调多个半自主、智能的无人平台来增加杀伤力。这将人的角色从唯一的操作员转变为马赛克作战系统任务指挥官。特别是，ACE项目旨在提供一种能力，使飞行员能够在其飞机和组队无人系统从事单独战术时，参与更广泛、更全球性的空中指挥任务（见下图）。ACE项目为自主技术创建了一个层次结构框架，在该框架中，高级认知功能（例如制定总体交战策略、选择和优先化目标、确定最佳武器或效果等）可由人类执行，但低级自主性（即飞机机动和交战战术的细节）留给自主系统。为了实现这一点，飞行员必须信任作战自主技术，以便在视距范围内格斗等场景中进行复杂的行为。
在一个“马赛克战”的未来，人类将主要扮演战斗管理者的角色，需要信任无人系统提供的战斗自主性和能力
人工组队需要人与机器智能体之间具有校准的信任和依赖级别的协作交互。最理想的情况是，人机组队形成一种关系，在这种关系中，处于循环中的人执行需要人类认知决策的任务（包括法律、道德和伦理决策）。在这些人机组队中，自主合作伙伴执行的任务可以与人类同等水平或更好水平执行，同时减少对人类生命的风险，而不影响任务的有效性或伦理考虑。在复杂自主系统领域中，所需的作战和战略行为具有高度的复杂性和不确定性，因此需要一种有限度低、动态性强的人工智能能力。高度非常规的作战行为可能出现在无人操作的自主系统中，导致不确定性和缺乏信任感。因此，复杂问题集的人工智能在很大程度上被降级为建模与仿真（M&S），而没有令人满意的方法过渡到现实世界。为了让人类开始完全接受这些系统，信任应该通过有限制、透明和可预测的行为来建立和扩展，同时仍然保留未来新颖性和态势适应的潜力。只有在人机战术共同进化之后，人工智能才会被鼓励超越有限、可预测的行为，实现其在日益复杂的战场上提高性能的真正潜力。
DARPA空战演进（ACE）项目概述（翻译&字幕 by 防务菌）ACE项目将在作战自主技术方面开发性能与信任，使用当前用于与缺乏经验的人类飞行员建立性能和信任的自下而上方法。ACE项目通过将其应用于难度和真实性不断提高的任务，以类似于人类飞行员的水平来强调空中缠斗算法。空中缠斗为人类飞行员提供了机会来削减输出行为，提高性能，并为更复杂的未来作战场景校准信任度，如防御反空（DCA）或压制敌人防空（SEAD）。ACE项目利用人工智能的研究成果，这些研究成果最近在越来越复杂的应用中显示出超人的性能，包括游戏和自动驾驶汽车。实时策略（RTS）算法已经超过了公开的顺序、完美信息界面游戏的成功，并且正在达到成熟的水平，这使它们非常适合过渡到实战空战场景。与RTS游戏相比，视距范围内空战是一个相对封闭的问题。虽然在行为上高度非线性，但空中缠斗受益于明确定义的目标：有限的武器/传感器集成、可测量的结果和受飞机动力学约束的物理。这种“自下而上”的方法如下图所示。ACE项目将把作战自主权从简单的可预测行为（机动）领域转移到日益复杂的领域。
ACE项目将把基于物理的机动自动化现状提升为非线性局部行为，然后将这种能力扩展到战区空战
上图说明了局部和全局行为之间的区别，每个层都依赖于上面和下面的行为。当前的作战自主性被降到了最底层，但未来的马赛克战需要所有层的自主性。1.提高局部（个人、团队战术）行为的自动空战性能；1.技术领域1：建立局部（个人、团队战术）行为的作战自主权；3.技术领域3：将性能/信任扩展到全局（异构多飞机）行为；目前，DARPA正在征求技术领域1（TA-1）的创新建议。下图突出显示了不同ACE项目技术领域之间的关系。
由约翰·霍普金斯应用物理实验室（Johns Hopkins Applied Physics Laboratory）协助的政府领导的独立实验集成团队（EIT）将协调与不同ACE项目技术领域相关的相互依存的研究活动。由于依赖于通用实验基础设施的多个执行团队之间的复杂集成需求，EIT将负责协调必要的接口控制文件（ICD）和与M&S、子比例尺和全面评估相关的应用程序编程接口（API）。
一、为局部（个人、团队战术）行为建立空战自主权（根据广泛机构公告的要求）技术领域1（TA-1）旨在通过在ACE项目的三个阶段中的每个阶段开发和演示验证自主平台空中缠斗算法，提高人工智能技术在自主空战机动应用中应用于个人和团队战术行为的状态。如下图所示，将从建模与仿真（M&S）开始实施，并逐步发展为更现实的应用，包括单兵小型无人飞行器（UAV），以及最终由TA-4演示验证者改装的全尺寸作战代表飞机。
TA-1的演示验证者用小型无人飞机和全尺寸作战代表飞机演示了M&S中的视距范围内作战自主性DARPA预计将选择多个TA-1演示验证者进行研发：（一）开发针对个人和团队战术行为的空战机动算法：视距范围内空战机动交战作为TA-1平台机动算法的应用。每次交战的条件将有很大的不同，包括1v1、2v1和2v2交战，这些交战针对的对手具有广泛的性能，初始条件从非常有利到非常不利。演示验证者应提供技术方法的详细说明，包括：算法的结构和类型（可提出多种算法方法），包括对预期实现的描述；
训练每个算法的方法（包括方法、限制、时间、硬件/软件/数据要求等）；
讨论每个拟议算法方法的预期优缺点/限制；
扩展算法以与具有不同性能水平的敌方战斗机竞争的策略；
强调任何特别新颖的方法。
演示验证者必须说明他们的算法将如何设计和开发以进行1v1交战，然后修改以适应2v1和2v2交战。（二）将算法与M&S环境、小规模实弹飞机和全尺寸实弹飞机集成：TA-1演示验证者将负责将其空战机动算法与EIT提供的M&S环境、小规模实弹飞机以及TA-4演示验证者提供的仪表级战斗机集成。在每个进展（M&S、子规模和实时）中，交战将从1v1开始，并进展到2v1和2v2团队交战。演示验证者应说明如何设计和开发其算法，以便仅在M&S中执行任务，然后进行修改，以适应小规模和全面实施中的新要求。算法方法的理由应包括：提及相同或类似技术方法的现有应用；
具有类似或相关工作经验，特别是在拟议的算法方法方面；
识别从事算法开发的关键人员，包括任何相关的技术证书；
关于飞行控制的任何假设在提案响应中明确说明；
在项目的M&S、子比例尺和全比例尺部分可以提出不同级别的飞行控制器。
（三）实施一项战略，使作战自主与人类飞行员互动：TA-1演示验证者将与TA-2演示验证者合作，以确定可以从TA-1算法中获得哪些信息来通知信任评估，以及应如何通过TA-2演示验证者开发的人机界面向人类飞行员呈现关键信息，以允许飞行员与作战自主进行互动和操作。TA-1演示验证者还必须与人类飞行员协调控制移交，以支持信任评估评估。（四）描述战术行为算法对作战管理任务的贡献，并为TA-3算法提供接口：TA-1演示验证者将与TA-3演示验证者合作，解决将TA-1演示验证者开发的局部行为算法与执行作战管理任务中全局行为的TA-3算法集成的策略。TA-1演示验证者负责就其算法如何在每个TA-3任务中使用提出建议，并将其算法打包并发布给TA-3演示验证者，以使其能够与TA-3算法集成。TA-1广泛机构公告包含鼓励投标人在其建议书中考虑和解决的其他细节，包括：在开发能够执行自主平台机动的算法时，需要考虑的最重要的细节是系统的状态空间和动作空间：即可以从系统及其环境中观察到的信息集，以及指挥系统动作的机制。TA-1算法的状态空间元素将根据在每个模拟和实况飞机环境中测量和提供给算法的属性以及每个评估事件的具体目标来确定。鼓励投标人将下表中的一组状态空间元素视为EIT将提供的信息的代表，其中一些元素预计可用于所有平台，一些元素预计仅可用于蓝色（友军）平台。DARPA预计这些属性的细节、它们的格式，以及TA-1演示验证者将如何与它们交互，将在整个项目中不断发展。
其他衍生属性也可用于任务后分析，例如与交战“得分”相关的信息，这些信息将为绩效评估提供信息。评分标准将基于空空武器的概念武器交战区。从交战中获得更高得分的飞机将被授予胜利，主要得分标准将是每个场景配置下TA-1算法的获胜概率。提案者应期望在状态空间测量的内容或质量降低的情况下参与，以表示以不完全感知条件为特征的战术情况。TA-1提案者应准备好处理人为引入这种降级的交战，以便在交战期间某些属性不可用或包含噪声信息，以及传感器测量质量随模拟传感器模型和战斗几何而变化的情况。在后一种情况下，将向演示验证者提供传感器模型描述，以告知提高敌方平台可观测性和补偿传感测量误差的策略。鼓励TA-1提案者在其提案中阐明开发算法的策略，这些算法对部分可观测系统和环境状态以及包含噪声或不完全信息的状态空间具有弹性。为TA-1算法选择的动作空间将主要由仪表级实飞飞机的飞行控制系统设计驱动。演示验证者应期望其算法的动作空间包含一架或两架友军飞机的以下元素：命令轧制速度
命令俯仰速度
命令横摆角速度
命令速度制动设置
命令油门输入
DARPA鼓励TA-1投标人指定除广泛机构公告中规定的行动空间抽象（例如航路点驱动控制）以外的任何建议行动空间，以及关于如何在M&S中实现抽象层以及如何使用子和全尺寸实弹飞机以提供首选接口的建议。EIT将与项目管理协商，促进最终状态和行动空间规范的制定过程。TA-1提案者应在提案中详细说明其认为应出现在状态或动作空间中的任何附加信息，说明该信息为何重要，并解释算法性能对这些附加元素可用性的敏感性。提案者应该注意，ACE项目的最终目标是展示全尺寸作战代表飞机的自主性，因此所有状态空间和行动空间在实际飞行测试中必须是可以实现的。TA-1提案者应阐明一个计划，将空战机动算法与这三个试验台中跨越三个项目阶段的每一个进行集成，并管理阶段之间的过渡。将为所有演示验证者提供一个通用的仿真环境，用于开发其自主算法。尽管演示验证者可以使用其他环境进行开发，但要求将所提供的环境和飞机模型用作向项目管理者交付并集成用于评估活动的所有算法的基础。EIT分布式建模与仿真环境应来源于JSBSim，它是一个开源的飞行动力学模型，可用于建模许多不同的飞机。管理者将提供基于OpenAI-Gym的基于Python的应用程序编程接口（API）的仿真。演示验证者应使用提供的API调用模拟的实例。一旦实例化，TA-1算法就应该通过一个函数调用来执行模拟，该函数调用包含命令动作作为参数，并返回当前状态空间和评分信息，从而同步步进环境中每架飞机的飞行动力学模型。这些同步步进将发生在仿真执行频率上，其设计目的是使仿真正常执行并保持在已知状态，并且由于实时模拟数据不可用，因此是仿真环境的一种投射。在实际载具中发送的异步命令和实际载具响应之间的任何预期延迟都将在仿真模型中进行说明，这也是ACE项目整体阶段化的原因，包括在整个第2阶段使用小尺寸飞机作为风险降低工具，在第3阶段使用更昂贵的全尺寸作战代表飞机。建模与仿真环境将提供与TA-1算法的可配置交互频率，并鼓励投标人在其提案中考虑指定交互频率。模拟执行频率最初将设置为50赫兹，并可进行调制，以更好地表示每一个实时飞机接口。合同授予者可以使用“自玩游戏”来开发他们的算法，但只有在评估活动期间提供的对抗敌机的性能才会由项目管理者进行评估。演示验证者应期望开发能够在JSBSim中控制多个不同飞机模型的算法，包括在小尺寸和全尺寸现役飞机。提案应规定开发可扩展算法的策略，因为当应用于具有飞行控制系统和性能显著差异的多架飞机时，这些算法能够胜任。演示验证者可以使用开源虚拟仿真应用程序FlightGear调查每个模拟飞机模型的JSBSim飞行动力学模型。FlightGear使用JSBSim的一个嵌入式实例来解决虚拟（人在回路）仿真执行中飞机控制系统和对控制输入的动态响应问题。EIT开发的M&S环境还将包括一个选项，使用FlightGear进行由TA-1算法控制驱动的基于驾驶舱的可视化。TA-1下开发的算法将在类似于下图所示的Viper+的小尺寸飞机上飞行。这个小尺寸测试的目标是在集成到全尺寸飞机上之前降低风险。DARPA鼓励提案者描述他们将如何在响应中使用子尺度测试，包括如何使用通过迭代子尺度测试获得的数据来改进算法的性能。提案者也被鼓励描述他们的算法将如何适应同一类型不同飞机之间飞行动力学的变化，由于质量（即燃料负荷）的变化，以及来自物理传感器的不完全观测。
Viper+遥控飞机（可比飞机用于TA-1算法的小尺寸测试）建模飞机、小尺寸飞机和全尺寸飞机之间的状态和动作空间将尽可能相似，但演示验证者应期望一些差异，以适应平台的物理差异。一般来说，演示验证者应该期望使用机身相对俯仰、滚转和偏航速度，以及油门设定和速度刹车指令来控制超小型飞机，这与载人飞机的飞行方式类似。演示验证者不应感到有必要利用这些行动，而应清楚地阐明替代方法的绩效效益，并讨论如何利用基于费率的控制。状态向量将由飞机平台生成。与飞机之间的信息将使用空军研究实验室开发的lmcp信息协议。这将向TA-1演示验证者提供带有模板接口的准确消息格式。TA-1演示验证者不负责传感器集成或开发用于子尺度测试的测试基础设施。TA-1演示验证者负责提供一个或多个算法，该算法符合EIT规定的飞机接口，并在飞机上安装的硬件上运行。确切的计算机硬件尚未选定，但提案者应假定低交换处理器，如NVIDIA Jetson TX2或英特尔NUC将被利用。演示验证者应期望将算法集成到实时飞机上是一个迭代过程，并应在提案中包括对其算法的物理飞机限制。例如，尽管TA-4演示验证者将负责适航性等问题，但TA-1演示验证者将被要求通过EIT向TA-4演示验证者提交信息，以支持适航审查。此外，预计提供给TA-1演示验证者的初始物理平台限制将比现场飞行测试中使用的最终限制更加宽松。演示验证者应讨论如何开发算法，既充分利用平台的运动能力（将用于建设性评估），又尊重安全限制（将用于实飞测试）。虽然仪表级全尺寸平台设计的全部细节尚不清楚，但演示验证者应期望与Aero L-39信天翁（下图）和通用动力F-16D（下下图）等平台集成。预计根据本项目开展的工作将处于非保密级别。但是，提案者应提供与处理国际武器交易条例（ITAR）控制信息相称的成本和安全计划。。
提案议应包括考虑如何在模拟中测试算法，以获得对飞机实战操作的安全性和有效性的信心，以及如何开发算法，使其适用于具有截然不同性能能力的飞机和飞行控制系统的控制。兵力结构：1v1、2v1或2v2交战；
将要飞行的特定飞机模型（M&S）或实弹飞机（小规模和全规模）：如前所述，演示验证者应期望在模拟交战中使用不同的飞机模型，并在小尺寸和全尺寸飞机评估期间使用多个不同的实弹飞机；
建设性模拟资产、虚拟模拟资产、实时子尺寸资产和实时全尺寸资产的组成：业务可能包括完全建设性资产、实时资产或建设性资产、虚拟资产和实时资产的某些组合；
接合初始条件：每个接合将由指定的相对位置、方向、初始速度、燃料状态和其他信息来表征；
对手的多样性：在ACE项目过程中，评估将涉及到TA-1算法与EIT开发和分发的能力逐渐增强的自主算法、其他TA-1演示验证者开发的算法以及人类飞行员驾驶的虚拟或实况飞机的竞争；
可观测性和通信条件：状态空间中测量的性质和质量将根据从所选试验台测量的信息和演习的目标来确定。这将包括任何传感器或通信模型或实时系统的规范，这些模型或系统将动态影响状态信息的质量或可用性。
与飞机飞行控制系统的接口：动作空间的格式和内容将由每次交战中飞行的飞机模型或实机驱动。
评分实施和要收集的指标：评分实施将确定每次空中中出现的赢家，指标将推动基于多个交战结果的绩效评估。
在每次评估活动之前，将向演示验证者提供指导，说明哪些场景配置将适用于该活动。预计TA-1将授出多个合同。提案应包括第一阶段基期，第二阶段和第三阶段有单独定价的期权。
插播一张超帅图
ACE项目管理者领导的实验集成团队（EIT）将由约翰·霍普金斯大学应用物理实验室（JHU/APL）和大学附属研究中心（UARC）协助。EIT将促进、协调与不同研究团队相关的相互依存的研究活动。由于依赖于通用实验基础设施的多个演示验证者之间的复杂集成需求，EIT将负责管理与M&S、子规模和全规模实验相关的必要ICD和API，包括识别、开发和维护。实验基础设施的这种标准化对于评估单个TA演示验证者至关重要。为了实现独立和公正的执行者评估，EIT将利用标准化的M&S环境进行视距范围内交战（TA-1）和更大规模的任务指挥官场景（TA-3）。这些标准化环境将包括在ACE项目的所有三个阶段（M&S、子尺寸和全尺寸）为不知情、有限知情和无限知情的对手开发脚本化对手。最后，EIT将负责采购、维护和运行项目所有三个阶段（以及重点阶段2）使用的商用小尺寸无人机。EIT将主持定期的季度集成，以促进整个项目中的跨TA交互。EIT将完成以下任务以支持ACE：建模与仿真（M&S）框架开发。开发包含实时、虚拟和建设性组件的M&S框架，以支持视距范围内机动自主作战能力的开发和评估。这包括为TA-1演示验证者开发的机动算法提供一个视距范围内空战仿真环境、小尺寸实弹飞机和全尺寸实弹飞机接口。对手自主发展。发展自主能力，作为敌方力量，支持评估由TA-1演示验证者在ACE项目的每个阶段开发的自主解决方案。这包括在多个性能水平（无对抗、有限对抗和无限对抗）下的敌方自主，以评估TA-1算法在项目建设性M&S和小尺寸实战飞机阶段的性能。整个ACE项目结构如下图所示。阶段1的主要重点是开发和演示M&S的关键能力。阶段2和阶段3将分别在小尺寸和全尺寸环境中实现相同的能力。项目管理者希望授出多个TA1合同。下图中的合同数量是概念性的，项目管理者可自行决定是否更改。第一阶段是TA-1的基期，预计为12个月。第1阶段TA-1演示验证者将开发1v1、2v1和2v2格斗算法，以提高敌方难度，这些算法将在M&S中针对脚本化敌方、人类飞行员和其他演示验证者的算法进行测试。EIT将为TA-1演示验证者集成提供建模与仿真环境、脚本化对手人工智能和ICD/API。阶段1的结论包括每个TA的技术数据评审（TDR），旨在提供必要的证据，以支持根据项目度量评估进度并过渡到下一阶段。第2阶段是TA-1的期权期，期权行权后预计有16个月的履约期。投标人应以与第一阶段基期相同的详细程度对该期权期进行计划。第二阶段将着重于将M&S中开发的视距范围内作战算法扩展到小尺寸试验。TA-1的演示验证者将改进视距范围内算法并将其应用到小型商用无人机上。算法将在真实环境中测试，以对抗脚本化对手、人类飞行员和其他ACE项目演示验证者的算法。算法将在1v1、2v1和2v2交战中逐步评估。EIT将为TA-1演示验证者的集成和评估提供靶场环境和平台、红色对手人工智能和ICD/API。TA-1演示验证者将向TA-3演示验证者提供有关其算法的技术指导和文件，因为TA-3将在更复杂的战术和战略层面上利用TA-1算法，因为TA-3将在更大规模的仿真中代表TA-1飞机。TA-3演示验证者将对收集到的大型部队实战演习数据所通知的CMD和SEAD等场景进行分析，然后在大规模任务模拟中使用TA-1通知飞机扩展分析，而不仅仅是ACE项目核心的视距范围内挑战问题。第3阶段是期权期，期权行权后预期有16个月的履行期。投标人应以与第一阶段基期相同的详细程度对该期权期进行计划。第3阶段的重点是将在M&S中开发并在实时子尺寸中改进的视距范围内作战算法和飞行员信任评估扩展到全尺寸平台。TA-1的演示验证者将改进并在TA-4的帮助下，将视距范围内战斗算法集成到全尺寸飞机上。TA-4演示验证者将负责全尺寸飞机运行的所有方面（包括航程调度、维护和安全/敌方飞行员调度）。算法将在1v1、2v1和2v2交战中逐步评估。虽然每个研究团队都有独立的目标，并将独立评估，但项目的成功需要团队紧密合作，因为每个团队负责整个ACE技术演示验证的关键要素。下图说明了ACE项目的一组概念性的跨TA数据和信息交换。演示验证者应具体说明满足以下建议的交流所需的信息类型，确定提供信息交流的任何创新手段。所有交换的信息不应包括任何专有信息，演示验证者应确定会限制信息交换的专有问题。如果发现问题，演示验证者应说明他们打算如何以满足以下意图的方式共享信息。
为支持第1阶段，EIT将为TA-1和TA-3演示验证者以及敌方系统提供建设性的M&S环境，以实现算法开发和测试。EIT将开发虚拟仿真驾驶舱，并监督HMIs（用于格斗和任务指挥官任务）和信任评估设备与驾驶舱的集成。TA-2将支持这一目标，以确保最终的实验设置将支持跨多个场景收集可靠的数据。为支持第2阶段，EIT将为小尺寸现役飞机配备执行自主飞机控制所需的设备，并将飞机与更大的现役、虚拟、建设性（LVC）M&S框架集成。EIT还将监督驾驶舱模拟器与小尺寸飞机的实时集成，使人类飞行员能够通过模拟的第一人称视角体验小尺寸飞机的飞行。为支持第3阶段，TA-4演示验证者将提供全尺寸的实弹飞机，并与TA-1演示验证者和EIT合作，设计一种将TA-1算法与飞机飞行控制系统集成的策略。TA-2演示验证者将使用HMI和信任评估设备支持全尺寸飞机，以确保生成的配置能够在多个场景的实时飞行中收集可靠数据。
上表总结了关键事件和可交付成果。TA-1技术活动的时间表主要由两个系列活动驱动：季度集成和评估活动。季度集成将由EIT协调，旨在促进TA-1演示验证者开发的产品与ACE EIT开发的技术和基础设施以及其他ACE技术领域的演示验证者的频繁集成。TA-1投标人应与每个EIT、TA-2演示验证者、TA-3演示验证者和TA-4演示验证者（如适用）举行季度集成活动，并由EIT协调。TA-1的演示验证者将承担以下与这些组织互动和合作的责任。TA-1评估活动将在ACE项目的每个阶段多次进行，将涉及与EIT开发的对手算法、由其他TA-1演示验证者开发的算法驱动的自主智能体和人类飞行员的竞争。这些评估活动将在M&S、小型飞机和具有作战代表性的全尺寸飞机上进行。每次评估活动前都会有具体的指导，包括：除了评估活动的目的所规定的任何独特的可交付要求外，演示验证者还应在每个评估活动中提出以下要求：自主视距范围内空中缠斗智能体的可执行版本，在每次评估事件之前交付。合同授予者应通过其API提交针对所提供环境（建模与仿真、子尺寸、全尺寸）应用程序执行算法所需的所有内容。根据算法的软件设计，这可能包括从源代码编译的脚本文件或可执行文件。如果以二进制格式提交算法，则还必须提交源代码。DARPA将提供在评估活动期间部署算法所需的硬件。遵循所提供硬件配置细节的详细信息，合同授予者应指定在评估事件期间是否需要自定义硬件来执行其算法。
在模拟中安装和运行自主智能体的说明将与智能体的可执行代码一起提供。
在每次评估事件之前，对事件中使用的算法进行技术说明，并对以下内容进行技术说明：演示验证者将在每次评估活动之前与EIT和其他组织合作，以确保他们的算法准备好与执行评估活动所需的任何其他项目基础设施和技术集成。为了让项目管理者评估拟议解决方案在实现既定计划目标方面的有效性，议案者应注意，项目管理者特此公布以下项目度量，这些指标可作为确定是否取得令人满意的进展以保证继续为项目提供资金的基础。尽管规定了以下项目指标，但投标人应注意到，项目管理者已确定这些目标，目的是界定工作范围，同时在提出所述问题的解决方案时提供最大的灵活性、创造性和创新性。ACE度量的设计是为了客观地衡量每一个TA演示验证者的表现，在项目的每一个阶段和方面都增加了保真度和难度水平，其阈值（Th）和目标（Ob）水平基于人类飞行员训练标准。这些指标将为确定每个阶段的成功提供基础。ACE项目度量
ACE项目将使用上图所示的指标评估整个过程的性能，这些指标来自于人类飞行员培训标准（如获胜概率，Pw）。
来将通名&非诚勿扰