太空中的 Palantir Edge AI 平台：设计用于在轨卫星数据处理的软件

Original 靖安司靖安科技

收录于合集

注：原文作者 Palantir

译：靖安科技

2022年4月1日，作为 SpaceX Transporter 4 任务的一部分，Palantir 和 Satellogic 将第一颗支持 Edge AI 平台的卫星发射到太空。在 Satellogic 的 NewSat 平台上，结合 Palantir 的 Edge AI 技术，开始在轨道上处理图像数据，将信号情报从大规模数据噪声中分离，并充分利用有限的卫星带宽，让客户有更多机会获得近实时的卫星数据。

4 月的发射任务是 Satellogic 此前宣布的 2022 年计划的一部分，将其卫星编队扩大到 22 颗高分辨率卫星。Satellogic 的目标是到 2023 年 Q1 将共计 34 颗商业卫星发射到轨道上，每天提供多达 7 次对任意兴趣点的重访，目标是到 2025 年在轨运行超过 200 颗卫星。届时，Satellogic 将有能力提供每日数字化整个地球。

Edge AI 和 NewSat 为期六个月的联合项目期间，Satellogic 调整了其托管的有效载荷程序和边缘计算硬件以运行 Palantir 的 Edge AI 平台。我们的联合项目提供的新功能能广泛地适用于政府或商业机构的行动任务。

整体概述

此次发布引入了如下四大技术能力，为 Palantir 更远大的太空边缘人工智能战略奠定了坚实基础。

一、减少延迟及快速生成数据洞察：在地面运行处理高分辨率卫星图像会带来较大的时间延迟，将我们的 AI 功能转移到边缘（卫星上）的主要目标是为了提高决策速度。Edge AI 在捕获数据后即可即时开启数据计算，这比传统地面处理更快地提供可操作的决策。例如，我们可以为未来的数据收集提供信息（直接在卫星星座上闭环完成），或根据 AI 算法的结果选择性地下行下发预处理图像数据。

二、卫星带宽优化：通常情况下，卫星传感器能够捕获的数据量远远大于当前能够传输的数据量。Edge AI 智能使我们能够做出 AI 驱动的决策，决定哪些数据对我们的客户最有价值，并近乎实时地适应不断变化的优先事项。这意味着卫星可以更好地利用其传感器能力来捕获与我们的客户最相关的大量数据，以便在更短时间内做出决策。

三、轻量级模型更新：随着任务需求的变化以及技术的迭代更新，卫星上的静态算法可能很快就会过时。搭载 Edge AI 的 NewSat 拥有内置机制，在卫星飞行过程中可持续进行算法更新，在卫星的整个寿命周期内更新星载模型以及软件，能够让卫星资产适应不断变化的操作优先级和操作环境（有关我们升级基础设施的更多信息，请参见下文）。

四、第三方供应商热插拔：我们认为最强的边缘人工智能，要具备管理和部署来自多个供应商算法的能力。NewSat 上搭载了 Palantir 的目标检测和云检测模型、Xalient 的船舶检测模型、MindFoundry 的图像分割模型以及 Pilot.ai 的多分类检测模型。我们能够根据行动任务的需求以及地形的不同，在不同模型之间进行热插拔。例如，当卫星经过港口时，我们可以运行云检测模型、图像分割和船舶检测模型，而当经过城镇时，我们可以切换为车辆检测模型和建筑物检测模型。

卫星架构

Satellogic 自主设计和制造了其卫星的每个组件（包括摄像机、机载计算机、电源子系统、传感器和执行器、光学器件、无线电系统和推进系统）。每颗卫星都携带有一个亚米级多光谱相机和一个 29 波段高光谱相机，同时搭载了用于专有或第三方有效载荷的额外托架。这种方案提供了巨大的成本优势，并能够缩短研发周期以更有效地进行扩展和迭代。为了更好的计算性能，我们针对性对 Edge AI 系统进行了优化，以适配 Satellogic 的载荷系统中运行的 NVIDIA Jetson 平台。Satellogic 的地面站网络则被用于卫星与星载 Edge AI 系统之间进行通信。

图 1：Satellogic 载荷仓与边缘计算硬件概览（来自 Satellogic ）

独特的部署架构

在 Satellogic 的 NewSat 平台上部署 Edge AI 带来了许多新的挑战，包括：

一、有限的计算资源和随机重启：在太空中运行是真的很难。在卫星运行环境中，电力是一种极其稀缺且有限的资源。我们谨慎地在 Edge AI 系统、卫星成像和通信硬件之间分配功率。事实上，Edge AI 系统在 Jetson TX-2i 上只有几分钟的运行时间。更改卫星轨道和部署捕获任务可以进一步减少此运行时间，这要求我们的软件具有更高的容错能力。

二、与众不同的原始图像输入：原始的卫星图像数据由单个通道中的四种不同类型的数据组成：近红外（NIR）、红光、绿光和蓝光（红光、绿光和蓝光统称为 RGB），这对于 AI 模型提出了独特的挑战。大多数用于图像处理的计算机视觉模型通常是为三通道 RGB 图像设计的。在处理卫星原始 L0 数据时，模型性能会严重下降。由于数据的稀缺性以及和传统通向识别中特征的广泛差异性，重训练模型对大多数 AI 架构仍然是个巨大挑战。

为了解决这些独特的部署限制，我们向 Edge AI 引入了如下创新：

图像预处理

借鉴于去年夏天在卫星上对独特的 4 波段、单通道原始图像数据进行原型设计的经验教训，我们选择了一种强大的预处理解决方案，无需重新训练即可提高模型精度。

我们开发了一个自定义的图像注册服务，可以从多光谱相机获取图像，并将其高效地处理为 3 通道 RGB 图像。我们可以故意忽略 NIR 数据，因为我们的模型不需要它。在实践中，这意味着几十帧的捕获会产生少量 RGB 图像，我们可以在这些图像上直接运行模型。

注册过程完成后，我们将完整的 3 通道 RGB 图像数据传递给下游模型。这使我们能够绕过复杂的卫星传感器，从而插入为标准 RGB 图像训练的第三方模型。

容错

本次发布，我们为 Palantir Edge AI 引入了一种新的、高度容错的设计。

我们仔细考虑了整个堆栈系统的各个方面，从底层硬件到数据 PIPELINE，以实现更好的稳定性保证。在软件方面，我们利用了 Edge AI 的模块化---每一项服务都可以在数据流经过 PIPELINE 时保证数据的有效性，并在此过程中动态清除无效数据。

这些服务由基于Jetson 外部存储模块的检查点系统提供支持，结合我们的数据一致性逻辑检查，该检查点系统允许 Edge AI 在意外中断时无缝恢复处理，无需用户任何干预。

在吞吐量方面，我们充分利用了多核处理。Palantir 的模块化设计可以在几秒钟内使 Edge AI 的 PIPELINE 饱和，显著提高吞吐量。

AI 模型集成

Palantir Edge AI 平台提供了高鲁棒性的框架，用于编排卫星上的多个 AI 模型。预处理完成后，可以针对形成的图像开始运行各类 AI 模型。除了 Palantir 自己的内部模型，我们也集成了众多第三方模型：

Palantir Omni：一种多分类 CV 模型，能够识别陆地、海洋和空中的各类交通工具以及建筑物等等；
Palantir Overcast：高性能云检测模型；
Xailient：一种快速轻便的船舶检测模型；
Pilot.ai：用于检测飞机和船舶的高性能、轻量级模型；
Mind Foundry：一种超低功耗图像分割模型，可识别森林和海洋等地形类型；

Edge AI 能够根据每个模型的要求调整输入图像并存储相关推理结果。下游后处理服务使用这些结果信息生成额外的输出。Edge AI 能够并行对多个模型进行编排。例如，我们可以依次运行 Overcast、MindFoundry 和 Omni。分割模型可以忽略由 Overcast 识别出来的云，从而提高分割精度。接下来，Omni 可以使用这些分割结果通过消除误报来提高其召回率，这是 Edge AI 的主要优势。通过允许模型与我们一流的功能相互补充，我们可以实现 AI 模型性能的显著提升。

后处理

一旦模型完成星载计算，即可开始对输出结果进行后处理，为下行链路做好准备。

一、预测：Edge AI 附带的所有模型都返回像素空间中的推理结果。为了在现实世界中定位这些推论，我们在模型下游运行一个投影服务，该服务可以接收卫星遥测信息并将推理结果从像素坐标转换为大地坐标。该服务与全球高程数据进行集成，以确保在高程变化较大的区域捕获图像时能进行准确的投影。我们还考虑了遥测数据中地球模型的几何简化，在执行投影时对其进行校正。最后，该服务还可以纠正卫星遥测传感器随时间积累的偏差。这些改进使得我们能够比传统遥测技术更准确地定位 AI 推理结果在地球上的位置。

二、缩略图：对每一个感兴趣的推理结果，Edge AI 会生成轻量级 PNG 缩略图，这些缩略图比完整图像的尺寸小得多，下行传输也会更快。例如，在水域图像中，我们下行传输模型识别到的船只，从而大大降低了网络吞吐量要求。

一旦上述这些后处理过程完成，Edge AI 便会开始下行输出。

在轨升级基础设施

由于上行链路带宽限制，我们开发了一个自定义升级框架来处理在轨更新。我们通过计算并发送一个升级优化包，对新版本和卫星上安装的当前版本之间的差异进行编码，而不是直接向卫星发送软件的最新版本。一旦上线，我们的升级基础设施可以在实例化 Edge AI 系统之前重新构建软件的最新版本。不仅仅是系统功能，这种升级能力可以扩展到 AI 模型；我们可以根据需求在地面上重训练模型，并更新卫星上 AI 模型的参数，从而不断提高星载 AI 能力。

安全

Edge AI 实施了各种加密机制来验证卫星发送的数据，因此只有 Palantir 授权的更新才能在卫星上进行。这确保了我们通信的完整性，这一点尤为重要，因为我们不控制网络中的所有链路节点。Satellogic Mission Operations 采用了不同的加密工具来确保通信的私密性、完整性和安全性，无论是用于 TT&C 还是往返地面的数据传输。

下一步工作

展望未来，我们考虑向现有产品中增加如下的一些新功能：

一、地理注册：我们致力于在卫星上实现优于 10m 级的推理精度。受星载传感器精度的影响，卫星遥测数据目前只能做到距离实际推理位置数百米的范围内。我们很高兴地宣布，Palantir新的内部地理注册功能将会在下一次 Edge AI 系统发布中一起发布，新的地理注册模块已经在处理下行链路卫星图像，但我们还在努力通过 Edge AI 的模块化接口将这一功能集成到在轨系统，用以显著提高在轨推理的精度。

二、硬件安全：在 Palantir，我们视安全为一个不断动态变化的目标。为了更好地保护边缘部署免受不断演变的威胁，我们计划在下一代 Edge AI 中引入新的硬件级的安全机制。这些将补充现有的安全机制，为 Edge AI 提供更强有力的保密性和完整性保证。

三、任务支持：Palantir 与Satellogic 正在密切合作，通过Palantir Meta Constellation 软件平台更精细地控制 Edge AI 系统。除了系统升级之外，我们还希望能根据下一步的行动任务需求来动态调整 Edge AI 的处理，同时考虑延迟、功率预算和带宽限制等，以根据预期的图像数据来配置编排模型，从而提高准确性。请继续关注我们新的任务处理功能。

四、ISL 和升级通信：对于下一个版本，我们正在研究更多的通信选择，包括卫星间链路（ISL）。这将使得搭载 Edge AI 的卫星之间自主进行低延迟自动提示变为可能，包括跨星座任务调度等，都可在边缘侧完成。这是一项革命性的能力，我们正在为此奠定基础。

五、Foundry 可部署到边缘：我们在持续研发一个内部框架，以实现与Palantir Foundry 平台的无缝集成。未来用户能够在 Foundry 中直接编写逻辑和模型，然后利用 Apollo 交付平台将该模型推送到卫星上。目前我们在地面环境中提供此功能，但很高兴未来能够扩展到太空。这种集成对于我们实现模型的 CI/CD 全链路从开发到部署至边缘至关重要。

总结

多年来，我们的客户一直使用 Palantir 软件来在地面处理卫星图像数据。我们一直致力于使这种处理更接近边缘，以更好地支持我们客户的行动任务。Palantir 与 Satellogic 的合作是加快交付和显著提高反馈回客户的数据质量的重要一步。Edge AI 在太空中的开创性应用旨在为先进分析提供基础，为即时解决诸如气候变化、灾害预防和应急响应等全球关键问题提供了重要的实现路径。

全文完，关注公众号回复「Palantir Edge AI in Space」获取原文文件。