ProAcoustics | 利用人工智能优化水下机器人的环境感知

无论是在阴暗的水域、狭窄的船舱还是光线很少的洞穴和暗礁中，能见度差的情况都会对水下机器人的环境感知产生巨大影响。

 它们如何仍然能安全可靠地运行？在新的DeeperSense（多模态传感器融合的深度学习）项目中，由德国人工智能研究中心（DFKI）领导的一个国际财团正在研究在人工智能帮助下结合视觉和声学传感器优势的技术。其目的是在海事部门的三个使用案例中显著改善水下机器人的感知能力。该项目由欧盟出资约300万欧元。 机器人系统的可能应用有很多。然而，在实际应用中，往往缺乏能够使机器人全面感知复杂环境的功能性技术。视觉传感器，如摄像机，用于机器人的任务，如自主导航、操纵、地图和物体识别，提供了详细的环境信息。然而，它们的性能在很大程度上取决于当时的光线和能见度条件。相比之下，用于距离测量的声传感器与能见度条件无关。它们也会生成类似图像的数据，但分辨率明显低于相机。此外，它们的功能在近距离受到严重限制。

DFKI机器人技术创新中心的AUV“Dagon”正在进行实地测试。DFKI GmbH版权所有，照片：Bilal Wehbe

 复杂环境下实用机器人系统的智能化技术这就是DeeperSense项目开始发挥作用的地方，该项目于2021年1月1日启动。项目由欧盟地平线2020研究框架计划资助，其总体目标是显著改善野外机器人的环境感知，特别是在水下等复杂和非结构化环境中。为了实现这一目标，该项目采用了一种创新的方法：通过使用人工智能（AI），特别是作为数据驱动的机器学习方法的深度学习，它旨在结合非视觉和视觉传感器的优势，优化其超出单个传感器的环境感知能力。这不仅可以显著提高自主系统的性能和可靠性，还可以为机器人技术开辟新的功能和应用领域。 DeeperSense概念将在水下部门的三个使用案例中得到演示：浑浊水域中的潜水员监测、珊瑚礁勘探和海底绘图。为此，该项目联盟汇集了海事机器人、人工智能和水下传感器技术领域的顶尖专家——DFKI机器人创新中心、吉罗纳大学、海法大学和Kraken Robotik GmbH — — 最终用户来自三个不同的应用领域——德国联邦技术救济署（THW）、以色列自然和公园管理局和Tecnoambiente SL。西班牙吉罗纳大学维科罗布“斯巴鲁二号”水下机器人 水下应用中改善环境感知的传感器间学习DeeperSense基于传感器间学习的总体概念，其中传感器模态B从传感器模态A学习。通过这种方式，传感器B可以提供与传感器A类似的输出 — 在精度、输出类型和数据解释方面。为此，传感器A（例如摄像机）和传感器B（例如声纳）同时观察同一场景。采集的低分辨率声纳数据作为人工神经网络的输入，高分辨率相机数据作为输出。通过使网络逐渐适应所需的输出，它可以了解输入和输出数据之间的关系。其结果是一个算法，一旦充分训练，是能够产生一个相机般的图像仅基于低分辨率声纳数据。在这个项目中，这个概念将在满足用例特定需求的三个核心算法中实现。 在第一个用例中，一个自动水下航行器（AUV）被用来监视潜水员在浑浊水域工作。通常，一个带有摄像头的遥控机器人被用于此目的，它将其数据传输到控制站。然而，由于光学传感器只能在有限程度上用于水下，项目合作伙伴也在为AUV配备声纳传感器。在DeeperSense，他们想教这个传感器传送像照相机一样的图像，这些图像可以很容易地被控制站的人员解读。

DeeperSense基于感官间学习的总体概念。项目版权所有

 第二个用例处理复杂而敏感的水下结构（如珊瑚礁）的机器人探测。为了创建详细的环境地图以进行可靠的障碍物探测，该项目依赖于视觉和声学传感器的组合。在这里，挑战将是调和不同的图像视角。为此，规划的算法必须能够在一个传感器的数据中识别出另一个传感器的数据中识别出的对象。通过这种方式，自主机器人将能够在珊瑚礁中导航，而不仅仅是越过珊瑚礁。

有了DeeperSense，水下机器人将能够近距离探索珊瑚礁。版权：©博里索夫-stock.adobe.com_

 最后，在第三个用例中，合作伙伴希望使AUV能够生成精确的海底地图。这些研究通常由船只进行，费用非常昂贵。摄像机通常提供补充信息来验证声学数据。然而，这种方法在黑暗的深水中并不实用。在这个项目中，AUV将使用各种声学传感器对海底沉积物进行分类。在DeeperSense概念的帮助下，声波传感器学习生成不同类型海底的注释地图，就像在良好可见度条件下使用相机可能得到的那样详细。
德国不来梅DFKI机器人创新中心海洋探索大厅的AUV。版权所有：DFKI GmbH，照片：Annemarie Popp
 实验室和实际条件下的算法开发与优化在项目期间，合作伙伴将为这三个用例生成全面的培训数据。这些算法将使用这些数据进行训练，并在实验室和广泛的实地测试（在内陆水域、地中海和红海）的实际条件下进行测试。最终，训练后的算法将被优化，以供水下机器人在船上使用，从而实现实时执行，以支持自主机器人的行为。该联盟打算在欧洲研究基础设施中嵌入的在线存储库中向机器人团体提供研究结果。 该项目获得了欧盟地平线2020研究与创新计划（Horizon 2020 research and innovation Program）的资助，资助协议编号为101016958。图文来源于Ocean News & Technology，请通过阅读原文查看。

免责声明：部分资料来源网络，转载目的在于传递信息及分享，并不意味赞同其观点或其真实性，也不构成其他建议。仅提供交流平台，不为其版权负责。如涉及侵权，请联系我们及时删除。