“视觉智能与信息安全”专栏 | MDPI Sensors：用于人机交互的仿人机器人柔性触觉皮肤的空间标定

点击左上角“MDPI工程科学”关注我们，为您推送更多最新资讯。

引言✦

机器人和人类之间的互动通常被称为人-机器人互动 (HRI)，它依赖于机器人的感知能力 (如视觉、触觉和听觉) 来理解人类的行为，以及机器人与人类进行物理互动的物理能力 (如运动和言语)。这种互动可以在不同层面上进行，从仅依赖语音的完全远程互动，到人体和机器人身体之间的密切接触互动。如此亲密的接触互动-通常被称为物理人-机器人交互 (pHRI)，对于多种应用是必要的，包括与工业机械臂的人-机器人协作、机器人遥操作或机器人支持的护理。与远距离交互相比，近距离交互更难实现，因为这会给人体和机器人身体带来安全问题。提高交互作用，尤其是其安全性的一种方法是使用适当的传感器来提供关于机器人和人之间接触的信息，然后在适当的控制器中使用该信息。适用于该应用的传感器是“触觉皮肤”，即触觉传感阵列，可以集成在SonicSkin等机器人上，或用作其他应用的仿生皮肤，包括医疗。

近期，Sensors 期刊发表了一篇研究论文。在这项工作中，使用了灵活的触觉传感阵列，可以安装在机器人的任何身体部位。该传感器充当力感测单元的阵列，其中每个单元可指示施加在其法线上的力的量。一旦获得，所提供的触觉信息就会被处理并发送到控制框架，以便机器人控制器可以使用它。

 研究内容 

该工作的目标是开发机器人的触觉，以实现安全的人机物理交互。作者选择了一个人形机器人HRP-4C作为测试平台，并在其上开发了系统。HRP-4C被设计为一个“自动人”，能够使用语音识别与人类进行远程交互；然而，它并非为了进行物理接触而设计。因此，密切的物理互动仍存在安全问题。为了给该机器人提供触觉，作者集成了一个柔性触觉传感器作为触觉传感皮肤，如图1，传感器连接在它的右手腕上。该工作有助于传感器集成的不同组成部分，表明触觉传感器的端到端集成 (包括硬件集成、校准和与机器人控制器的软件集成) 可以在人形机器人上执行。将该传感器用于pHRI应用是作者研究的长期目标，因为它首先需要柔性触觉传感器的完全集成。

图1. HRP-4C人形机器人的照片，其右手腕上安装了柔性触觉传感器和柔性传感阵列：(1) 柔性传感阵列；(2) 采集模块通过蓝牙发送数据。

作者已开发一个软件框架来处理触觉传感器的信息，以便能够在机器人控制器中使用。这个触觉信息框架是为机器人操作系统 (ROS) 设计的。它使用蓝牙串行端口文件 (SPP) 从传感器获取数据，然后应用不同的计算来获得施加在细胞法线上的力，并最终将其作为控制输入发送到基于mc_rtc (1.14版) 的机器人控制器，mc_rtc是模拟和机器人控制系统的接口。图2概述了触觉信息框架和控制框架的整个过程。

图2. 基于触觉传感器信息的仿人机器人控制简化图。

这些过程的第一步是采集。它使用Serial库 (1.1版) 读取原始数据，并将其转换为类似图像的数据。出于性能考虑，采集算法在与其他进程分离的线程中运行。第二个过程是滤波。如图2，传感器获取的原始数据非常嘈杂。滤波步骤旨在在处理数据之前去除该噪声。目标是只保留施加压力的区域。为了实现这一点，作者应用自适应阈值滤波器，该滤波器作为二进制掩模作用于图像。与简单的阈值滤波器相比，阈值是在每个像素的邻域计算的，而非恒定的。下一步是识别存在触觉接触的区域；在轮廓检测处理中执行。该过程使用通用的轮廓检测算法来检测具有非零像素的图像不同区域的轮廓。在该步骤之后，对于每个时间t，处理与接触被施加到传感器的不同区域相对应的不同区域。最后一个过程称为力计算，旨在计算力施加到传感器上的不同像素。

文中详细介绍了为从给定的三角形网格对触觉传感器进行空间校准而开发的方法。该方法旨在用于机器人零件的任何网格，并在HRP-4C的右腕上进行了测试。它基于非线性最小二乘 (NLLS) 拟合，具有额外的几何约束，允许在非平面上使用。如前所述，假定传感器表面没有被拉伸。整个过程的概述如图3。根据给定的网格和沿两个不同方向的平面集，该过程生成适合原始网格的B样条曲面。交叉点和控制点之间的距离在图中被夸大，以更好地可视化。

图3. B样条曲面的构造过程。

 实验结果 

将生成的B样条曲面集成到仿人机器人模型中，以定位应用于机器人的接触的位置和方向。已经用两种方法进行了实验以验证接触的位置和方向。第一种方法是根据连接的FTS的力和扭矩计算施加在手腕上的力。在实验过程中，FTS给出的z值似乎异常高，假设误差源是FTS。FTS误差源的一个可能解释是其对沿z轴的力的分辨率较低，这可能导致不稳定的结果，因为施加的力较低。由于未考虑z轴上的误差，x和y上的结果似乎是一致的。最后，该方法可以验证在B样条曲面上获得的位置和方向是有效的，方向和位置的平均误差分别为3%和4.2 mm，类似于一个单元的大小 (1 cm× 1 cm）。单元的位置也通过第二种方法进行了验证，该方法将接触估计为魔杖和手腕网格之间的交叉点，手腕网格的姿势通过运动捕捉来捕捉。该方法给出的结果与之前获得的结果一致，平均误差更高，为1.40 cm。作者认为，使用运动捕捉的方法精度较低可以用众所周知的遮挡问题来解释，这与实验过程中使用的标记数量较少 (每个对象四个) 及其接近度有关。由于所获得的结果与沿着所有轴的空间校准一致，通过对x轴和y轴的FTS实验，作者验证了沿着z轴的误差来自FTS的假设。作者分析了所获得的关于传感器单元的尺寸的误差。每个单元的尺寸为1 cm×1 cm，这意味着如果随机选择接触点，并且系统非常准确，则平均误差应为2.5 mm。因此，与完全准确的系统相比，接触位置获得的误差为1.7 mm (作者假设了理想的z轴，因此该误差仅从x和y位置计算)。最后，该实验证明，如果以FTS数据为参考，生成的B样条曲面可以很好地估计接触的位置和方向，方向精度为3%，位置精度为1.7 mm。该精度低于为非柔性触觉传感器开发的校准方法的精度 (对于3D位置为2 mm)，但使用柔性触觉传感器实现。这一结果可以在比单个单元更大的区域内得到改善，但对于目标使用情况来说足够公平，因为触觉传感器通常由人手触摸。

 总结 

本文提出了一种空间校准方法，将柔性传感阵列上的位置与传感器所连接的机器人上的位置相匹配。作者使用B样条曲面来参数化机器人的曲面，并使用约束NLLS算法来识别最佳匹配的曲面参数，给定机器人曲面的网格。将柔性传感阵列应用于HRP-4C类人机器人的右手腕，并用所开发的方法进行校准。空间校准是根据两种方法提供的地面实况进行验证的：用力/扭矩传感器测量施加的等效力和用运动捕捉测量的接触位置。位置校准的性能相对于地面实况的平均误差为4.2 mm，即比理想系统的平均误差高1.7 mm，其中非柔性传感器的基于自接触的方法的平均误差是2 mm。这两个误差都低于单元的一半长度，这表明所提出的方法取得的结果与为非柔性传感器设计的方法一样好。

识别二维码

阅读英文原文

原文出自Sensors 期刊：

Chefchaouni Moussaoui, S.; Cisneros-Limón, R.; Kaminaga, H.; Benallegue, M.; Nobeshima, T.; Kanazawa, S.; Kanehiro, F. Spatial Calibration of Humanoid Robot Flexible Tactile Skin for Human–Robot Interaction. Sensors 2023, 23, 4569.

撰稿人：陆哲明

 专栏简介 

“视觉智能与信息安全”专栏由Sensors 期刊编委陆哲明教授 (浙江大学) 主持，专注于视觉智能与信息安全领域的前沿进展与创新应用。

 专栏编辑

陆哲明 教授

浙江大学

(上下滑动查看更多内容)

浙江大学教授、博士、博士生导师，浙江大学航空航天系主任、航天电子工程研究所副所长。2002年哈尔滨市青年科技奖获得者，2003年全国优秀博士学位论文奖获得者，2004年教育部新世纪人才获得者，2005年德国洪堡学者，2006年深圳市特殊津贴专家，2011年浙江省自然科学基金杰出青年基金获得者，2017年浙大宁波理工学院9211教授。截至2022年1月3日已发表SCI检索论文163篇，ESCI论文14篇，EI单检论文214篇，获省部级科技一等奖1项、二等奖4项、三等奖1项，厅级科技一等奖2项，出版专著教材15部，发明专利授权14项。2020年和2021年连续两年获得Elsevier中国高被引学者。2013年起担任国防科工局CCSDS专家、国家科学技术奖励评审专家；2017年起逐步担任国家自然科学基金重点项目评审专家、国家网络信息安全领域重大专项评审专家、全国宇航技术及其应用标准化技术委员会空间数据与信息传输分技术委员会委员；2020年起加入腾讯科学探索奖评审专家库，并开始担任澳门特区政府科技奖评审专家。2020年起担任SCI期刊Sensors 编委。陆教授长期从事多媒体信号处理、信息隐藏、复杂网络、人工智能四个领域的研究。这四个方面的研究工作并非孤立的，都是在数字媒体和网络技术飞速发展的背景下展开的。主持和主要参与国家重点研发计划、国家自然科学基金、教育部人才类基金、国防重点实验室基金、浙江省自然科学基金、宁波市科技创新2025重大专项和各种横向项目60余项。

精选视频

往期回顾

版权声明：

*本文内容由Sensors 期刊编委陆哲明教授撰写，文中涉及到的论文翻译部分，为译者在个人理解之上的概述与转达，论文详情及准确信息请参考英文原文。本文遵守 CC BY 4.0 许可 (https://creativecommons.org/licenses/by/4.0/)。如需转载，请于公众号后台留言咨询。

由于微信订阅号推送规则更新，建议您将“MDPI工程科学”设为星标，便可在消息栏中便捷地找到我们，及时了解最新开放出版动态资讯！

点击左下方“阅读原文”，免费阅读英文原文。

期待您的“三连击”☞【分享，点赞，转发】