中国科学院自动化研究所团队 | 人与机器人的物体交接：最近进展与未来方向
内容摘要
人与机器人的物体交接是人机协作中最基础和最关键的环节之一，对推动机器人真正进入人类生产生活场景，在众多任务中为人类服务具有重要意义。近年来，研究人员在人-机器人物体交接领域取得了令人瞩目的进展。本文从机器人扮演的角色（接收者或传递者）、机器人的末端执行器（平行夹爪或多指手）和机器人的性能（抓取策略或运动规划）等多个角度综述了人-机器人物体交接的研究进展，基于五指灵巧手设计并实现了拟人手的人-机器人物体交接系统，验证了人-机器人的通用物体交接框架。
图文导读
（一）文章从3个维度分析总结了2021年至今的相关文献，形成的方法分类如图3所示。文章首先关注机器人在宏观层面上的角色，即作为接收者从人类手中拿走物体，或者作为传递者将物体交给人类。之后，讨论了不同任务中机器人使用的机械臂与末端执行器类型，阐述了硬件设置与物体交接算法间的关系。最后，分析了在物体交接中机器人的抓取策略和运动规划方法。
（二）文章重点关注机器人作为接收者和传递者的应用情况，并对解决双向物体交接任务的工作也加以说明和解释，如图4所示。当机器人作为接收者时，将机器人划分为只能抓取特定物体和抓取能力可泛化到多种物体两类；当机器人作为传递者时，依据抓取策略针对的是特定任务还是通用场景划分机器人类型。
（三）平行夹爪和多指手作为机器人末端执行器的应用情况如图5所示。针对每类末端执行器使用的机械臂，分别从冗余自由度机械臂、全自由度机械臂和欠自由度机械臂出发，分析研究者选用不同硬件的原因以及硬件对算法的影响。
图5 人-机器人物体交接机器人末端执行器分类分布
（四）对于机器人性能的分析，文章聚焦于研究者在机器人抓取策略和运动规划方面的贡献，如图6所示。物体交接可以分为预交接和物理交接两个阶段，而抓取策略和运动规划作为预交接阶段中最重要的两个模块，其性能会直接影响到物体交接的成功率。对于抓取策略，本文将相关研究分为可抓取部位检测和抓取配置生成两类。可抓取部位检测重点在于将预定义的一些抓取参数匹配至物体合适的部位，而抓取配置生成则期望通过物体的全局信息直接生成抓取参数。对于运动规划方法，本文将相关研究分为基于学习、基于控制和基于分析三种。研究表明，基于数据驱动的学习方式能够让机器人在运动规划时具备更强的泛化能力，而后两种方法会在特定任务中使机器人的运动更加自然和柔顺。
（五）本研究设计的人-机器人物体交接系统的通用框架如图7所示。该框架由4个模块组成，每个模块都可以根据任务的需要灵活扩展。视觉信息是在人-机器人物体交接任务中占主导地位的感知方式，因此基础的输入模块通常由 RGB-D 相机完成。场景理解模块以上游获得的视觉信息作为输入，提取不同任务中感兴趣的信息。上述工作应用不同的方法（人体关键点检测、手-物检测或点云分割）来提取人手和物体的点云。这个思想也可以推广到机器人-人的物体交接任务中。抓取生成模块将物体点云输入到基于点云的抓取生成网络中，以预测密集抓取候选。运动规划模块则实现机器人响应式的物体交接动作。
图7 人-机器人物体交接通用框架
（六）结合上述物体交接框架，本研究使用五指灵巧手实现了一个人-机器人的物体交接系统（图8）。实验平台由6自由度的UR5协作机械臂、9自由度的 Schunk SVH灵巧手和Azure Kinect RGB-D相机组成。实验中选择了30个未知物体。每个物体加以随机位姿和人手遮挡来交接10次，系统平均成功率为 73.3%（图9）。实验表明，机器人不仅可以适应多种形状的物体，还可以泛化到在人手遮挡情况下具有随意位姿的多种物体上。
图8 人-灵巧手机器人物体交接实验平台
（七）文章最后提出了人-机器人物体交接领域的未来潜在研究方向，如利用大模型语言的优势帮助机器人在交互任务中提高对人类意图的推理能力，采用灵巧手使机器人具备更加类人的物体交接能力，完成物体交接中的长序列任务，以使机器人胜任更加复杂的环境和挑战，等等。
【作者信息】
Haonan Duana,b, Yifan Yanga,b, Daheng Lia,b, Peng Wanga,b,c,*a Institute of Automation, Chinese Academy of Sciences, Beijing 100190, China
b School of Artificial Intelligence, University of Chinese Academy of Sciences, Beijing 100049, China
c Centre for Artificial Intelligence and Robotics, Hong Kong Institute of Science and Innovation, Chinese Academy of Sciences, Hong Kong 999077, China
* Author to whom correspondence should be addressed: peng_wang@ia.ac.cn
【DOI】
https://doi.org/10.1016/j.birob.2024.100145【全文链接】
关于本刊
期刊官网：
https://www.sciencedirect.com/journal/biomimetic-intelligence-and-robotics
投稿网址：
https://www.editorialmanager.com/birob/default1.aspx
联系方式：
Email:bir@sdu.edu.cn
我们会及时与您取得联系，谢谢！
其他推荐
点击“阅读原文”
编辑 | 唐 秋审核 | 许力琴 张 勤