学术前沿 | GenDexGrasp:面向任意机械手的通用灵巧抓握

 导读 

本文是北京大学人工智能研究院朱毅鑫助理教授团队在ICRA 2023 论文 GenDexGrasp:Generalizable Dexterous Grasping 的介绍。

本文共同一作为李浦豪[1,2]、刘腾宇[1]，其他作者李宇飏[1,2]、耿逸然[1,3]、朱毅鑫[3]、杨耀东[1,3]、通讯作者⻩思远[1]。

分别来自以下单位：1. 北京通用人工智能研究院 2. 清华大学 3. 北京大学。 

论文链接：（点击下方阅读原文）

https://arxiv.org/abs/2210.00722

01

摘要

图1：可泛化通⽤抓握

机械手使用⽬前的抓握算法虽然已经可以实现⽐较稳定地抓握物体，然⽽对比⼈类的抓握能⼒，我们发现在可抓握物体的通⽤性和多样性上都还远远不足。⼈类除了使⽤全部⼿指的完全抓握外，在⼀些⼿指不可⽤的时候还可以⾮常⾼效地使⽤两个或三个⼿指进⾏抓握。同时，当我们想象我们拥有其他形状的⼿（⽐如章⻥触⼿或者鹰⽖）时，可以在短时间内想象出如何使⽤新的⼿稳定地抓住物体。为了实现接近⼈类⽔平的可泛化多样灵巧抓握，本⽂提出了GenDexGrasp，⼀种新颖的⾯向任意⼿的抓握算法。与以前的通⽤抓握算法相⽐，GenDexGrasp在成功率、推理速度和⽣成多样性之间实现了三⽅⾯的平衡。

02

GenDexGrasp：跨机械⼿通⽤灵巧抓握

在本⽂中，我们将通⽤灵巧抓握定义为针对从未⻅过的机械⼿和观察到的物体⽣成抓握姿态的问题。我们从速度、多样性、泛化能⼒三个⽅⾯评估通⽤灵巧抓握。现有⽅法最多只能在其中的两个⽅⾯实现可接受的效果。

图2：GenDexGrasp⽅法概览图

为了在这三个⽅⾯实现平衡，我们设计了⾯向任意⼿的灵巧抓握算法GenDexGrasp。⾸先使⽤条件变分⾃动编码器（cVAE）为给定物体⽣成⾯向任意⼿的接触⾯。

接下来，通过优化⼿的姿势以匹配⽣成出来的接触⾯。最后，通过物理模拟进⼀步优化抓握姿态，以确保接触在物理上是可⾏的。GenDexGrasp通过减少对⼿结构的假设来提供泛化性，并通过改进接触⾯的计算⽅式和⾼效的优化⽅案实现快速推理，通过随机初始化的变分⽣成模型实现多样化的抓握⽣成。

图3：对⻬距离（aligned distance）⽰意图

其中(b)、(d)表⽰欧⽒距离以及在欧式距离下(a)图所⽰抓握对应的接触⾯；(c)、(e)表⽰对⻬距离以及在对⻬距离下(a)图所⽰抓握对应的接触⾯。

为了解决抓握优化过程中接触⾯的歧义性（尤其是对于薄壳物体），我们设计了⼀种新颖的度量⽅式“对⻬距离”（aligned distance）来计算物体表⾯点与⼿之间的距离，它有助于表⽰抓握⽣成的准确接触⾯。具体⽽⾔，传统的欧式距离会在接触薄壳物体⼀侧时错误地将薄壳的两侧都标记为接触点，⽽对⻬距离则考虑了接触点的⽅向和物体表⾯的法线，并纠正了这些错误。

为了学习⾯向任意⼿的接触⾯，我们使⽤⼒闭合优化[1]收集了⼀个⼤规模的多⼿数据集MultiDex。MultiDex包含5只⼿和58个家庭物品的436,000个多样化抓握姿态。

通过实验证明我们的⽅法能够分别在没⻅过三指、四指、五指机械⼿抓握的情况下⽣成对应机械⼿的多样抓握姿势。表1通过定量实验表明我们的⽅法可以实现质量、速度、多样性三⽅的均衡。

图4：GenDexGrasp在三指机械⼿（Barrett，第⼀⾏）、四指机械⼿（Allegro，第⼆⾏）和五指机械⼿（Shadowhand，第三⾏）的⽣成结果。

在⽣成每⼀⾏结果时，GenDexGrasp均未在训练数据中⻅过对应指数机械⼿的抓握数据。

表1：定量实验结果，表明我们的⽅法⾸次同时在成功率、多样性和推理速度三个⽅⾯实现均衡。

03

总结

本⽂介绍了GenDexGrasp，⼀种通⽤的灵巧抓握⽅法，可以泛化到任意的机械⼿。通过利⽤接触⾯作为中间表⽰、⼀种测量⼿到点距离的新型对⻬距离以及⼀种新型抓握算法，GenDexGrasp可以在合理的推理时间内⽣成多样化和⾼质量的抓握姿态。

定量实验表明，我们的⽅法⾸次在质量、多样性和速度之间实现合理的平衡。此外，我们为灵巧抓握收集了⼀个⼤规模的合成数据集MultiDex。MultiDex中包含了具有五个具有不同运动学结构的机器⼈⼿、常⻅的家庭⽤品和多样化的抓握姿态。

—   往期发布  —

点击图片查看原文

  点击图片查看原文

     点击图片查看原文

—   版权声明  —

本微信公众号所有内容，由北京大学人工智能研究院微信自身创作、收集的文字、图片和音视频资料，版权属北京大学人工智能研究院微信所有；从公开渠道收集、整理及授权转载的文字、图片和音视频资料，版权属原作者。本公众号内容原作者如不愿在本号刊登内容，请及时通知本号，予以删除。