ICRA 2023 | DexGraspNet：大规模灵巧机械手抓取数据集
关键词：灵巧机械手；灵巧抓取；机器人交互
导 读
本文是国际机器人和自动化顶级会议 ICRA 2023入选论文 DexGraspNet: A Large-Scale Robotic Dexterous Grasp Dataset for General Objects Based on Simulation 的解读。
该论文由北京大学王鹤课题组与北京通用人工智能研究院合作完成。论文改进了现有灵巧机械手抓取物体的合成方法，提供了一套高效的程序框架用以合成多样、稳定的抓取姿势数据。通过该框架，团队为 ShadowHand 生成了大规模仿真数据集 DexGraspNet，包含133类5355个物体的132万抓取数据，在数量和质量上优于现有灵巧机械手抓取数据集。经过交叉数据集实验结果，新数据集能够显著提升数据驱动的灵巧机械手抓取合成算法的表现。
项目主页：
https://pku-epic.github.io/DexGraspNet/
论文地址：
https://arxiv.org/abs/2210.02697
代码地址：
https://github.com/PKU-EPIC/DexGraspNet01
引 言
物体抓取是机器人系统设计的重要任务。近年来，基于视觉和学习的抓取方法在平行抓取器（Parallel Grippers）上取得巨大成功。然而，平行抓取器的自由度较低，无法完成例如张合剪刀这样的复杂动作。相比之下，多指灵巧机械手（Multi-Fingered Robotic Dexterous Hands）灵活性更高，是具身人工智能（Embodied AI）的重要研究对象。但是由于自由度更高，灵巧机械手的抓取算法远不如前者成熟，不仅缺少多样、稳定的抓取合成算法，还缺少大规模的抓取数据集。现有的灵巧机械手抓取数据集[1]最多仅包含565个物体，拥有约6900条抓取数据，规模与多样性均不够大，极大限制了数据驱动抓取算法的泛化能力。
在本文中，我们合成了大规模仿真数据集 DexGraspNet，为包含133个种类的5355个物体合成了132万条抓取数据。这些物体从多个合成和扫描的物体数据集里挑选，涵盖了常见的人手可抓取的物体种类。我们的数据集不仅拥有前所未有的规模，而且保证了抓取数据的物理稳定性和姿势多样性。前者经由 Isaac Gym 仿真环境保证，后者得益于我们对已有的灵巧机械手抓取合成方法的改进。
需要注意的是，灵巧机械手抓取合成本身就是一个具有挑战性的任务。基于抓取特征空间搜索的算法[2]由于搜索策略简单，得到的数据缺乏多样性。我们的算法基于最近的一篇工作[3]，他们提出可微的抓取质量指标，通过优化方法合成高自由度的灵巧手抓取。但是该算法成功率较低、收敛较慢、对物体模型质量要求较高，无法支持我们合成大规模的数据集。因此我们为算法做出几条重要改进：我们设计了更好的初始化和接触点选取策略，从而加快算法的收敛速度；我们更换了计算可微有向距离场（Signed Distance Field）的方法，让算法能应用在低质量的物体模型上；我们定义了新的优化能量项，避免模型之间发生穿透。该算法也具有可迁移性，能适用于 MANO[4]和 Allegro 等灵巧手上。
为了验证新数据集的效果，我们选择了两个数据驱动的抓取合成算法 DDG[1]和 GraspTTA[5]，进行数据集交叉实验，发现我们的数据集能够显著提升算法结果的稳定性和多样性，但都没有达到与数据集同等稳定且多样的程度，证明目前的抓取合成算法仍然有巨大的探索空间。
02
方 法
在数据集合成阶段，我们利用参考工作[3]提出的可微能量函数，从机械手的随机初始姿势开始，通过梯度下降法对抓取姿势进行优化，合成抓取姿势。假定机械手与物体的 个接触点为 ，物体表面在接触点的法线为 ，通过放宽判定抓取稳定性的力封闭（Force Closure）条件，可微能量函数可以表示为： 此外，我们还添加了额外的能量项让机械手贴近物体 、防止穿模和自穿模 、防止关节过度弯折 。这些能量项通过加权来组成完整的能量函数： 在原有算法的基础上，我们提出了三点改进：首先，我们优化了初始化的方式，让机械手根据物体的凸包结构随机初始化在物体周围，显著提升合成算法的成功率。其次，我们提出了一个新的方法来计算 ，即计算物体点云相较于机械手的三维网格的穿模深度，使得算法能处理低质量的物体模型。最后，我们还优化了算法中可微有向距离场的计算方式，使用显卡即时计算，避免了原算法需要对物体模型信息进行预先的神经网络训练，简化了数据前处理流程并减少了算法的显存开销。
初始化示意图：首先在浅蓝色凸包上采样一个点，然后把机械手移动到该点上并对准被抓物体，最后对机械手的位姿与关节进行随机微扰。
初步合成的抓取结果被进一步放入基于 PhysX 物理引擎的 Isaac Gym 仿真环境中测试其物理稳定性。如果抓取姿势能在六个方向的重力下均维持一段时间，并且初始姿势穿模深度不超过1mm，则认为该抓取数据是有效的。
03
结 果
最终我们整合得到一套高效的框架，相较原有方法获得50倍以上的速度提升，同时保证结果的稳定性和多样性。我们为 ShadowHand 合成并筛选得到132万条抓取数据，覆盖了133个类别的5355个物体。下图展示了其中的部分数据：
此外，我们的方法还具有很高的泛用性，可以轻易迁移到人手或其他灵巧机械手上，同时不失算法原有的效率、质量与多样性。下图展示了我们为 ShadowHand、MANO 和 Allegro 生成的部分抓取数据：
我们为抓取数据做了定量统计，得出数据集在规模、抓取稳定性、抓取多样性上明显优于现有灵巧手抓取数据集。
现有灵巧抓取数据集的信息统计
表中指标为：1. ，使物体脱离机械手所需要的最小外力扭（由外力及其力矩拼接的六维向量）的模长，用以衡量抓取的稳定性；2. ，关节角度分布的熵值，用以衡量抓取的多样性。
我们将数据集用以训练已有的灵巧机械手抓取合成算法 DDG 和 GraspTTA，显著提升了算法的表现。同时，我们注意到现有方法并不能兼顾稳定性和多样性，仍具有提升空间。
表中指标为：1. 在仿真环境中的抓取成功率；2. ；3. 模型穿模深度的均值，单位为厘米。
04
总 结
在本论文中，我们合成了灵巧机械手的大规模抓取数据集，使其抓取数据相比以往数据集更具多样性，并使用物理仿真环境筛选结果来确保抓取的稳定性。我们选择的数据驱动的抓取合成算法在该数据集上进行训练，能够显著提升结果的稳定性和多样性。尽管如此，相比于平行抓取器上的成熟研究，灵巧机械手抓取任务仍有很大的研究空间，诸如精细抓取、功能性抓取等更具灵巧性的抓取任务也是待探索的问题。
参考文献
[1] M. Liu, Z. Pan, K. Xu, K. Ganguly, and D. Manocha, "Deep differentiable grasp planner for high-dof grippers," arXiv preprint arXiv:2002.01530, 2020.
[2] A. T. Miller and P. K. Allen, "Graspit! a versatile simulator for robotic grasping," IEEE Robotics & Automation Magazine, 2004.
[3] T. Liu, Z. Liu, Z. Jiao, Y. Zhu, and S.-C. Zhu, "Synthesizing diverse and physically stable grasps with arbitrary hand structures using differentiable force closure estimator," IEEE RA-L, 2021.
[4] J. Romero, D. Tzionas, and M. J. Black, "Embodied hands: Modeling and capturing hands and bodies together," ACM TOG, 2017.
[5] H. Jiang, S. Liu, J. Wang, and X. Wang, "Hand-object contact consistency reasoning for human grasps generation," ICCV, 2021.
图文 | 王瑞诚、张家梁
Embodied Perception and InteraCtion (EPIC)
具身感知与交互实验室
Embodied Perception and InteraCtion Lab
北京大学具身感知与交互实验室 EPIC Lab（Embodied Perception and InteraCtion Lab）由王鹤博士于2021年在北京大学创立。该实验室立足三维视觉感知与机器人学，重点关注机器人具身在三维复杂环境中的交互和涉及的感知问题，研究目标是以可扩增的方式发展可泛化的机器人视觉系统和物体操控策略。
Embodied Perception and InteraCtion (EPIC) Lab is found by Dr. He Wang at Peking University in 2021, where research revolves around 3D vision and robotics with special focus on embodied AI. The mission is to endow robots working in complex real-world scenes with generalizable 3D vision and interaction policies in a scalable way.
实验室 PI 简介：王鹤 助理教授
实验室相关新闻：#PKU EPIC
EPIC近期动态
— 版权声明 —
本微信公众号所有内容，由北京大学前沿计算研究中心微信自身创作、收集的文字、图片和音视频资料，版权属北京大学前沿计算研究中心微信所有；从公开渠道收集、整理及授权转载的文字、图片和音视频资料，版权属原作者。本公众号内容原作者如不愿意在本号刊登内容，请及时通知本号，予以删除。
点击“阅读原文”转项目主页