其他
【导读】继OpenAI机器人Figure惊艳全球后,斯坦福大学李飞飞团队推出黑科技力作——开源便携式手部动作捕捉系统DexCap。该系统仅需3600余美元成本,就能让机械臂"变身"拥有媲美人手的灵活性,熟练完成泡茶、整理桌面等精细操作。DexCap的问世或将加速推动个人级灵巧机器人的发展。▍展现卓越:DexCap应对多种任务游刃有余研究团队通过大量实验评估,展示了DexCap+DEXIL系统在多个不同难度和类型的操作任务中的出色学习和执行能力。首先是一些基本的单手操作,如拿起物体、放下物体、推动物体、旋转罐盖等。利用仅30分钟的人类示范数据,DEXIL算法就能高效学习到这些基本动作的操作策略,使机械臂的动作表现媲美人类水平。进一步,在需要双手协同配合的复杂任务中,DexCap同样游刃有余。比如泡红茶这一项操作,机械臂能先用一只手旋开茶叶罐盖,另一只手夹起茶镊挑取适量茶叶,将茶叶放入杯中后,再用镊子盖上盖子,行云流水、熟练稳健。另一项富有挑战的双手操作是"整理操作台"。这项任务要求机械臂协调运用双手,将桌面上分散的物品如钳子、扳手、圆珠笔等一一拾起,依次整理到预先指定的存放区域。看似简单,但对于精准把控手臂运动轨迹、用力大小及配合默契程度的要求极高。最精彩的莫过于剪纸操作了。这项任务不仅检验双手协作水平,更考察手臂在空间位置、力量控制、精细动作等多方面的综合能力。机械臂需要一只手用力夹住纸张,另一只手则熟练操作剪刀在纸上游走、打开合拢,才能完成整个剪纸动作并剪出理想的图案。令人惊叹的是,机器人仅通过1小时的人类示范数据结合30次人工微调,就能拿捏得如此紧凑精湛、行云流水,完成上述泡茶、整理和剪纸等一系列操作。这都归功于DexCap出众的数据采集能力,以及DEXIL算法在模仿学习方面的高效表现。▍DexCap硬件:独树一帜的设计思路要深入理解DexCap取得上述精彩表现的原因,不得不讲一讲这一系统独特的硬件设计理念。DexCap的硬件部分包括头戴式动捕手套、腰佩RGBD相机、以及手臂和胸前的SLAM定位相机。在采集手部运动数据时,3个追踪相机从胸前移至手部,与手套一起工作,持续追踪手腕和手指的运动轨迹。这一设计有两大创新之处:首先,DexCap能精准记录人手的6自由度运动,捕捉水平之高前所未有;其次,即使在视野遮挡的情况下,系统依然能清晰捕捉完整的手部动作序列,极大提高了数据质量。这两点正是DexCap能够驱使机械臂完成剪纸等高精度操作的关键所在。此外,DexCap体积小巧轻便,不仅支持户内,更能在户外等各种环境下进行移动式数据采集,保证了训练数据的丰富性和多样性,为训练出通用灵巧操作策略奠定了坚实基础。▍DEXIL算法:高效实现人手到机器手的迁移在算法层面,DexCap配套了名为DEXIL的模仿学习框架,这也是系统取得卓越表现的另一关键所在。DEXIL的工作原理,首先是利用逆运动学计算,使人手和机械手指尖的运动轨迹完全重合;然后将环境的RGB-D数据转化为与机器人作业空间对齐的3D点云观测。有了这些对齐后的动作和观测数据,DEXIL就可以基于行为克隆算法生成精准的机器人动作控制序列,实现高保真的人类操作模仿。更有创意的是,DEXIL框架还融入了人机交互式微调环节。也就是说,在机器人模仿学习初期表现还有偏差时,人类操作员可以通过DexCap系统实时监测并微调其动作轨迹,这些纠正数据也会被记录并反馈至模型进行继续训练和优化。这一机制避免了传统模仿学习算法在数据获取和策略优化上遇到的诸多困难,大大提高了DEXIL的学习效率和模型质量,是机器人能快速掌握"剪纸"等精湛绝活的关键所在。系统通过不断的人机交互学习,性能也将持续提升。▍前景广阔:或推动个人级仿生机器人时代总的来说,DexCap是一款旨在能赋予机器人"千手万能"的开源黑科技。这都得益于DexCap出色的数据采集能力,以及配套DEXIL算法在模仿学习方面的高效性,尤其是引入了人机协作交互这一创新,进一步提升了系统的人性化和实用性。DexCap的发布或将加速推动个人级别的仿生机器人时代到来,在家庭、工厂等各种场景发挥越来越大的作用,让机器人真正能像人手一样灵活好用。如需咨询企业合作事宜,欢迎联系堂博士(13810423387,手机与微信同号)进行对接。----------------END----------------工业机器人企业埃斯顿自动化