喜报 | 我院文振焜教授与清华大学孙富春教授团队合作取得ICRA 2024 Sim2real 赛道冠军
喜
报
获
奖
近日，ICRA 2024 Robotic Sim2Real 挑战赛AXS赛道在日本圆满结束。我院文振焜教授与清华大学孙富春教授合作指导的青春致胜（Youth2Real）团队，在该项赛事仿真阶段、sim2real阶段和线下赛均获得第一名。本次获奖是我院与清华大学依托科技创新2030 -“新一代人工智能”重大项目合作的共同成果，这是深圳大学在机器人领域国际最顶尖会议首次获得冠军！
团队介绍
青春致胜（Youth2Real）由我院文振焜教授、电子信息工程学院黄海明副教授与清华大学计算机系孙富春教授、周怀东老师合作指导。团队成员包括容永丰、范喆恒、孟令达、谢云飞、吴泽锐（深圳大学计算机与软件学院）。
团队合作基础
我院文振焜教授与清华大学孙富春教授合作承担科技创新2030 -“新一代人工智能”重大项目——自主智能体的灵巧精准操作学习与典型场景验证。深圳大学承担课题1“多层次操作技能表示与知识化表达”任务。文振焜教授作为课题负责人，黄海明副教授作为主要指导老师，带领研究生吴泽锐、李智超、陈伟威、吴亮弘、邱献旭、缪圣义、钟达明开展项目研究。通过项目构建智能体、场景、任务、技能、动作等多层次机器人技能知识表达框架，形成本体、模板、实例的多级化知识表示体系，提出KET2A知识增强推理算法，提出基于强化学习的大模型微调方法，融合知识图谱生成大模型引导知识，进一步提出混合知识引导的双种群进化-强化算法，实现鲁棒的知识推理。并且在软排线、异形零件、同轴线等手机装配场景和航插、太阳翼展开等航天装配场景进行验证。这些研究内容为该次比赛提供重要的技术支撑。
比赛介绍
赛事介绍
Robotic Sim2Real 挑战赛是以机器人领域旗舰国际会议ICRA为平台的高校挑战赛，由松灵机器人、大疆创新、地平线、舜宇智能光学、求之科技公司等企业赞助。该赛道紧跟机器人领域发展前沿方向，基于具身智能系统，使机器体验更加贴近生活，通过模拟仿真日常生活环境，参赛队伍将在云端部署的数字孪生机器人平台中不断优化算法，以Sim2Real模式，提升机器人在真实世界中感知、导航和操作等任务的性能，加速机器人领域的科研进展。
比赛任务
该赛道面向全球研究者征集方案，旨在探索机器人在家庭辅助领域的潜力，要求全自动运行的机器人在厨房环境中对餐具进行分类和整理以获取积分，主要考察在仿真平台中完成的程序在实际部署中的运行效果。该赛事通过模拟与现实结合的Sim2Real方法，推动算法从仿真到实体应用的跨越。比赛主要分为四个阶段：仿真器调试阶段、Sim2Real调试阶段、正式比赛阶段和线下比赛。在每个阶段经过组委会进行技术评审及打分确定晋级名单和排名情况。
团队方案
团队提出一套用于餐具整理任务的技术方案（包含技能操作序列生成、3D点云定位、实时开门轨迹修正和目标检测抓取），能够在感知噪声、无力觉反馈、机械臂工作空间有限等场景约束下实现快速且稳定的技能操作。
技能操作序列生成
团队采用两阶段分步推理方法。首先，给定任务描述文本，如“到桌边抓取马克杯”，利用推理模型生成技能序列——定位、移动、检测、抓取等，进而通过传感器获取机器人动作参数。该部分算法由深圳大学负责。
3D点云定位
团队采用基于高密度激光雷达（High Definition Lidar）的定位方法，以Normal Distribution Transformation（NDT）匹配为主体，配合Unscented Kalman滤波器进行位姿估计，减小点云噪声对定位精度的影响。同时，根据场地的标记物（Markers）进行点云滤波，剔除动态点云和弱特征点云，以凸出标记方块特征，提高定位精度。该方法在仿真阶段和sim2real阶段都表现出较高的鲁棒性和准确性。
实时开门轨迹修正
团队采用实时检测门把位置以及柜门角度的方式，实时修正机械臂的轨迹，使其轨迹误差维持在不滑脱和不过载的范围内，减少随机误差的影响。
目标检测和抓取
团队采用YOLOv7目标检测网络对桌上物品的种类和位置进行检测后，根据深度相机数据得到物体精确位置，并根据目标周围物体阻挡情况选择合适的抓取位姿完成物体抓取。
比赛结果
由官方公布的数据可以看出，青春致胜（Youth2Real）团队提出的方案相较于其它团队更加高效和稳定，在仿真阶段、sim2real阶段和线下赛均获得第一名！
寄语
热烈祝贺获奖团队！
近年来，计算机与软件学院狠抓人才培养质量，深入开展基于“知识莫比乌斯环”的人才培养体系研究和实践，在课程教学、实践实习、学科竞赛、创新创业等方面均取得了突破性的重大进展。特别地，具身智能是当前AI领域最为热门的方向之一，也是最受各国政府、学术界和产业界关注的研究前沿。能在本次比赛中荣获第一名，充分体现学院的科研实力和人才培养成效！
最后，期待团队追求卓越，来年再创佳绩！
更多精彩
关注我们
图文 | 获奖团队提供
排版｜伍亚洲
责编 | 伍亚洲
— 版权声明 —
本微信公众号所有内容，由深圳大学计算机与软件学院微信自身创作、收集的文字、图片和音视频资料，版权属深圳大学计算机与软件学院微信所有；从公开渠道收集、整理及授权转载的文字、图片和音视频资料，版权属原作者。如原作者不愿意在本公众号刊登内容，请及时通知本号，予以删除。