跟真狗学“奔跑跳跃”!腾讯Robotics X用预训练模型和强化学习提升机器狗控制
近日,腾讯 Robotics X 机器人实验室公布了智能体研究的最新进展,通过将前沿的预训练 AI 模型和强化学习技术应用到机器人控制领域,让腾讯机器狗 Max 的灵活性和自主决策能力得到大幅提升。
让机器人像人或动物一样灵活且稳定的运动,是机器人研究领域长期追求的目标,深度学习技术的不断进步,使得让机器通过「学习」来掌握相关能力,学会应对复杂多变的环境变得可行。
▍引入预训练和强化学习:让机器狗更加灵动
腾讯 Robotics X 机器人实验室通过引入预训练模型和强化学习技术,可以让机器狗分阶段进行学习,有效的将不同阶段的技能、知识积累并存储下来,让机器人在解决新的复杂任务时,不必重新学习,而是可以复用已经学会的姿态、环境感知、策略规划多个层面的知识,进行「举一反三」,灵活应对复杂环境。
这一系列的学习分为三个阶段:
第一阶段,通过游戏技术中常使用动作捕捉系统,研究员收集真狗的运动姿态数据,包括走、跑、跳、站立等动作,并利用这些数据,在仿真器中构建了一个模仿学习任务,再将这些数据中的信息抽象并压缩到深度神经网络模型中。这些模型能够非常准确地涵盖收集的动物运动姿态信息,且具有一定的可解释性。
腾讯 Robotics X 机器人实验室和腾讯游戏合作,用游戏技术提升了仿真引擎的准确和高效,同时游戏制作和研发过程中积累了多元的动捕素材。这些技术以及数据对基于物理仿真的智能体训练以及真实世界机器人策略部署起到了一定的辅助作用。
在模仿学习的过程中,神经网络模型仅接收机器狗本体感知信息作为输入,例如机器狗身上电机状态等。再下一步,模型引入周边环境的感知数据,例如通过其他传感器「看到」脚下的障碍物。
第二阶段,通过额外的网络参数来将第一阶段掌握的机器狗灵动姿态与外界感知联系在一起,使得机器狗能够通过已经学会的灵动姿态来应对外界环境。当机器狗能够适应多种复杂的环境后,这些将灵动姿态与外界感知联系在一起的知识也会被固化下来,存在神经网络结构中。
第三阶段,利用上述两个预训练阶段获取的神经网络,机器狗才有前提和机会来聚焦解决最上层的策略学习问题,最终具有端到端解决复杂任务的能力。第三阶段附加的网络会获取与复杂任务有关的信息,例如在游戏中,获取对手的信息、旗子的信息。此外,通过综合分析所有信息,负责策略学习的神经网络会学习出针对任务的高阶策略,例如往哪个方向跑动,预判对手的行为来决定是否继续追逐等等。
上述每一阶段学习到的知识都可以扩充和调整,不需要重新学习,因此可以不断积累,持续学习。
▍机器狗障碍追逐比赛:拥有自主决策和控制能力
为了测试 Max 所掌握的这些新技能,研究员受到障碍追逐比赛「World Chase Tag」的启发,设计了一个双狗障碍追逐的游戏。「World Chase Tag」是一个竞技性障碍追逐赛组织,2014 年创立于英国,由民间儿童追逐游戏标准化而来。一般来说,障碍追逐比赛每轮次由两名互为对手的运动员参加,一名是追击者(称为攻方),一名是躲避者(称为守方),当一名运动员在整个追逐回合中(即 20 秒)成功躲避对手(即未发生触碰)时,团队将获得一分。在预定的追逐回合数中得分最多的战队赢得比赛。
在机器狗障碍追逐比赛中,游戏场地大小为 4.5 米 x 4.5 米,其中散落着一些障碍物。游戏起始,两个 Max 机器狗会被放置在场地中的随机位置,且随机一个机器狗被赋予追击者的角色,另一个为躲避者,同时,场地中会在随机位置摆放一个旗子。
追击者的任务是抓住躲避者,躲避者的目的则是在保证不被抓到的前提下去接近旗子。如果躲避者在被抓到之前成功触碰到旗子,则两个机器狗的角色会瞬间发生互换,同时旗子会重新出现在另一个随机的位置。游戏最终的结束条件为当前的追击者抓住了躲避者,且当前为追击者角色的机器狗获胜。所有游戏过程中,两个机器狗的平均前向速度被约束在 0.5 m/s。
基于这个游戏看来,在基于预训练好的模型下,机器狗通过深度强化学习,已经具备一定的推理和决策能力:
比如,当追击者意识到自己在躲避者碰到旗子之前已经无法追上它的时候,追击者就会放弃追击,而是在远离躲避者的位置徘徊,目的是为了等待下一个重置的旗子出现。
另外,当追击者即将抓到躲避者的最后时刻,它喜欢跳起来向着躲避者做出一个「扑」的动作,非常类似动物捕捉猎物时候的行为,或者躲避者在快要接触旗子的时候也会表现出同样的行为。这些都是机器狗为了确保自己的胜利采取的主动加速措施。
游戏中机器狗的所有控制策略都是神经网络策略,在仿真中进行学习并通过 zero-shot transfer(无缝迁移),让神经网络模拟人类的推理方式,来识别从未见过的新事物,并把这些知识部署到真实机器狗上。例如下图所示,机器狗在预训练模型中学会的躲避障碍物的知识,被用在游戏中,即使带有障碍物的场景并未在「Chase Tag Game」的虚拟世界进行训练(虚拟世界中仅训练了平地下的游戏场景),机器狗也能顺利完成任务。
据官方介绍,腾讯 Robotics X 机器人实验室长期致力于机器人前沿技术的研究,以此前在机器人本体、运动、控制领域等领先技术和积累为基础,研究员们也在尝试将前沿的预训练模型和深度强化学习技术引入到机器人领域,提升机器人的控制能力,让其更具灵活性,这也为机器人走入现实生活,服务人类打下了坚实的基础。
文章来源:
[1]https://mp.weixin.qq.com/s/8hnRq_HSL0E5yGf2e6JI_w
[2] https://tencent-roboticsx.github.io/lifelike-agility-and-play/
[3]W. Chi, X. Jiang, and Y. Zheng, “A linearization of centroidal dynamics for the model-predictive control of quadruped robots,” in 2022 International Conference on Robotics and Automation (ICRA), 2022, pp. 4656–4663.
[4] https://en.wikipedia.org/wiki/World_Chase_Tag.
-----------------END-------------------
更多精彩
*机器人+家具产业怎么做?这家企业创新开拓“共享工厂”模式,爆发增量将至
*Science刊登3D打印多足“蜈蚣”机器人,未来用于太空探索和搜救
*10毫秒抓蜜蜂! 0.2秒跳至24倍身高!中科院团队巧用新结构!
*顶刊发表!山东大学李贻斌教授团队研发出简捷高机动轮腿复合式机器人
*国产开源六轴协作机器人平台赋能科研新成果,机器人传感器全新研究登IEEE顶刊
*全球液控磨抛开创者赛威德:颠覆传统模式,让磨抛变得简单高效
*中国四足机器人亮相全球顶会ICRA 2023,绝影Lite3 & X20空翻跳远跳高引人注目
*绿的谐波携手生态链企业发布新品,基础创新助力中高端制造转型突围
*新品发布!松灵NAVIS 3D激光自主导航平台发布,移动自主导航定位系统新突破
*中国轮足式机器人TITA亮相ICRA 2023,外国网友:cool
*东华大学「指纹离子皮肤」能感知物体表面纹理,触觉堪比人类指尖!
*近百家展商共赴!2000+行业精英汇聚!第八届中国机器人峰会在浙江宁波余姚举办
*机械版白娘子?能自主思考的机器蛇可爬行多种崎岖地形,未来去土星寻找生命
加入社群
欢迎加入【机器人大讲堂】读者讨论群, 共同探讨机器人相关领域话题,共享前沿科技及产业动态。
教育机器人、医疗机器人、腿足机器人、工业机器人、服务机器人、特种机器人、无人机、软体机器人等专业讨论群正在招募, 关注机器人大讲堂公众号,发送“ 交流群 ”获取入群方式!
招募作者
机器人大讲堂正在招募【兼职内容创作者】,如果您对撰写机器人【科技类】或【产业类】文章感兴趣,可将简历和原创作品投至邮箱: LDjqrdjt@163.com
我们对职业、所在地等没有要求,欢迎朋友们的加入!
看累了吗?戳一下“在看”支持我们吧