具身智能系列讲座（四）| AIRS in the AIR 预告

6月27日 10:00-11:00

第 66 期

具身智能系列讲座（四）

具身智能是一种全新的人工智能理念，它区别于传统人工智能的观念，主张智能的产生不仅依赖算法和算力，还需要通过与实际世界的互动来实现。具身智能研究跨越了机器人学、人工智能、认知科学及神经科学等多个学科，旨在深化对智能本质的理解。

AIRS in the AIR推出具身智能系列讲座，旨在汇集相关领域顶尖学者专家，探讨具身智能带来的新机遇，解决其面临的技术与应用挑战，并将智能机器人应用推向家庭、工业、医疗和探索等多个领域，促进人机交互的自然化和任务执行的效率化。

系列讲座第四期邀请北京大学助理教授王鹤分享面向通用机器人的具身多模态大模型系统，讨论其中的机会和挑战。

01

执行主席

高源

AIRS智能机器人中心研究科学家

香港中文大学（深圳）理工学院兼职助理教授

02

报告嘉宾

王鹤

北京大学助理教授、博士生导师

北京智源具身智能中心主任

北大-银河通用具身智能联合实验室主任

王鹤博士是北京大学前沿计算研究中心（CFCS）的助理教授和博士生导师。他创立并领导了北大具身感知与交互实验室（EPIC Lab），致力于通过发展具身技能及具身多模态大模型推进通用具身智能。他同时担任北大-银河通用具身智能联合实验室主任和北京智源人工智能研究院具身智能研究中心主任。王鹤博士在计算机视觉、机器人学和人工智能领域的顶级会议和期刊上发表了五十余篇论文，并获得多项荣誉。他曾担任CVPR2022和WACV2022的领域主席，现为Image and Vision Computing的副主编，同时担任多项顶会的审稿人和程序委员。他于2021年从斯坦福大学获得博士学位，师从美国三院院士Leonidas J. Guibas教授；于2014年从清华大学获得学士学位。

03

报告介绍

报告主题：面向通用机器人的具身多模态大模型系统

报告嘉宾：王鹤

具身多模态大模型系统旨在通过大规模仿真和多模态数据融合，实现高度泛化和高效动作生成，解决通用机器人在现实环境中的应用难题。

本体层、技能层和大模型层构成的三层级具身多模态大模型系统是实现通用机器人的一种方案。本报告将讨论通过三维视觉打造多个泛化的移动和操作技能，包括抓取、铰接类物体操作、柔性物体操作和建图导航等等。而大模型层则负责大脑的能力，本报告将展示GPT-4V为代表的非具身多模态大模型进行视觉感知、任务规划和调用中层的三维视觉技能，实现从家用电器泛化操作到开放指令物体摆放的能力。最后，报告将展望端到端具身多模态大模型，讨论其中的机会和挑战。确保机器人在不同场景中具备高度的通用性和灵活性。

活动时间

2024年06月27日 10:00 - 11:00

参与方式

扫码线上观看

AIRS in the AIR 为 AIRS 重磅推出的系列活动，与您一起探索人工智能与机器人领域的前沿技术、产业应用、发展趋势。2022年举办至今，已邀请百余位国内外嘉宾，吸引了超40万人次参与。

AIRS in the AIR 往期视频回顾请前往哔哩哔哩观看：https://www.bilibili.com/video/BV1yr4y1z7zr/?spm_id_from=333.788

（如有感兴趣的主题或合作意向，欢迎在 AIRS 公众号后台留言。）

相关阅读

AIRS in the AIR | “多机器人系统”系列讲座回顾

AIRS in the AIR | “特种机器人”系列讲座