悟空视界：全要素3D感知的综合交互系统

全面扫描，实时理解人体运动；鼠标点点，轻松感知场景信息。集场景建模、动作理解、手势反馈三大功能于一体的全要素3D感知综合交互人工智能系统—— “悟空视界”能思会辨，灵活多才。从深圳大学电子与信息工程学院卓越AI人才培养特色班课室到第十六届中国大学生计算机设计大赛答辩舞台，“悟空”历经“八十一难”，巧用“七十二变”，不仅成功摘下国家级一等奖的荣誉，还被评为本届大赛的特色作品，满载而归。

     团队成员获奖合照 （从左至右分别为尹晗、石珺予、吕劲）

善思能见，应“七十二变”

正如孙悟空拥有千里眼，“悟空视界”拥有强大的视觉系统。“系统可以应用于监控领域。”卓越AI人才培养特色班2020级本科生石珺予说，“当家里老人和婴儿没有人顾看时，‘悟空视界’能够胜任这一项工作。目前系统从3D场景建模、危险物品检测、人体行为预测和自然语言识别方面能进行实时地分析处理，进而提前发出警报。”

此外，“综合交互”的设计也是“悟空视界”的一大亮点：“市场上已有的综合人机交互系统适用范围较为狭窄，不利于处理真实场景中复杂的多模态信息。”2023年4月伊始，团队敏锐抓住该领域尚缺的市场需求，针对人与人、人与物体、物体与物体间复杂的交互信息设计了综合的、可以感知场景中不同信息的、通用于多任务的系统——“悟空视界”。

然而，让“悟空视界”学会“思考”并非易事。为了让系统形成对真实场景和人体行为的基本判定逻辑，团队一次次实地试验，获取一手现实数据，并佐以开源的大型数据库，“喂养”大量的数据使系统初步获得自主分析真实场景的“思考”能力。

“我们使用的核心算法是自主研发的。”卓越AI人才培养特色班2020级本科生尹晗表示，系统设计最前沿的“动作预测”算法系组内自主研发，“我们在多个数据集上证明了我们的方法在性能上基本优于所有现有算法。”这些努力大大弥补了现有系统在交互方面上的缺陷，填补了市场空缺。

   “悟空视界”阶段性实验效果图

作为一款多领域通用的综合人机交互系统，“悟空视界”拥有对真实世界信息的综合处理能力。系统由人体运动理解模块、手势理解模块和图像处理模块组成，利用计算机和智能机器，感知和理解真实世界中的2D场景、3D场景，分析人的行为信息，并对此做出相应反馈。“系统功能较多恰好也对应了孙悟空‘七十二变’的能力。”卓越AI人才培养特色班2020级本科生吕劲补充道，未来系统还将广泛应用于VR、自动驾驶等领域，涉及日常生活的方方面面。

                 师徒齐心，勇夺“真经”

“我们是很默契的团队。”备赛是场持久战，只有30平方米的小课室是“悟空视界”的“产房”，“我们动手将教室角落的杂物清空，这才有了干净的项目实验环境。”

2021年，石珺予、吕劲、尹晗在卓越AI人才培养特色班相遇，缘于学业上相互合作，三人迅速成为好朋友。“项目开展过程中，我们并没有很严格的团队分工。”石珺予表示，得益于团队三人高度的默契及扎实的专业知识，团队间碰撞出良好的“化学反应”，“哪部分有需要，大家就会自觉动手。”

然而，通往成功的道路并非一帆风顺。“设计动作理解模块时，我想打通不同子算法间的数据流，这涉及到很多复杂的计算和变换。”石珺予表示，关于实际模型训练与实现代码，团队花费了三个星期才突破困境，“得益于老师的指导，我们改变现有方法，并引用新技术成功解决了问题。”

除却克服技术困难，团队还面临较大的学业压力。“首先我们对比赛时间线有基本的了解，接着制定具体的时间表。吕劲表示，大家根据时间表执行计划，能高效地在规定时间内完成待办事件，进而有效平衡学业与备赛。

除了王可、何志权两位指导老师之外，三人还不约而同地提起一个名字——钟建奇。“他是我们实验室的博士生师兄。”石珺予表示，项目初始想法及核心亮点是钟建奇引导三人提出，这也为项目进一步开展与研发奠定了举足轻重的基础。

“当然，要做出成功的项目光有想法是不够的，硬件也必须跟上来，项目的顺利完成离不开学校和学院的支持。”深圳大学及电子与信息工程学院在资金、师资、政策等方面为项目高效地、稳步地推进保驾护航。

电子与信息工程学院党委副书记杨丹提到，学院将学生竞赛工作列为重点工作，将“动手能力”作为重点能力进行培养：“得知学生们获奖我很激动，当然能取得这个成绩也是意料之中的，这印证了我们人才培养计划的成功。”

团队省赛合影

赓续来时路，前方抵星海

于三人而言，比赛重在过程而不在结果，奖项是起点而不是终点。“我参与比赛是为了做一些比较有趣的项目，检验自己的学习成果，提升个人能力，其余的成果都是项目结果附带的。”石珺予表示，目前“悟空视界”系统在算力和应用部署等方面还有待优化，尚未达到“产品落地”的标准。“我们后续仍希望继续打磨‘悟空视界’，走教产研道路，努力实现商业化落地。”

“我们希望学生在竞赛过程中能对个人发展和职业生涯规划有所思考。”杨丹期盼学生能以赛促学、以赛促能，“作为工科学院，对学生动手能力的培养是我们人才培养环节中的重要一环。”跨过重重困难，历遍“科研百态”，团队三人选择继续坚定不移地在科研道路上走下去。

“做科研不能有太强的功利心，一定要静下心来。”石珺予谈到，“做科研要时刻想想自己的成果能为该领域、为社会作出什么贡献。”

科研道路是枯燥的，尹晗表示，运动、旅游、聚餐等方式是团队调整心态，突破瓶颈期的秘密武器：“正如太阳光经过漫长的旅途抵达这颗星球来照亮你我，事情的成功需要付出在时间上的沉淀。中途遇到一些挫折不要否定自己，要去辩证看待问题，它往往能带给我们的一些收获和启发。”

“只要坚信自己的道路，就无所谓前方是风是雨。” “悟空视界”项目团队出色地展现了他们的科研智慧和团队精神，也展示着深圳大学学子在科技创新方面的优秀实力。

“在学科交叉的大背景下，我们给理工类同学提供了相互交流的平台的机会。”杨丹表示，提供科研平台是AI卓越人才特色班的创立初衷，“学院希望学生能提前对自己的职业生涯及个人发展有大方向的思考，我们欢迎对科研感兴趣的同学参观实验室，积极为他们提供与项目导师交流的机会。”

“做科研一定要心中有星辰大海，目向远方。”石珺予表示，科研路漫漫，站得高，看得远，才能收获意想不到的结果。

团队获奖证书

文字 | 罗率中 刘秀庆 谢颜羽 朱灿逸

图片 | 受访者供图

排版 | 赖嘉颖

责编 | 许楠

监制 | 林海音

往期推荐