人工智能与无线技术结合:“穿墙”感知人体动作!
导读
近日,美国麻省理工学院(MIT)计算机科学与人工智能实验室(CSAIL)Dina Katabi 教授领导的科研团队开发的最新项目“RF-Pose”,采用人工智能(AI)教会无线设备“穿墙”感知人体的姿势与运动。
背景
“X射线视觉”(X-ray vision ),俗称“透视眼”,往往都是出现在科幻小说中,例如漫画英雄“超人”就具备这样的能力,他能透过遮挡看到物体背后的东西。对于真实世界的应用来说,这种“透视”能力以往一直被视为不着边际的科学幻想。
然而近些年,科学家们的创新研究让“透视眼”逐渐从科幻变为现实。先带大家回顾一下曾介绍过的相关创新成果:
1)美国加州大学圣巴巴拉分校(UCSB)的科研人员首次演示了一种新方案,利用两架无人机发射和接收Wi-Fi无线信号,透过墙壁对墙后物体进行三维成像。
(图片来源:UCSB)
2)德国慕尼黑工业大学的科研人员利用Wi-Fi发射器的杂散辐射,建立起Wi-Fi发射器周围物体的三维全息图。由于Wi-Fi信号可以穿墙,所以房间内泄漏出的Wi-Fi信号,甚至可用于在房间外“穿墙”观测房间内物体的图像。
(图片来源:Friedemann Reinhard/Philipp Holl/慕尼黑工业大学)
3)美国麻省理工学院(MIT)计算机科学与人工智能实验室(CSAIL)Dina Katabi 教授领导的科研小组开发的 WiTrack 系统可以分析人体反射的无线信号,以“穿墙”的方式检测人体轮廓信息,捕捉人体动作,预防老人跌倒等。
创新
今天要介绍的创新成果,也是由美国麻省理工学院(MIT)计算机科学与人工智能实验室(CSAIL)Dina Katabi 教授领导的科研团队开发,也是他们最新的项目,名为“RF-Pose”。该项目采用人工智能(AI)教会无线设备“穿墙”感知人体的姿势与运动。
(图片来源:Jason Dorfman, MIT CSAIL)
相关论文的领导作者是MIT博士生 Mingmin Zhao,论文合著者包括:MIT 教授 Antonio Torralba、博士后 Mohammad Abu Alsheikh、研究生 Tianhong Li、博士生 Yonglong Tian 和 Hang Zhao。这个月晚些时候,他们将在美国犹他州盐湖城召开的计算机视觉与模式识别(CVPR)会议上发表这篇论文。
技术
简单说,该技术的原理可以概括为:采用神经网络分析人体反射的无线电信号,然后创作出一幅动态简笔画,能像人类一样走动、停止、坐下、移动肢体。
(图片来源:MIT CSAIL)
然而,在实现这一目标的过程中,研究人员必须面对一个重要挑战。这个挑战就是:大多数神经网络都是通过手工标注的数据来训练的,例如,被训练去识别猫的神经网络,需要人们查看巨大的图像数据集,将每一副图像标记为“猫”或“非猫”。可是,无线电信号却不容易被人类标记。
为了应对这一挑战,研究人员们采用了一个巧妙的方法:用无线设备加上一个摄像头来采集样本。
他们采集了几千张人们走路、谈话、坐下、开门和等电梯的活动图像,然后从摄像头拍摄的图像中提取简笔画,这些简笔画与相应的无线电信号一起传送给神经网络。这种样本的结合,使得系统能够学习到无线电信号与场景中人体的简笔画之间的关联。
经过训练之后,RF-Pose 无需摄像头,只需要采集来自人体的无线反射信号,就能评估人们的姿势和运动。
因为摄像头无法穿墙观测,所以神经网络的训练从来不是依据墙背后另一侧的数据。这一点让MIT团队特别惊讶,神经网络竟然可以归纳这些知识,从而“穿墙”掌握人体运动。
此外,在数据采集方面,团队搜集的所有数据都征得了受试者同意,并通过匿名与加密来保护用户隐私。
价值
团队称,该系统可用于检测帕金森病和多发性硬化症等疾病,有助于更好地理解疾病进展,方便医生相应地调整施药。此外,通过检测跌倒、损伤以及活动模式的变化,这项技术将帮助老年人更加独立地生活,提高他们活动的安全。相比于其他监测方案,这种方案还有一个显著优势,就是无需病人佩戴传感器或者为设备充电。
(图片来源:MIT )
除了医疗保健领域的应用,RF-Pose 也可用于新型电子游戏。在这些电子游戏中,玩家可以在房间中到处移动。
(图片来源:MIT )
除了感知运动,这项技术还可以用于搜救任务,帮助定位幸存者。研究人员也展示了他们可以利用无线信号,在一排100个人当中,以83%的精度准确地识别某人。这种能力对于搜救活动特别有用,它将有助于识别特定的人。
研究人员表示,通过将视觉数据与AI技术相结合,这种穿墙观测的技术将有助于更好地理解场景,让我们周围环境变得更智能,使得我们的生活变得更安全、更高效。就像手机和Wi-Fi路由器成为如今家居生活的必要组成部分一样,这样的无线技术也将为家居生活开启新的未来。
未来
在这篇论文中,模型输出的是二维简笔画,但是团队也正在努力创造三维的表示方式,以便模仿更细微的运动,例如能在体检时看到老人的手是否有规律地抖动。目前,团队也正在与医生们合作探索更多医疗健康领域的应用。
关键字
参考资料
【1】http://news.mit.edu/2018/artificial-intelligence-senses-people-through-walls-0612
【2】http://witrack.csail.mit.edu/
了解更多前沿技术文章,请点击“阅读原文”。咨询和交流,请联系微信:JohnZh1984