查看原文
其他

从 Project Soil 开始,聊聊那些能实现「隔空操控」的黑科技

2016-05-29 林亿 深圳湾


— shenzhenware 


上周 Google I/O 2016 公布了 Project Soli 的最新进展,可以通过手掌和手指的简单手势来控制智能手表和智能音箱。


Soli 是一块极小的雷达芯片,它可以适配大多数可穿戴设备,实时追踪你的手部动作,检测手指的位置、相对距离和运动,通过动作进行数据和指令的传达,让你摆脱触摸屏。


在本周四晚「深圳湾夜话」活动中,我们邀请了 Maxus Tech 创始人 Mark 与各位科技爱好者聊了聊 Google Project Soil 及其他手势识别技术。


Google Project Soil 发展概述


在 2015 年 5 月的 Google I/O 大会上,Google 第一次向外界公布 Project Soil 这项手势操作感应技术的原型。由 Google ATAP 与 Infineon 合作研发,使用雷达技术来探测细微的动作和手势,并把它们进行转化和信息输入。这项能隔空操控屏幕界面的技术引起了人们极大的兴趣。


· 使用手势操作手表,设备感知手指细微的调频动作


紧接着在 10 月份,Google 将此技术的开发者版本(Project Soil dev kit)开放给了 60 个开发单位和开发者。这些开发者个体或组织利用 Project Soil dev kit 进行二次开发,应用到了不同的领域当中,如物体识别、车载应用、新媒体展示应用等。 



· 基于 Project Soil dev kit 开发者套件开发手势识别应用


在今年的 Google I/O 大会上,Google 公布了这项技术的突破性进展:体积缩小至最初模型的 1/3,功耗降低了 22 倍(由 1.2W 降低到了 0.054 W ),性能提高了 256 多倍。 


Project Soli 采用 60 GHz,波长 5mm 的极高频毫米波无线电波捕捉动作、距离、速度等信息,感应精确度达到毫米级。据 Infineon 负责人称,其无线电探测器捕捉图像的帧率为每秒 1.8 万帧。



· Project Soil 外观演进图(2014.7~2015.5)


Google 用了 10 个月的时间将 Soli 从 PC 主机大小缩小到了硬币大小。为了提高精度,还使用了 2 个发射器与 4 个接收器。 



· 硬币大小的 Soli,包含 2 个发射器与 4 个接收器


另外,Google 将这项技术应用到两件产品之中并进行了现场演示:一个是 LG 智能手表,另一个是 JLB 音箱。 




这款 LG 智能手表支持触控和语音输入,但它真正的微妙之处在于,你只要通过手指细微的动作,就能在表盘上实现切换、点击等功能。




Google ATAP 与 Harman 联手打造的 JLB 音箱,箱体无任何按键,通过手势可进行歌曲的播放、暂停、切换等操作,正面的环形光圈具有进度条显示的功能。


Google Project Soli 雷达技术的运作原理


Google Project Soli 主要运用雷达技术,通过持续发射和接受手部反射的电磁信号,测量精细、复杂的动作变化,而后转码分析、识别。


· 手指运动的同时,造成反射波频谱的连续变化。


Google Project Soli 雷达通过 RDM (Range Doppler Map,距离-多普勒映射), IQ data 以及 Spectrogram(频谱图) 获得手势信息,进一步使用 Machine Learning 估算出手势。 



· 频谱图,图片来源于 Google Preject Soli 官网


手势识别技术的主流方案


目前,手势识别技术的主流方案有光学和穿戴,非主流方案包含雷达、磁力、肌肉电、电磁波等。


基于光学的手势识别技术


光学方案包括三种,按简单到复杂的程度进行排序为:二维手型识别、二维手势识别、三维手势识别。 


二维手型识别也称为静态二维手型识别,该技术通过获得的二维信息,可识别一指到五指张开或握拳等「静态」手势,但不能识别持续变化、动态的手势。代表公司为一家在 2013 年成立的印度公司 Flutter(已被 Google 收购)。 



· 来自印度的团队 Flutter 通过静态手型控制视频


二维手势识别即为动态手势识别,与二维手型识别相同的是,它们只能实现对二维空间内的感知,同样不具备对深度信息的识别。但比起二维手型识别,该技术增加了对手势「动态」的感知,可追踪手势的简单运动信息,比如通过挥手动作,实现播放、暂停等操作。代表公司为以色列的 PointGrab,EyeSight 等。 



· 来自以色列的团队 PointGrab 通过动态手势操控电脑


相比前两种手势识别技术,三维手势识别技术就复杂多了,除了手型和动作信息,它同时还需要获得深度信息,而深度信息的获得主要靠这三种技术:机构光(Structure Light )、光飞时间(Time of Flight)、多角成像(Multi-camera)。代表性团队将在下文提到。 


基于穿戴传感的手势识别技术


穿戴式的手势识别的运作原理为:通过手上佩戴的 IMU 传感器获得手势、指关节等运动信息,在计算机中建模得到相关手势。对运动手势建模的技术相对更复杂,也是目前许多创业者尝试的方向。国内的诺亦腾是使用该项技术的代表公司。(关于这家公司的情况,可阅读相关文章:他们正致力于把人的身体放进虚拟世界;以及:以酷炫动捕技术闻名的诺亦腾,是怎么做「智能硬件」的?



· 通过穿戴传感进行动作捕捉而闻名的诺亦腾


手势识别技术的非主流方案


Google Project Soli 是雷达技术应用典型代表,其技术原理就不再赘诉。磁力技术的原理与 IMU 传感器的运用原理相类似,通过获取力的大小、方向、距离等信息,计算机对手势进行建模。 


这里重点讲述一下比较有意思的肌肉电技术,应用该项技术的典型产品为加拿大创业公司 Thalmic Labs 推出的手势臂环——MYO,通过感知手臂上的肌肉运动可识别出近 20 种手势,例如用户可利用手势进行一系列的触屏操控动作。



· 佩戴上 MYO 手环,通过感知手臂肌肉运动,实现对大屏幕游戏的操控。



· 肌肉电技术示意图


但 MYO 臂环的使用上也存在一些弊端:由于在一天当中,人体体征是变化着的,如果你将长期佩戴的臂环拆下再戴上时,则它有可能会停止工作。但总的来说,其应用效果也相当酷炫,不多说,上段视频一睹为快: 


https://v.qq.com/txp/iframe/player.html?vid=h0302u1gewm&width=500&height=375&auto=0


电磁波方案,其最具代表性的则是一项由卡耐基梅隆大学(CMU)团队所研发的 SkinTrack 技术,该系统由一个能连续发射高频交流信号的指环,和嵌入智能手表的内置传感器的手环组成。


该设备采用 80MHz 的电信号进行皮肤传播,让你手上的皮肤成为「触摸屏」。手环可以追踪所佩戴指环的运动轨迹,并与皮肤上的拓展触摸屏产生交互感应,通过手指在皮肤上的滑动,提取相位差等建模信息。该团队曾提到,在使用过程中,人体出汗和持续运动都会影响指环的电路和信号的发射,他们接下来也会着重解决这个问题。




国内应用手势识别技术的团队


光学作为手势识别的主流方案之一,以国外的 Leap Motion 为主要典型代表。使用三维手势识别技术也是国内较多团队应用的一个方向,其中有三家具代表性的公司:


uSens 凌感科技


uSens 凌感是一家由硅谷科技人才创立、专注于 VR/AR 研发的创新企业,其核心团队拥有视觉算法、人工智能、机器学习、光学、人机交互、系统软件等方面的先进技术,公司在美国硅谷、杭州、北京、深圳均设有团队。在 2015 GDC 上,uSens 就展示了一款支持三维手势控制的移动 VR+AR 设备 Impression Pi(印象湃)。 




值得一提的是,uSens 研发的手势追踪技术,结合机器视觉算法,实现无需佩戴任何手柄等外设进行手势捕捉。另外,uSens 通过计算机视觉技术已经在位移追踪方面取得新的突破,并将其逐步移植到移动端,把那些复杂的电线抛弃掉。 


奥比中光


来自深圳的奥比中光是一家专注于三维传感技术的创新性企业,而这家不到 80 人的企业在国内率先自主研发了 3D 计算芯片以及 3D 传感器,主要被运用于安防、智能装备、辅助驾驶等不同领域。 


他们研发出了指甲盖大小的(4.5mm*4.5mm*4 mm)的消费级别芯片,是一套可用于手机、平板电脑的嵌入式 3D 模组,目前全球只有 4 家公司能做,奥比中光是其中之一,并且是亚洲唯一一家实现量产的企业。 



乐视、创维、海信等知名品牌电视机已应用上了奥比中光 3D 传感器芯片。奥比中光 CEO 黄源浩曾表示:「不出几年,机器人、无人机会逐步搭载 3D 摄像头,3D 传感技术还会被运用于 VR、AR 的领域。」 


锋时互动


体感创业公司锋时互动由一个四人组合 Sharpnow Group 创立。


在 2013 年 2 月, Leap Motion 发布了其主要面向 PC、Mac 的体感控制器,而据了解,锋时互动早在 2012 年就提出了近场体感的概念,但碍于投资环境,他们直到 2013 年底才发布原型机。

 

2014 年 7 月,锋时互动正式发布了用于识别人体手势操作的设备——微动(VID),能精确识别用户的手指及动作,并转化为操作指令,实现双手悬空操作电脑、玩体感游戏等功能。此外,微动产品还增加了独立的预算单元,可完成大量的数据处理工作。 




总结 


在 Google I/O 大会上,Google ATAP 的负责人 Ivan Poupyrev 给大家展示了雷达技术在手势识别上的应用和实现方式,以及技术的突破性进展,给业界提供了很好的示范。 


目前,包括手势识别、语音识别在内的人机交互技术尚未成熟,较高的学习成本以及有待提高的交互体验,都是技术迭代过程中所要攻克的难题。Ivan Poupyrev 曾表示,即使目前他们还不确定能否将技术完整实现,但他们依旧会坚持下去。


本期「深圳湾夜话」嘉宾 Mark 简介:


一位物理、数学、篮球爱好者,Maxus Tech 创始人,超声波手势动作捕捉技术开发者,现研究基于超声波雷达信号的手势动作捕捉技术。感兴趣的朋友可点击「阅读原文」与他进行对话。


对人机交互话题感兴趣?还可以加入我们的微信群夜话。关注「深圳湾」公众号,并在对话框输入你的微信 ID、你的个人简介、以及你希望聊的话题,我们将邀请你一起夜话。


编辑:林亿

插图:来自网络


●  


- 相关阅读 -



— shenzhenware 

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存