—— 青亭网
其他
延迟3ms、采样率500Hz，AdHawk MEMS眼球追踪牛在哪
Esther｜编辑
近期，眼球追踪技术厂商AdHawk发布基于MEMS微电机系统的穿戴式/分体式眼球追踪方案AdHawk MindLink。据悉，该产品的特点是利用MEMS方案取代传统的摄像头眼球追踪方案，号称结构设计更简洁，准确性更高，速度更快，而且更省电，可嵌入AR/VR头显中，适合全天候使用。
据AdHawk官网显示，当前开发者套件以高达3500美元的优惠价出售，而5月开始恢复原价为10000美元。那么它背后到底采用了哪些独特的技术？和现有的眼球追踪技术又有何不同？接下来就一起来了解一下关于MindLink的更多细节。
首先来了解一下它的一些参数：
尺寸：14.6x16.6x4.2cm；
重量：27g；
IMU：6轴；
校准视场角：40x25°；
平均绝对误差：<1°；
采样率：500Hz/s；
延迟：3ms。
功能性和特点上，MindLink可识别多种眼球数据，比如：1）双目眼球追踪；2）眼球聚散（Vergence）；3）瞳孔大小，等等。而其特点则包括：可在户外日光下运行、一键眼球追踪、眼镜滑动也可以追踪、可输出眼球追踪视频和数据、支持注视点验证、可替换屈光镜片。
除此之外，MindLink除了穿戴式眼球追踪眼镜外，完整套装还包括一部智能手机、校准装置、耐用眼镜盒、USB线、防滑耳钩、可替换鼻托。
关于原理
接下来进一步了解MindLink方案的原理，比如不使用摄像头是如何实现眼球追踪的？实际上，青亭网在2017年时就曾报道过AdHawk的技术，当时号称采用的MEMS模组尺寸小到裸眼难以识别，而且整个系统还能提前20毫秒预判注视点方向，甚至检测早期阿尔茨海默症、帕金森、焦虑症、阅读困难症、注意力不集中、脑震荡、癫痫，以及识别用户情绪、认知负荷等数据。
https://v.qq.com/txp/iframe/player.html?width=500&height=375&auto=0&vid=c3236d2wt1v
据AdHawk称，MindLink利用MEMS方案追踪注视点的速度和效率是同类型产品的两倍以上（眼球追踪速度是摄像头方案的10倍），每秒眼球数据采样率达500次，平均追踪误差小于1°。此外，AdHawk比传统眼球追踪模组省电50%，适用于全天候、场合不限的应用场景。
细节方面，位于MindLink鼻托下方的两个高速移动的MEMS模组将发射动态光束至眼球，反射的光会被镜框内部集成的光学传感器识别，生成部分眼球数据。在一秒时间里，可采集数千次角膜、虹膜和瞳孔数据。
相比之下，市面上采用的AR/VR眼球追踪模组通常需要至少一颗摄像头，外形略厚，用于VR头显体积相对看起来不算大，但若集成于轻量化AR眼镜上会比较显眼，看起来比较笨重和突出。
应用场景
AdHawk认为，MEMS高速眼球追踪技术可用于AR/VR注视点渲染，或是通过分析注视点信息来提升游戏技巧，也可以作为一种输入方式。
此前，科研人员指出为了避免VR注视点渲染被使用者察觉，眼球追踪的延迟应控制在小几十秒内，而市面上符合这个标准的也仅有Fove-0等Varjo VR-1等少数VR头显（延迟分别为15-16毫秒和35-36毫秒）。与Fove-0和Varjo VR-1相比，AdHawk的眼球追踪延迟仅3毫秒，速度要快很多，因此更容易实现快速、自然的注视点渲染效果。
应用场景上，Sarkar认为MEMS眼球追踪技术可用于神经和眼部健康相关研究，或是用于日常健康检测，追踪长途司机的注意力，预测大脑信号，生物识别，帮助科研人员收集数据，用于研究注意力不集中、脑震荡、癫痫等症状，以及检测认知负荷和阅读困难。此外，还可以用于协助检测阿尔茨海默、帕金森等神经性疾病。
未来，AdHawk的眼球追踪技术将继续优化注视点预测功能，并且为OEM提供可选择的AR/VR注视点渲染方案。
相关专利
据悉，Sarkar从2018年到今年期间，为MEMS眼球追踪技术申请了多项专利，包括：1）基于共振频率的眼球追踪系统和方案；2）眼球追踪系统和方案；3）眼球追踪校准，等等。
在这些专利中，Sarkar描述了关于AdHawk眼球追踪技术的大量细节，比如：可与头部追踪、手势追踪、大空间定位、单纤维内窥镜等技术结合，用于AR/VR头显、武器瞄准系统、自动驾驶舱控制、辅助驾驶/防撞系统、广告设计、行为调查、网页设计、体育训练、健康监控、医学研究、验光、增强替代社交系统、穿戴式传感器系统、环境控制系统等等。
此外，专利中描述的系统包含一个激光光源、2D扫描反光镜、离散的传感器、识别电路。在扫描和识别眼球信息后，该系统会实时生成眼球深度地图，通过对比每一帧深度变化来预测眼球移动。而在扫描过程中，扫描镜将分别匀速在眼球水平轴和垂直轴方向发射光源，反射回的光线会被位于镜框内部的传感器识别。接着，会通过光线反射所需的时间来推算眼球位置、外观、特征和结构信息。
为了保持准确的眼球追踪效果，MEMS模组会定期运行校准程序，调整扫描镜的位置和角度，并根据生成的眼球深度图来即使校准。如此一来，即使眼球追踪模块发生偶然的轻微移动，也可以实时调整，无需长时间的重新校准。
此外，专利中还指出扫描镜可能采用等温致动器来调整反光面角度，其位置则根据脉宽调制的驱动信号来控制。
关于初衷
据了解，AdHawk由CEO Neil Sarkar在2017年成立于加拿大安大略省。Sarkar在研究生时期专业是MEMS相关，而且曾经是一名芯片工程师。在大学科研期间，他研发了一种精准度达亚纳米级别、可用光束扫描眼球的传感器，后来基于这项技术，他成立了从滑铁卢大学衍生的AdHawk公司，并陆续获得来自Intel、三星风投、惠普、索尼创投、依视路国际等公司的融资。
AdHawk产品的定位是可集成于AR/VR眼镜，主打高速、低延迟、低功耗，应用场景则包括游戏、培训、UI交互等等。而推出MindLink穿戴式方案的目的之一，是在临床试验中检验神经系统健康。
此外，Sarkar表示：目前正在探索将AdHawk眼球追踪技术与未公布的AR/VR头显集成，不过为了提前展示我们的技术，MindLink选择在这些头显产品之前发售。
总之，这家公司旨在提供完整的眼球追踪解决方案，除了集成系统硬件外，也提供软件应用等服务。目前，AdHawk有35名员工，元件为自主设计，供应商制造。
参考：
https://venturebeat.com/2021/03/22/adhawk-microsystems-launches-camera-less-eye-tracking-sensors-for-ar-vr
https://adhawkmicrosystems.com
推荐阅读
—— 青亭网