计算专题 | 10K+Hz级基于帧事件的近眼注视跟踪技术（IEEE TVCG/VR）

10K+Hz级基于帧事件的近眼注视跟踪技术Near-Eye Gaze Tracking Beyond 10,000 Hz

本期导读

在虚拟现实/增强现实（VR/AR）中，为了获取更加逼真的沉浸式观看体验，多采用眼动跟踪装置来追踪眼球的注视方向并实时渲染相应的高质量图像。现有视线跟踪系统中的相机受限于基本带宽和功率，在实际应用中的数据采集速度常被限制在300Hz。因此，极大地阻碍了移动眼动跟踪器的使用，譬如：研究低延迟预测渲染，或利用头戴设备来研究比如微眼跳等快速、微小的眼球运动。鉴于此，来自加州大学伯克利分校、斯坦福大学和瑞典皇家理工学院的研究人员提出了一种基于帧事件的混合近眼注视跟踪系统，在相同条件下评估时，该系统的更新速率超过10,000 Hz，而精度又与高端的商业眼动跟踪器相当。该研究工作提出了在线二维瞳孔拟合方法并实时估计参数化瞳孔模型的注视点，构建了第一个基于事件的人眼注视数据集，并利用该系统在45°~98°视场角上实现了0.45°~1.75°的追踪精度。此项技术将助力VR/AR技术实现超低延迟的视景渲染和显示。该研究工作近期发表于计算机图形学顶级期刊《IEEE Transactions on Visualization and Computer Graphics (TVCG)》上。

技术路线

为了实现VR/AR头戴显示器中进行低延迟预测渲染及显示，该研究提出了一种混合型的高帧率近眼眼动跟踪方法，该方法利用一种新型的相机同时获取定期采样帧和自适应采样事件。下面的视频显示了眼球追踪视频数据（左）的稀疏性。从视频的时间梯度(右)可以明显看出，只有瞳孔和睫毛等眼部主要特征对应的像素会随着时间发生显著变化。这种稀疏性为构建超低延迟的眼球追踪的事件传感器提供了可能。其基本思路在于利用眼动过程中眼部图像的稀疏性，仅仅采集相邻帧之间的变化信息（事件），从而降低了数据量，提高了图像传输效率以及眼动数据帧率。研究人员开发了一个在线的二维瞳孔拟合方法，根据每一个或几个事件来在线更新参数模型，并且提出了利用多项式回归器来实时估计参数化瞳孔模型的注视点。其处理流程如图1所示，帧和事件均作为输入的信息，人眼的瞳孔位置以及注视方向矢量作为系统输出，如图2所示。

图1. 实时二维瞳孔拟合及参数化瞳孔模型的注视点流程示意图

图2. 实验示例：系统的输入（A&B）和输出（C&D）

为验证这一方法的可行性，该研究利用两个DVS相机作为事件传感器在近红外照明下获取用户的双眼图像信息（帧和事件），同时在屏幕上显示对应的刺激点信息用于测试上述方法的精度。实验装置如图3所示。基于所述的实验装置，该研究收集了双目眼跳和平滑追踪数据集，包含了24个被试观察在64°x 96°视场范围内11x11的网格注视点的事件信息，共3000万件。
图3. 实验装置图
基于这一数据集，该研究还对不同用户的平滑追踪和随机眼跳进行了测试，结果如图4所示。在47°视场下，平滑追踪数据的平均视角精度为1°，而当覆盖113°视场角时，平均精度为3.9°。
图4. 不同用户的平滑追踪（Top row）和随机眼跳（Bottom row）实验结果
为展示微型化的潜力以验证在可穿戴领域的应用价值，该研究搭建了一个头戴式眼球追踪系统的原型样机，如图5所示。该系统利用“树莓派”进行控制，连接安装在头戴支架的DVS相机，以获取眼动事件以及图像等信息。

图5. 头戴式样机系统示意

总而言之，该研究工作从理论推导，模型参数化，实验论证，以及头戴式样机开发等都提供了很好的思路。就大环境而言，近年来，基于帧事件的传感器(Event-sensor)取得了长足发展，随着性能的显著提升和成本的逐渐下降，亦激发了更广泛领域的诸多应用。尤其地，在VR/AR领域，基于帧事件的混合近眼注视跟踪系统具有较高的优势，其超高帧率和高精确性的特点，将助力VR/AR技术实现超低延迟的视景渲染和显示，非常值得关注。

论文信息：

Anastasios N. Angelopoulos, Julien N.P. Martel, Amit P.S. Kohli, Jorg Conradt, Gordon Wetzstein, Event Based, Near-Eye Gaze Tracking Beyond 10,000 Hz, IEEE Transactions on Visualization and Computer Graphics (Proc. VR), 2021.

技术细节详见：

https://www.computationalimaging.org/publications/event-based-eye-tracking/

本公众号长期关注斯坦福大学该研究小组的工作，往期技术解读涵盖了计算全息显示、非视距成像、端到端优化透镜成像等技术方向，欢迎点击回顾。

* 主要文字由斯坦福大学研究小组成员撰写，所有图片素材均来源于作者原始论文及网络公开资料，该技术分享不做任何商业用途。

回顾与预告

上期回顾：成像专题 | 智能手机显微镜: 单透镜物镜的深度学习成像（Optics & Laser Technology）欢迎点击查阅

下期预告：不定期推荐学术领域具有代表性的计算显示和计算成像研究工作，穿插新型光学设计和VR/AR光机实现科普等的资讯分享，欢迎订阅关注。
Contact: [e-mail]

由于近期微信公众号改版因素，部分用户反映更新通知不及时问题，根据网络资料，可以通过在设置里把我们地公众号加星关注实现对我们的支持，也可以通过点击右下角“点赞”和“在看”标识，以便及时收到更新通知，再次感谢大家的理解和支持！

INTELLIGENTOPTICSSHARING (I.O.S.) 运营以该领域的研究学者为主，非盈利非广告，希望能够结交共同兴趣方向的读者们，建立光学和计算机交叉学科领域内一个资讯分享交流的平台，还望大家多多支持，欢迎来稿，欢迎拍砖。

END