眼球追踪技术将在C端市场起跑,XR娱乐将成重要应用方向 |对话七鑫易维路伟成
近年来,眼球追踪技术已经陆续应用于游戏、广告营销、医疗、智能驾驶、身份识别等多个领域。而伴随着全球XR设备出货率的上涨,眼球追踪技术XR娱乐的应用窗口正在打开。
基于此,东西文娱日前与眼球追踪技术解决方案商七鑫易维副总裁路伟成展开访谈,就眼球追踪技术的当前应用场景,及后续技术的发展走向等进行展望。
创立于2009年的七鑫易维,是全球领先、国内唯一具备全栈自研及制造能力的眼球追踪解决方案商,并于今年11月完成新一轮亿级人民币融资。该轮融资由华控基金领投,蔚领时代、厦门素璞、清华校友基金跟投。此前,七鑫易维的投资机构包括高通创投、中兴合创、中小企业发展基金等。
创立十三年以来,七鑫易维在眼球追踪硬件设计、眼球追踪算法、人机交互应用等领域累积了500多项专利技术。当前的行业应用主要集中于XR硬件端及大型企业。
路伟成表示,现在行业正好处在一个分水岭,XR渗透率在急速提高。眼球追踪技术从原来的以行业端为主扩展到C端,进入大批量应用的阶段。
在走向C端应用过程中,眼球追踪技术在游戏、数字人等娱乐领域的价值也开始释放。路伟成表示,眼球追踪技术能够提升用户的真实感,以更加自然的交互来提升娱乐的沉浸感。比如在远程会议、办公等场景时,凡是有眼球追踪的数字人化身,可以使化身的真实感大大提升。
路伟成预测,不管在硬件上还是在交互上,眼球追踪都会成为一个标准配置。眼球追踪在XR领域的渗透率在2024、2025年将达到70%~80%。在成为标配后,将有更多应用空间。
眼球追踪技术扩展到C端,
娱乐成为潜力应用方向
路伟成表示,眼球追踪技术的应用价值主要集中于交互、硬件提升、用户数据获取三大方面。
在交互方面,七鑫易维一直提倡的是“眼手口多模态的自然交互”,但受限于目前硬件端的普及等条件,目前交互尚不是眼球追踪技术应用最为广泛的领域,“或者说,尚未成为刚需。”路伟成表示。
而能够为硬件端带来的提升,则更为丰富。目前来看,最为核心的是注视点渲染、IPD调节、结合变焦技术解决辐辏调节冲突、更好地实现虚实融合的对准。
针对用户数据获取,眼球追踪技术所能实现的不仅是对用户“看哪里”的判断,还有瞳孔变化、虹膜数据等。基于此,可以实现对用户心理和生理层面部分数据的获取。
基于上述三大应用方向,路伟成表示“现在眼球追踪技术应用正好处在一个分水岭,大家从不加眼动到加眼动,渗透率在急速提高。眼球追踪技术从原来的以行业端为主扩展到C端,进入大批量应用的阶段。”
首先在文娱领域,整体而言,眼球追踪技术能够提升用户的真实感,以更加自然的交互来提升娱乐的沉浸感。
目前来看,游戏是一大应用场景。路伟成表示,目前眼球追踪技术在游戏当中的应用并不算很多,主要受限于技术在硬件端的渗透率较低。但仅从目前部分开发者对于眼球追踪的应用来看,也已经充分看到其在游戏领域的应用潜力。
从具体玩法角度出发,可表现为,游戏过程中“选中行为”的触发、信息增量提示及页面切换显示等。例如,眼球追踪技术下,眼睛看到的用时也意味着选中,实现了对指向设备的合并。这使得交互更为快捷。同时,物品属性等信息,可以实现以“眼睛是否关注”为标准,判定信息的出现及隐藏。在地图缩放、自行滚动呈现等方面,眼动也更符合真实世界的交互逻辑。
此外,路伟成表示,除AI驱动的数字人外,凡是真人化身,表情追踪是不可缺少的,眼球追踪的刚需性无需论证。尤其在VR场景中,在戴眼镜的情况下,外置摄像头对于表情、眼部动作的捕捉无法进行,只能用眼球追踪本身的摄像头来完成工作。
不过,目前受限于硬件渗透率,眼球追踪技术起到显著作用的还不是娱乐,包括七鑫易维自身的布局及落地案例,相对集中在硬件端和行业端。
硬件端,集中在上述提到的注视点渲染和IPD调节两大方面,以此来为用户的硬件体验进行升级。而行业端,七鑫易维目前有很多客户是高校和大型企业,主要应用方向还是通过眼动数据的收集,基于数据来实现对人的分析。
这类分析大致可分为三类。其一,与人体健康相关,如脑健康及视觉健康等。
其二是消费领域的相关分析。用户在带上具备眼球追踪技术的设备后,在一个场景中进行消费行为,相关数据可以实现消费偏好的分析。这将来其实可以用到很多领域中,包括娱乐领域,也可以沉淀出有效而具体的用户画像。
其三在于虹膜识别。尽管技术不同,但硬件相通。路伟成表示,虹膜识别可以集成到眼球追踪硬件当中,本身在XR领域,利用虹膜识别来完成身份认证,就是一种很自然的方式。
眼球追踪渗透率三年将升至80%,AR相比VR对于眼球追踪交互的需求更高
路伟成预测眼球追踪的渗透率在2024、2025年将达到70%~80%,眼球追踪成为标配后,基本功能可以在各种内容中得以体现,同时也会产生一些用到眼动的、有意思的新玩法。
此外,七鑫易维也保持了技术路线的灵活布局。路伟成表示,“目前最成熟的技术路线是瞳孔角膜反射法,这也是目前唯一能量产的技术路线,我们目前也做到了全球最好的水平。”七鑫易维也已经在DVS事件相机等多个新的眼球追踪方案上布局,“不管未来哪条技术路线取代了现有的,我们都是有准备的。”
具体来说,对于眼球追踪技术及应用场景的后续判断主要包含以下三个方面:
1.注视点渲染将大幅提升XR硬件渲染效率
路伟成表示,注视点渲染功能对渲染效率的提升因硬件平台、运行的应用而异,目前大概能实现30%~50%的效率提升。但这个数据还不算很高,主要是因为现在大部分设备的FOV在90度、100度左右,分辨率能达到4K的也是少数,FOV和分辨率越小,注视点渲染能起到的作用也就越小。
更大的效率提升是有可能的。“经过我们测算,要达到人眼分辨率的话,要达到单眼12k、双眼24k的水平,而且FOV要达到200度。真达到这个水平,注视点渲染的区域相对来讲就非常小了,至少能够提升10倍的效率。”
2.眼球追踪会成为AR交互中的“必选项”
相比于VR,路伟成认为在AR中使用眼球追踪交互的需求会更高。VR是一个特定的、沉浸式的场景,在其中使用手柄等交互手段是能被接受的。但AR的使用场景不同,手柄不可能在各种场景下随身携带,其他的交互手段也会受限,比如语音交互很难在嘈杂环境里使用、手势交互也容易和其他人之间互相干扰。
因而在AR场景下,眼球追踪的优势更能凸显出来:没有干扰性、不存在携带等问题、可以全天候使用。在任何场景下都可以使用眼球追踪进行交互,“它会变成一个在AR中的必选项”。
路伟成预测,将来AR中的交互也会是多模态的,可能会是眼球追踪加上类似指环的小型触发装置,二者结合就能基本覆盖各种使用场景。
3.眼动数据的价值将持续放大
基于眼球追踪数据,在交互、娱乐、健康、消费分析等具体的应用场景中提供技术服务,以及挖掘其它的商业模式机会,也是可见的机会。
其中,眼球追踪未来在娱乐上的一个应用方向是用户分析。商家需要了解用户在消费影视、游戏等娱乐内容时,对内容的偏好或者是消费习惯。根据用户眼动数据,比如注视时长、回扫次数等,可以更加准确地判断用户的喜好、建立用户兴趣画像,从而可以进行针对性的内容提升或者精准营销。
部分对话节选
EW 现在眼球追踪技术在XR娱乐领域能发挥哪些作用?
路:聚焦到和娱乐相关性比较强的场景上,一是交互,毕竟现有的交互手段,比如手柄也好或者其他方式也好,会有各种各样的问题,眼球追踪是能够做一个很好的补充的。眼睛和其他各种交互手段一起来实现多模态的交互,是一个方向。
还有比较多会用到的就是表情追踪,因为未来像社交类游戏或者是多人游戏,玩家都会有自己的数字人替身了。
还有远程会议、办公或者参加一些远程的展览之类的,凡是有数字人替身的这种眼球追踪,都可以做表情的追踪了,这个作用也很强,它会使替身的真实感提升。
EW 用眼球追踪做消费分析的应用方向,有哪些案例可以分享一下的吗?
路:行业端有很多这一类应用,比方说用在商超方向,在商超里收集眼动数据之后,就会分析商超货架的摆放是否合理,有些品牌logo的露出是否合理,用户对于什么颜色,什么样的尺寸以及什么样的位置,会更有关注度。
通过眼动数据比方说注视时长、注视次数、首次注视时间、回扫次数等等,这些都可以很好的去分析特定的场景下用户的特定心理。
对于内容本身,如果是游戏类的,你也会知道用户对于游戏设计是不是合理(的反馈)。比如解谜游戏,你会发现用户实际上在玩的过程中,他在寻找线索的过程中注意力是怎样去分配的,可能有一些关卡,你设置得不合理的话,用户就会卡在那里,很长时间过不去,说明设计是有问题的,你要把难度设置得合适。所以(眼动数据)对于游戏的改进是有很大的作用的。
EW 眼球追踪技术的应用,比较理想的状态是怎样的?
路:我们觉得将来眼球追踪应该成为一种标配。主要还不是在交互上的需求,而是在硬件上的一个需求,像IPD的调节,注视点渲染,包括解决VAC的问题等等,它应该是一个标准的配置,这是一个理想的状态。
在内容上面,其实它也会成为一种很普遍的交互手段,即使不是唯一的手段,它也会是一种很主流的、标准的手段。有点类似于在PC时代有鼠标,它(眼球追踪)就可以类比光标,不是左键右键,但是它是光标那个位置,是一个指向。
当然现在(距离理想状态)还差距比较大,因为现在整体硬件上面的配套量就比较少,这些一旦成为标配之后,它能应用的内容就非常多了,基本上可能每个内容都会把它基本的功能体现出来,同时也会有很多有意思的使用眼球追踪的新玩法。