—— 青亭网
其他
索尼3D显示技术路径：升级8K，探索变焦全息、实时光场渲染
Esther｜编辑
此前，青亭网曾报道索尼在2020年发布的3D显示屏ELF-SR1，该产品采用8英寸设计，分辨率达4K，亮度500nit，对比度1400:1，特点是加入眼球追踪功能，识别双眼后可分别为每只眼睛显示2K分辨率的画面，具备3D视差效果。据悉，ELF-SR1的定位主要面向电影、动画、产品设计、建筑、AR/VR开发等专业领域。
实际上，索尼已经公布ELF-SR1背后的技术细节，包括开发这款产品仅用2年时间，目的是解决3D空间显示效果，打造一种未来化的电视。近期，该公司在官网上进一步透露了一直以来在3D空间显示技术领域的探索，以及未来的研发路径和战略。
索尼表示：Eye-sensing Light Field Display（直译为眼球追踪光场显示屏）是一种根据人类视觉特性而开发的显示系统。它是一种支持眼球追踪的光场显示方案，可带来逼真的裸眼3D视觉效果。
目前，市面上已经存在多种3D显示技术，比如3D电影、裸眼3D相框等等。相比之下，索尼眼球追踪光场显示系统号称优于市面上已有的3D显示技术。
逼真还原3D空间的显示方案
据青亭网了解，索尼的光场显示屏的特点是具备高空间分辨率，可显示具有空间感、支持任意视角查看的3D图像，与空间融合的效果也足够好。因此，其显示的3D图像看起来就像在你眼前真实存在一样，效果比传统3D显示单元更沉浸。
在2020年10月，索尼在日本发布15.6英寸的4K空间显示屏商用机型ELF-SR1，后来该产品也进入北美和中国市场。后来，还发布了32英寸的8K型号，8K型号与ELF-SR1 4K版的像素密度相同，而垂直和水平宽度则是后者二倍，分辨率也提升一倍。
在2021年夏天索尼合作举办的恐龙科学展上，展示了这款8K全息屏幕。
三大核心技术
眼球追踪光场显示屏（ELF）的关键词之一是光场，其原来是利用光来渲染空间。实际上，人类生存的空间中存在各种光源，你看到的世界也是由光构成的，因此利用无数光线组成的光场，将有望重现3D空间。
不过，考虑到空间中存在大量光线，重现全部光线并不实际，因此索尼ELF技术仅渲染对图像必要的光线。索尼开发的3D显示系统，结合眼球追踪数据来计算并显示，观看者视角能看到的光线，而且可以根据视角变化而动态更新渲染内容。
据了解，ELF系统首先确定人眼能看到的3D空间画面，接着仅渲染能够进入人眼的光线。因此，将需要采用一种快速、准确的眼球和注视点追踪技术。除了根据视角变化动态渲染3D场景外，该系统还可以通过眼球追踪来生成左右眼不同的画面，形成双目视差。
为了实现观感自然、舒适的3D显示效果，索尼在ELF显示屏中使用了三项核心技术，包括：眼球追踪、实时光场渲染、微型光学透镜。
1，眼球追踪
人在移动时，观看3D物体的视角也会变化，为了渲染动态视角的图像，ELF显示屏采用了索尼研发的高速视觉传感器，以及支持高准确性人脸识别算法的眼球追踪系统，实时追踪用户眼球位置，同时动态捕捉用户的运动。
据悉，索尼高速视觉传感器每几秒捕捉一次图像，用于检测面部位置、眼睛和面部轮廓等特征，然后通过这些特征信息来预测人脸的3D形态、人脸的距离和方向、运动变化。
ELF配备的摄像头采用优化的成像镜头，可捕捉到水平50°、垂直60°范围内的视角变化，用于渲染自然、流畅的运动视差。同时，ELF显示方案从成像到渲染的整个过程的延迟足够低，从而缓解视角变化产生的重影，或是可能导致晕动症的图像延迟等问题。
人脸检测算法则基于深度神经网络（DNN）开发，经过优化后，人脸检测算法更加适应高速视觉传感器，为用户带来舒适和稳定的视觉体验，降低成像噪音和环境光造成的模糊。即使用户戴着口罩，也能检测到面部。
2，实时光场渲染
ELF显示屏根据用户的视角变化而动态渲染3D场景，不过其输出的投影图像是扭曲的。因此，通过调整3D投影图像的呈现方式，给观看者一种图像没有扭曲的错觉，甚至看起来足够逼真，不像是显示器而更像是真实存在的场景。
考虑到近年来游戏引擎的渲染效果得到明显提升，尤其是在3D渲染场景，因此索尼认为，未来开发者们也许能通过游戏引擎，来为ELF显示屏开发裸眼3D应用和内容。
3，微型光学透镜
ELF采用微型光学透镜，负责将实时生成的3D图像传送到双眼。据了解，传统裸眼3D显示屏采用双凸透镜或视差光栅来覆盖多个不同的视角，这些透镜的缺点容易产生视角重叠，导致分辨率和图像质量下降。
为了改变这一问题，索尼的微型光学透镜结合注视点传感和实时光线重建算法，来实现一种为左右眼独立生成不同动态视角的光学设计。接着，ELF还通过生成足够多的合成视角，以及控制人眼能看到的图像，来缓解视角重叠、分辨率降低的问题。
索尼表示：如果微型光学透镜与3D显示屏没有对准，那么将难以实现优质的动态视角变化，因此设备的精确校准相当重要。于是，索尼研发了一种精准的制造技术，可以将元器件位置误差降低至几十微米，此外还有一个检测成品元器件位置的调整系统。根据调整系统设置的数据，ELF在实时图像处理过程中可同步校正元件错位问题，进一步提升3D图像质量。
前所未有的3D观感
除了上述三项核心技术外，ELF显示屏还采用了相机技术、显示技术，以及基于注视点的精准校正系统，并通过处理校正信号来进一步减少视角重叠现象。
索尼还表示：ELF的软件和算法基于微VR头显开发的技术，此外还优化了人体工学设计。比如，ELF显示屏以倾斜角度放置，更容易营造一种3D空间感。
应用场景
这种裸眼3D显示系统不仅可以用于娱乐场景，也将适用于教育、企业解决方案、医疗保健等领域。目前，随着容积捕捉等技术发展，3D内容的应用场景越来越广泛，而理想的观看方式不只有AR/VR，用裸眼3D显示屏查看也同样沉浸。
不过，该方案目前仅限个人使用，因为眼球追踪系统只能追踪一个人的注视点。它可以用来向客户展示3D设计和模型。索尼认为，未来该技术有望与实时3D视频捕捉和传输技术结合，带来具有临场感的裸眼3D视频通话体验。
对于未来，索尼也在探索用全息技术来显示更广泛的深度图像。据悉，索尼开发了一款台式的相位调制SLM光学原型，并通过该原型验证，RGB全息图可有效实现多焦距呈现。此外，还训练了一种可实时计算和生成高质量图像的深度神经网络算法。总之，为了进一步实现更自然的3D显示效果，索尼接下来还将面临更多技术挑战，比如图像质量、计算量、视角和显示范围等等。而这些挑战，可能在未来随着硬件和信号处理技术发展而得到优化。
实际上，谷歌也在探索基于3D全息显示的视频通话系统，不过由于成本较高，目前仅在内部测试。相比之下，索尼ELF显示技术已经商业化，期待未来在此基础上加入实时视频功能。
参考：
https://www.sony.com/en/SonyInfo/research/technologies/eye-sensing_light_field_display
（ END）
推荐阅读
—— 青亭网