—— 青亭网
其他
Tested采访扎克伯格：揭秘四款VR原型机更多细节
Esther | 编辑
本周，Meta Reality Labs公布了4款VR头显原型：Butterscotch、Starburst、Holocake 2和Mirror Lake，分别展示了四种不同技术路径的探索，包括：显示分辨率、动态变焦、亮度与HDR、技术综合体等方面。
与此同时，科技博主Tested亲自潜往Reality Labs对这些原型进行体验，之后并与扎克伯格连线探讨，信息量同样不少。
https://v.qq.com/txp/iframe/player.html?width=500&height=375&auto=0&vid=p3344q5mbam
Tested采访Meta CEO马克·扎克伯格视频
相比于Meta官方发布的视频，Tested进一步了解到Meta VR发展路径，以及产品设计思路等细节。从本文的大量图像中，你将清晰看到Reality Labs这些年来迭代的技术。并且也将作为周二文章的进一步补充，相关阅读：《Meta公布四款VR原型机，提出“视觉图灵测试”概念》。
帮助VR通过视觉图灵测试
此前，扎克伯格曾提到一个叫视觉图灵测试的概念，其标准是判断人眼能否分辨虚拟和真实，也就是VR和物理世界之间的区别。为了通过视觉图灵测试，仅依靠显示技术并不够，还需要优化软件、芯片、传感器等部分。Reality Labs的目标是解决所有与VR相关的问题，从多方面入手帮助VR通过视觉图灵测试。
因此，Reality Labs包含了产品团队（负责研发和迭代Quest）、科研团队（负责打破技术局限、解决VR的底层技术问题）。其中，Meta科研团队的目标是为了给数年后才发布的VR头显、AR眼镜做准备。
对于VR显示技术来讲，目前需要解决的问题比传统显示屏（电视、电脑、手机屏幕等）更加复杂，需要从多方面突破技术局限。比如，由于VR的视场角、显示区域通常比手机或电视更宽，因此VR屏幕需具备更多像素，才能清晰显示。也就是说，VR屏幕需要比传统屏幕分辨率更高，才能达到相似的视觉清晰度。而这也意味着，VR屏幕更加耗电。
另一方面，VR为了营造3D视觉效果，通常需要配备两块屏幕。而且相比于2D屏幕，VR画面像真实环境那样具有空间感，这种空间感如果支持动态变焦，视觉效果才会更自然。就像是当你看手上的书时，眼球聚焦在近处，看窗外时，则聚焦在远处。仅依靠一块屏幕，通常无法模拟这种人眼变焦。
简单来讲，VR需要比传统屏幕更高的显示性能，这是因为VR本质是模拟现实。就拿HDR功能来讲，尽管市面上一些HDR电视已经可以显示丰富的光影对比，但真实环境中的光比市面上最端的HDR屏幕还要高一个数量级。
因此，如果VR要模拟逼真的阴影、生动的色彩，将需要渲染大量的光影，而这也十分耗电，需要体积更小的电池才能达到轻量化外观。
扎克伯格表示：视觉图灵测试有两个重点，即照片级真实感和临场感。实际上，VR通过立体空间、空间音频等方式实现一定的临场感，而随着视觉清晰度提升，VR的社交临场感也会越来越强。
关于产品体验
为了解决VR显示技术面临的问题和局限，Reality Labs科研部门的DSR团队多年来一直在探索。该团队（显示系统研发）负责人Douglas Lanman表示：DSR团队在过去几年内研发了大量AR和VR原型，可以摆放一整墙，这些原型技术可能会在未来五到十年内得到应用。
本文将重点涉及此前已经公布的一些VR原型，如Half Dome系列、Butterscotch、Holocake 2等等。
1，Half Dome原型
这是某种基于Rift改造的VR头显，其特点是采用可变焦透镜，原理类似于自动对焦摄像头。Half Dome配备了多层的高动态范围透镜组，此前的方案是利用机械移动透镜来实现变焦，而为了提升动态变焦速度，便开始采用电驱动方案。扎克伯格表示：这种动态变焦方案还需要一些完善，然后才会面向消费者发布，预计大概需要5到6年。
Half Dome基本上是在Rift基础上进行改造，不过Half Dome和Rift的显示长宽比不同，Half Dome的视场角更宽，可达140°。这是因为，Meta将Rift的屏幕相当于90°垂直旋转，将两块纵向布局的屏幕横过来，这样长度便更长，高度则比之前要低一些。此外，还配上了更大的菲涅尔透镜、IR LED眼球追踪模块、轻量且安静的步进马达变焦装置。
Lanman还展示了Half Dome的4个迭代原型：
Half Dome 0：将Rift屏幕做成可移动式，并加入步进马达、导杆、四轴飞行器、阻尼器（静音降噪）。在Half Dome 0上，DSR发现如果将视觉变焦范围设在20厘米到无穷远，那么VR屏幕实际移动范围在7到8毫米左右（这是由透镜参数/焦距决定的）。
Half Dome 0
Half Dome 1：重点是提升视场角，进行图像变形压力测试。因此，它的屏幕是横过来的，而且具有一定角度，目的是接近人脸弯曲弧度，但这通常会造成一种光学畸变，这时将需要结合眼球追踪来进行校正。
Half Dome 1
Half Dome 2：2019年的研发项目，重点是提升VR头显的舒适性。因此采用短焦Pancake透镜来取代Rift菲涅尔透镜，好处是可以将机身做得更薄。此外，利用了偏振特性来实现折叠光路。
菲涅尔透镜vs Pancake透镜
而为了进一步减少马达的震动噪音，DSR决定将步进马达改为音圈，用弯曲的小弹簧来代替导杆，从而减少摩擦等物理接触。
Pancake模组的折叠光路
在Half Dome 2原型中，DSR尝试了步进马达、Pancake透镜、音圈，甚至还尝试了隔音膜、可弯曲的转轴组合。
Half Dome 3：从第三代开始，Half Dome的透镜从机械系统升级为电子变焦系统，好处是少了机械噪音、震动。细节方面，这个电子变焦系统采用了一种几何相位透镜/Berry相位透镜结构，它可以将光线极化，与偏振器组合后，可改变偏振的方向。将这种结构多层叠加，便可实现多个焦点平面。比如，Half Dome 3就有32个可切换的焦点平面。
几何相位透镜/Berry相位透镜结构
不过，由于几何相位透镜上的电极吸收蓝光，因此看起来有点泛黄，叠加的层数越多，黄色越明显，甚至影响透光率。另外，还需要结合适合的畸变校正算法。
据了解，通过调整SDK，Half Dome几乎可以运行所有Rift游戏。体验者表示，利用Half Dome动态变焦玩《Lucky’s Tale》等游戏时，可以将手柄移动到眼前，抓起虚拟物体近距离查看，效果足够好。而且眼球可以快速适应VR图像变化，并清楚对焦在近处的物体上，舒适度也足够好。
扎克伯格表示：除了游戏、社交外，未来VR办公也是一个关键应用场景。在工作场景中，清晰、舒适的文字阅读能力很重要，而且人眼将可以聚焦在近处的文字上，就像看电脑、看书那样，眼球和文字之间要保持一定距离（半米以内）才能看清楚。另外，动态变焦对于文字阅读也很重要，它可以允许你随时调整眼球和文字之间的距离，有助于缓解视觉疲劳、提升阅读舒适度。
2，Butterscotch原型
Butterscotch特点是具备高分辨率，PPD达55。目的是探索VR分辨率的极限，比如未来分辨率提升到什么水平，视觉提升空间才越来越少。对于文字阅读场景来讲，现有的VR屏幕显示的文字已经具有可读性，但分辨率不够高意味着长时间阅读文字体验感不够舒适。为了优化文字阅读体验，则需要进一步提升VR分辨率。
不过，VR分辨率也受到其他软硬件技术限制，比如3D图形软件、引擎可渲染的像素数量有限，无法充分利用高PPD屏幕，或是电池容量有限，无法为高分辨率屏幕长时间供电。GPU、CPU、散热等因素也会带来限制。
Meta Reality Labs科研部门DSR团队光学科学家Yang Zhao解析Butterscotch定制透镜模组：其中包含两个高精度玻璃镜片，优势是表面质量更高，缺点是重。此外，还有一个可衍射光线的特制透镜，与Half Dome 3使用的透镜类似。
这个衍射透镜的特性是，可将光线以（和玻璃透镜）相反的顺序分散。将玻璃透镜和衍射透镜组合后，可显示清晰的图像。
Butterscotch的PPD虽然达到55，它是搭配了一块现阶段3K分辨率屏幕并将视场角缩小才实现，FOV仅为多数VR头显的一半，也就是50°左右。
值得注意的是，为了测试PPD对于VR视觉效果的影响，Butterscotch的PPD可手动调节。在体验过程中，Tested发现PPD在35以上时，距离他两米远的文字就足够清晰可读。而在55PPD模式下，Butterscotch的清晰度达到了Tested体验过的最高水平，可看清楚VR场景中更远的距离。
除了文字外，VR图像的纹理、生动的色彩等元素的渲染效果也同样细致。
上述研究主要是为了探索VR显示的可能性，与此同时，FRL的其他团队也在从事其他VR研究，比如：图形管道、传感器等等。
3，Starburst原型
这是一个号称具备真正高HDR功能的VR原型，其背光的最大亮度可达到现有VR头显的200倍（高达20000nit）。
开发Starburst的目的是，为了在VR中还原完整的室内照明，并进行用户调研，探索沉浸、逼真的VR所需的理想亮度。
细节方面，Starburst采用了COB LED（板上芯片LED，常见于汽车前照灯）来取代原来的LCD屏幕背光，好处是大大提升了LCD的背光亮度，但同时产生更多热量，因此Starburst还配备了风扇和3D打印散热底架，整体设备比较笨重，而且相当耗电。
3D打印散热底架
有趣的是，Starburst采用了两个堆叠的LCD屏幕（单色LCD和彩色LCD），目的是提升屏幕对比度。Reality Labs Research科研经理Nathan Matsuda表示：由于LCD的对比度有限，如果只使用一个LCD屏幕，那么在高亮度模式下，虽然白色更白，但黑色并不会更黑，反而更亮。此外，叠加两块LCD也会将8 bit屏幕升级为16 bit。
实际上早在2016年的一项专利中，苹果就提到一种多层LCD面板堆叠的结构，目的是提升HDR LCD屏幕的对比度。此外，京东方也曾推出LCD双层Cell面板，用于搭载HDR技术，可实现500000:1超高对比度。
双层液晶面板可大幅提升LCD屏幕的背光分区，从而降低高亮度可能产生的光晕问题，并提升黑白对比度。
相比于支持高对比度的Micro LED方案，双层LCD在成本上更具优势，更适合消费级VR产品。不过，双层LCD的响应时间和厚度，也是未来需要优化的两个问题。
此外，Starburst采用了菲涅尔透镜，用来汇聚光线。为了进一步控制光线，光学模组的目镜部分还采用了挡板、深色涂层等设计。除了菲涅尔透镜外，还尝试采用消色差双合透镜，来提升对比度。
体验者表示，Starburst展示的HDR视觉效果足够逼真，他看到了一个在静态日落场景中，反射阳光的金属球，视觉观看足够接近现实。扎克伯格指出，即使VR不具备视网膜级分辨率，利用HDR照明也能渲染出逼真的画面，甚至能渲染出深度。
与此同时，提升光学显示效率则十分关键，比如可以结合准确的眼球追踪技术，将光线投射到人眼中，避免无效的照明，从而降低功耗和散热。
另外，也需要通过优化透镜来提升光学效率。扎克伯格表示：尽管Pancake透镜可支持更高的分辨率，但实际上它的光学效率比菲涅尔透镜更低，为此Reality Labs也在致力于优化Pancake透镜的透光率，提升效率。
4，Holocake 2
Holocake 2采用了全息透镜和Pancake透镜组合，优势是可以将VR头显做的更薄，长时间佩戴的舒适感更好。
缺点是效率不够高，可能需要采用分体式设计，为其供电。扎克伯格认为，VR头显在2030年之前，可能会更接近Holocake 2这样轻薄的外观。
相关研究：《Facebook全息VR短焦光学揭秘：开启AR＋VR技术融合大门》
目前，Holocake 2原型经过设置已经可以运行PC VR游戏。体验者表示：Holocake 2的视觉效果达到了Quest 2的水平，但它的佩戴重量却轻很多，而且戴起来看着更像是护目镜，而不是一个放在脸上的盒子。
VR透镜迭代
对于VR显示技术来讲，光学透镜和屏幕是紧密关联的，因此更换或修改屏幕参数/类型，意味着透镜也需要改变。在Quest时代，Meta采用了菲涅尔透镜，而Half Dome 2则采用Pancake透镜，Holocake 2采用全息+Pancake透镜（Holocake 2）。
目前市面上的一些消费级VR头显采用静态畸变校正方案，来优化透镜造成的画面失真，原理主要基于对渲染图像的预先扭曲。但这只能解决静态畸变，动态畸变（移动的眼球通过透镜看到的画面畸变）难以矫正。为此，DSR决定采用眼球追踪技术，根据实时的注视点变化，来校正动态畸变。
为了模拟不同的屏幕和透镜配置，加速迭代动态畸变校正方案，DSR团队设计了一个光学畸变模拟器。即利用软件来模拟整个VR头显光学配置，这对于开发光学畸变校正算法尤其有效。
其组成部分包括：2D大屏电视（模拟畸变图像）、与电视同步的主动式快门3D眼镜（营造3D效果），还有一个固定头部的旋转支架。
当科研人员将下巴放在支架上时，支架会根据他的头部旋转，来实时更新头部和眼球模型的位置。同时，算法会根据头部和眼球模型来计算前庭眼球反射运动（VOR），并合成对应的图像失真。
而模拟不同透镜的畸变，则是通过一个叫光场传送门的算法，该算法可合成虚拟透镜。
除了模拟透镜畸变外，该方案还可以模拟不同显示屏角度对显示效果的影响。倾斜的屏幕可以更贴合人脸弧度，这种有弧度的头部包裹式设计可能会成为VR的未来发展方向，好处是外形可以更加轻薄、更符合人体工学、视场角也可以更大。
Meta技术路径
在VR领域，Meta是当之无愧的领军者，甚至在Reality Labs上投入数百亿美元，研发十年内VR将需要的技术。那么，Meta为什么要内部自研显示系统，为什么不和供应商合作开发？
对此扎克伯格表示：VR显示是一项新技术，其技术堆栈和路径与手机、电脑、电视屏幕完全不同，而且市面上没有现成方案。因此当Reality Labs的研究成果应用于VR产品时，通常都会领先于市场中任何同类产品。
Rift等早期的VR头显曾采用现成的屏幕、传感器技术，而随着VR技术发展，便开始更加依赖定制、自研。而Reality Labs的角色，则是抢先去探索未来VR发展将需要的技术，并为之打下基础，为未来十年做准备。
尽管Reality Labs在同时开展多个研究方向，但Meta目前还未透露一个明确的AR/VR技术发展路径。那么对于Meta来讲，这些技术的优先级是怎样的，哪些技术会率先应用于未来的产品中。
扎克伯格表示：每项技术突破会解锁对应的应用场景，不同应用场景的优先级将影响技术研发和推出的顺序。另外一方面，Meta技术发展的一个重点是缩减AR/VR的体积、成本。
短期内，Meta可能会针对不同类型用户和应用场景推出不同价位的AR/VR产品，也就是拥有不止一个产品线，每个产品线具备的功能、配置也有差异。而长期的目标，则是在一个AR/VR设备上应用全部的高端技术，或是降低专业产品线的技术成本，应用于消费级产品线中。
扎克伯格表示：AR/VR硬件技术和市场还在发展阶段，只有当产量大幅提升时，成本才能降低。因此，针对不同的用户群体（比如社交、游戏、健身、办公等）推出更适合的AR/VR产品，更有助于带动整个AR/VR行业。
另外扎克伯格还指出，VR和AR技术有很多部分是相似的，比如眼球追踪等等。目前，AR有两种技术方案：VST透视和基于光学的纯AR，而这在图形管道和显示方案上相当不同。
尽管如此，纯AR、VST透视AR、VR可拥有相同的3D渲染技术，未来可能会有一个统一的开发平台，这样AR内容也可以在VR中运行。
参考：
https://www.youtube.com/watch?v=x6AOwDttBsc
（ END）
推荐阅读
—— 青亭网