—— 青亭网
其他
为什么说：模糊对VR同样重要？
hi188｜ 撰文
一直以来，大家都在围绕着如何让VR接近现实。首当其冲的就是关于显示效果，包括提升屏幕清晰度，改变VR头显内部结构等；其次就是更多拟人化的支持，包括了眼球追踪，手势识别，体感背心，气味模拟器，跑步模拟器等等，目的就是在VR获得“真实化”的体验。
提升“真实化”的体验，当前主要集中突破的工作就是提升清晰度。因此，我们先来看看有哪些提升清晰度和观感的技术。
提升显示：提高分辨率
提升屏幕分辨率最为直接，我们知道屏幕的ppi直接代表着屏幕的细腻程度。此前谷歌和LG合作推出1443 ppi的VR专用屏幕为例，它的效果足够惊艳。据青亭了解，这是一块4.3英寸的OLED显示屏，分辨率为4800×3840，ppd接近40。
左：LG与谷歌合作1443 ppi屏幕实拍，右：常规538 ppi屏幕实拍
即便如此，根据公布的消息来看，人类视觉系统（HVS）视场角水平约160度、垂直约150度，ppd约60，这也意味着在VR环境中至少达到9600×9600分辨率才有可能达到接近清晰的显示效果。
当然，达到人眼的清晰度可能还难以实现，但最终目标就是无限接近人眼的清晰度。
提升显示：改变VR显示结构
除了提升屏幕的清晰度外，还有几种技术也值得谈一谈。首先，是Oculus在今年F8大会上展示的Half Dome原型机。
Half Dome原型机
Half Dome头显特点是采用了变焦显示系统，机身内置了一个机械结构，作用就是根据你眼镜注视到的区域去移动头显内的显示屏，以此来移动光学系统的焦点，代替模仿你的眼睛变焦的过程。
https://v.qq.com/txp/iframe/player.html?width=500&height=375&auto=0&vid=o0663t9ytbu
Half Dome变焦系统展示
这样做的优势是，可以实现更清晰的图像效果，即便是近距离的虚拟物体，例如手中的物体进行移动，总之保持较清晰的状态。
其次，还有一个解决思路就是采用双显示屏的组合，Varjo就是一个典型的代表，该公司旨在开发一款“人眼级”分辨率的VR硬件。
Varjo Bionic双屏VR头显原型机
考虑到当前可能没有较好的适用于VR的超高ppi显示屏，因此在自家Bionic VR原型机给每只眼睛配备了两个显示屏：一块1080×1200分辨率的副显示屏，一块尺寸更小的1920×1080分辨率的微显示屏作为主屏幕。
左：Vive Pro，右：Varjo Bionic
这样做有什么好处呢？由于眼睛自身特性是保持在中间区域，因此通过中间的高ppi微显示屏提供更高的画质，而眼睛的余光区域则用分辨率较低的副显示屏填充，让每块屏幕物尽其用，而且还拥有更为清晰的观看体验。
模糊对VR来讲同样重要
前面讲了很多提升VR清晰度和观看体验的案例，那么今天我们为什么又说模糊对VR来讲同样重要呢？
Tobii眼球追踪演示
这里就不得不提到另外一项技术：眼球追踪。眼球追踪技术对VR来说有以下几个好处就是尽可能模仿真实世界中你的状态，可应用在VR社交、游戏、系统UI，其中更重要的功能就是注视点渲染以及相关的“动态模糊渲染”(这里是我为了好理解自己起的词，并非常说的由于刷新率等导致的动态模糊，英文原词为defocus effect，即散焦效应，也可理解为聚焦过程的反动作，非注视区域的虚化效果)。
也就是说，这里指的“模糊”，指的是非焦点区域外的模糊。
注视点渲染就是着重渲染你眼睛注意区域，而非注视区域则进行次要渲染，以此来达到节省硬件计算资源的目的。而动态模糊渲染，就是实时渲染让非注视区域保持模糊状态，其和注视点渲染是个相反的过程。
一直以来，动态模糊渲染都被忽视的一项特性，究其原因一是当前主要任务是提升VR清晰度，二是该特性带来的改善并没有提升ppi那么直观。
既然这样一项不那么直观的特性还被拿来说呢？
接下来我用一个有关单反相机和手机摄影的案例来分析一下。我认为，人类总是在追求视觉上更舒适的场景，例如绿色背景让人放松。对于一张照片或一段视频而言，焦点突出以及自然的背景模糊能够更好的突出主体，从而更利于创作者表达自己的东西。
大小光圈效果展示，图片来自网络
单反相机之所被很多人喜欢，那是因为它能够拍摄出具备自然虚化的照片，而不是经过后期处理，这样的照片看上去足够自然，适合人像、风景等场景。通常来讲，单反镜头的光圈越大，就能拍出虚化效果更好的照片。
而到了智能手机时代，其受限于手机体积、传感器尺寸等物理因素，所拍摄的照片往往不能达到单反相机级别的虚化效果，即便照片很清晰。
vivo手机人像虚化效果展示
为了实现更好的虚化效果，手机厂商也会采用一些方法，包括所谓的“人像”模式，其中最有效的莫过于算法，通过算法去对照片进行模糊渲染，已达到更理想的视觉效果。当然，很多机器学习算法并不理想，仔细观看其模糊并不如物理大光圈效果真实，例如人像算法并不能完美的呈现出人物边缘，甚至错误识别等等。
iPhone Xs可调景深功能
甚至，苹果今年新推出的iPhone Xs主打功能之一就是先拍照后对焦，其支持先拍照，然后再通过编辑进行模糊渲染，而且速度足够快，效果理想。实际上，该功能和我们所讲的VR中的动态模糊渲染原理相似。当然，这相功能对硬件依赖也很大，凭借A12处理器强大的AI能力，该功能才得以实现，以至于iPhone X就不支持。
之所以人类喜欢带有虚化效果的图片和视频，那是因为人类的眼睛本身就具备这样的特性，这样做能够尽可能接近真实。
今天Oculus公布了一项名为“DeepFocus”的最新研究，这是一个能够提供逼真视觉效果、眼神凝视效果，以及上面提到的支持偶然和实时性的动态模糊效果。
DeepFocus动态模糊渲染演示
从过上图来看，DeepFocus呈现的视觉效果足够理想，其能够很好的把眼睛的注视点进行清晰的渲染，而其它区域则进行模糊化渲染。
https://v.qq.com/txp/iframe/player.html?width=500&height=375&auto=0&vid=h0815j1wz7q
DeepFocus动态模糊渲染演示
DeepFocus出自Facebook Reality Labs（以下简称：FRL），其研发总监Douglas Lanman表示：这套系统是提供未来全天候使用VR的基础，因为这是基于人类眼睛特性而言的，即便长时间观看VR也会比较自然。
据悉，这套动态模糊渲染的开发过程并不顺利，起初就是因为不够自然，尤其是在VR游戏中，这些都是经过游戏引擎的，另外就是偶然性的模糊效果并不理想，速度不够快，因此我们并不确定眼睛下一秒将会盯向何方。
https://v.qq.com/txp/iframe/player.html?width=500&height=375&auto=0&vid=o0815kdtonz
DeepFocus深度信息效果演示
为了解决这个问题，FRL决定通过给这套系统融入AI技术。据悉其中负责参与深度学习开发的研究员名为雷晓（音译，Lei Xiao），应该是一名华裔，其博士阶段研究包括了计算机摄影的机器学习技术。
最终，经过众多开发人员的努力，打造出的DeepFocus具备效果逼真的模糊效果，并且适用于Oculus商店所有游戏，无需应用开发者做任何修改。据悉，未来DeepFocus还支持多焦点和光场图像合成的能力。
当然，AI计算需要强大的算力，而当前DeepFocus系统演示是在一台4块GPU的计算机上运行，未来就是着手让这套系统变得更易用，例如用一台常规的游戏PC就能驱动，已降低实现难度。
显然，这套动态模糊渲染让我们看到了未来VR该有的样子，被看作是下一代VR头显的必备技术。
虽然本次的演示基于DeepFocus和Hals Dome头显，但是基于机器学习的动态模糊渲染技术和硬件无关。重要的是，Facebook已经开源了DeepFocus源代码和训练数据，所以一起感谢Facebook吧。
（END）
推荐阅读
—— 青亭网