—— 青亭网
其他
AR光学系统全解析：为何打造优质的AR眼镜如此困难？
Esther｜ 编辑
最近一年，AR眼镜这个话题逐渐被各大媒体所关注，国际方面Magic Leap One、HoloLens 2都已发布，国内nreal、Rokid以及vivo等新品也已亮相，甚至华为AR眼镜、苹果AR眼镜也都呼之欲出，给人一种AR眼镜时代即将来临的错觉。
实际上，现如今的AR显示技术已经在军工等领域展开了多年开发和应用，而近些年的AR眼镜中的光学显示并未有较大的突破，反而更多是用于降低成本、缩小体积等方面。
不仅如此，还有部分厂商宣称AR市场较达120度甚至更大。对此，AR公司DAQRI CTO Daniel Wagner给出明确态度，AR眼镜光学部分包括：视场角、显示效果、eyebox等方面短期内可能不会有大突破。
为什么这么说呢？因为，本文中Daniel Wagner将从多个方面深度剖析AR眼镜的光学技术需要克服的困难，让我们详细来看看吧。
关于AR光学
市面上主流AR光学显示系统有：光学透视和视频透视两种。据悉，这两种AR光学显示系统都曾得到探索，不过视频透视法在头显重量、体积等方面有较大局限，因此大多数AR眼镜采用光学透视方案。
光学透视方案和常规眼镜类似，你可以直接看到现实世界，但光学模组并不是完全透明，由此通过真实图像叠加虚拟图像来实现AR现实。光学透视方案的缺点是，难以显示黑色或深色，因此阴影渲染很苦难。科学家们进行过一些尝试，但实用性并不高。
左：光波导，右：半反半透光学
光学透视方案中又有多种光学原理，其中现阶端最常见的是：光波导和半反半透。目前包括Magic Leap在内的高端AR头显大都采用光波导显示技术，该技术的原理是微显示屏向光波导的一侧投射光线，通过全内反射原理，光线会在光波导内反射和传播，然后从另一边反射出来，最终反射到用户眼中。
光波导的优势是可以实现较小的机身体积，而劣势则是图像质量存在部分问题。此外，光波导光学效率较低，对微显示屏的要求也更高，现有光波导主要配合LCoS和Micro OLED微显示屏。
而半反半透虽然比光波导设计起来要复杂，但原理更简单，而且成本远低于光波导方案。Daniel表示：一个常见的误区是，即使是在追求大FOV的前提下，采用半反半透光学的AR眼镜也可以比Meta 2的体积更小。
视频透视光学显示系统原理
视频透视AR方面，目前Varjo XR-1等VR头显已具备此功能，原理是直接在摄像头拍摄的画面上叠加虚拟内容，你观看的是屏幕的“虚拟内容”，看不到真实世界环境。其优势是，可让AR与真实环境融合更自然，劣势则是这种基于摄像头＋屏幕的组合，对于光学显示方面存在较大不确定性，包括对比度、亮度、视场角等。
AR光学的痛点
接下来，将从现有AR显示技术的各个痛点入手，解释一下为什么AR显示在关键性突破方面还有一定时间距离。接下来的讨论，将以光学透视方案为例展开，并不设计VST的部分。
Daniel表示：接下来要讨论的这些痛点之间具备相互联系，提高一项将意味着牺牲另一项，比如在提高FOV的同时，就容易造成更大的硬件体积和更小的eye box，这样的设计想必也无法被大多数消费者接受。而小型光学模组若想实现大FOV、大eye box则极具挑战，而且大eye box需要更多光线才能实现自然的亮度，因此还需要更强大的光源。
造成这一结果的主要原因是由于一个被称为光学扩展量的几何不变式，公式中包含了光线立体角和光源截面积相乘的的部分，因此公式的守恒也意味着光线立体角和光源截面积乘积的守恒。
从示意图中可以看到，h1为光源，h2为成像，h2大于h1，不过Ω2角度小于Ω1，也就是说截面越大，立体角越小
Daniel还发现，在FOV恒定的情况下，若想扩大出瞳直径，那么光学引擎的效率和微显示屏大小均会受到光学扩展量的影响。而如果要提高光学模组的FOV，则需要降低焦距或者提高光学模组的宽度/尺寸，同时光学扩展量告诉我们提高立体角会降低图像大小。另一方面，透镜的半径不能超过其曲率半径，而曲率半径决定了透镜的焦距。
此外，对于采用扫描式激光系统的微显示屏来说，如果想要提高其狭小的出瞳直径，有几种方法可选，比如：采用位于中间的过渡屏显来充当第二个光源，不过缺点是需要额外的中继透镜，而且色斑更多，效率也更低。另一种方法是采用光波导，不过所产生的伪影需要用眼球追踪和主动式校正才能缓解。
考虑到AR光学受到这么多限制，需要做出各种权衡，因此存在那么多痛点也就不奇怪了。
1，FOV：在大多数人看来，AR的FOV是最需要得到提高的方面之一。当然，不同的受众群体对于FOV的要求也不同，对于普通消费者来讲，FOV越大则沉浸感越强，玩游戏、看视频的体验感也就越好。而对于B端用户来讲，FOV在40°x30°的AR眼镜就足以满足维护、检修等场景的需求，同时视场角以外的区域并不会受到遮挡，可让用户看到清晰的周边环境，从而提高安全性。
图片中最外围的方框是人眼正常的视场角，而黑色的方框为市面上普通VR头显的视场角，再往里是多款AR头显的视场角
目前市面上AR光学模组的FOV仅占人眼视场角的一小部分，而整体体积更大的VR头显由于采用更简单的光学配置，所覆盖的FOV要比AR头显大得多。
s代表平面光学表面（比如光波导）的宽度，b代表eye box，r代表出瞳距离，而v代表FOV
那么为什么AR的FOV会那么小呢？这也跟一个公式有关，从公式来看FOV、eye box和出瞳距离之间有着紧密的关系。举个例子，对于一个横向FOV为40°，出瞳距离20mm且eye box20mm的光学模组来讲，其光学表面应该有35mm宽。若要让光学模组的FOV达到90°，那么根据公式可推算出光学表面的宽度将达到60mm（每只眼）。
三种宽度光学模组，从左到右：35mm，60mm和135mm
那么若想实现DigiLens号称在研发的150°FOV（对角线）光波导，那么理论上讲光学模组的对角线将达170mm，如果按照4：3的比例来算，那么每只眼的光学模组尺寸甚至可达135mmx100mm左右，不仅在体积上不可行，还将产生双目重叠的问题。对此，一个可能的解决方案是用曲面的半反半透光学来代替平面光学模组。不过就目前来讲，曲面光学半反半透光学还只是一个研究课题，距离实现还有很长一段距离。
2，eye box：指的是近眼显示光学模组与眼球之间的一块锥形区域，也是显示内容最清晰的区域，超出该区域的范围可能会呈现图像扭曲、显色错误，甚至不显示内容等问题。
eye box（绿）示意图
那么eye box多大尺寸才合适呢？显然，它至少也要和人的瞳孔一样大，大约4mm左右。尤其是在AR头显中，人眼需要通过在AR光学模组上移动来查看图像，因此eye box的尺寸至少要向每个方向延长几毫米。
此外，为了支持更准确的IPD调节功能，eye box也需要更大。通常调节IPD的方法可分为机械物理法或光学调整法，前者须通过移动光学元件来实现，不过移动的元件体积大且容易损坏，并不适合AR眼镜这种穿戴设备，而后者则需要将eye box的宽度提高10mm到20mm。
如果要提高eye box大小，衍射光波导是一个合适的材料，不过提高阵列光波导的eye box大小却很具挑战，因此半反射式光波导材质的光学模组通常具备比衍射光波导更小的eye box。
另外，提高eye box大小也面临一些其他挑战，比如：eye box越大，光学模组的尺寸也就更大，甚至还需要更多光输出，才能维持感知亮度。
3，亮度、透光率和像素停留时间：亮度指的是光学系统所显示的虚拟图像的亮度，足够的亮度可以让你在阳光直射环境中也能看清图像，同时这也是当前AR头显所面临的一大挑战之一。据悉，HoloLens和DAQRI Smart Glasses的亮度约为300尼特，而Magic Leap One亮度约为200尼特。而市面上大多数AR眼镜的亮度仅适合在室内使用，在室外几乎无法用。
为了缓解这一问题，一些AR头显采用birdbath等光学设计来阻挡环境光射入，或采用染色镜片来提高光学模组的相对亮度，但这样一来又会降低光学模组的透光率。透光率指的是，人眼透过光学元件可接收到多少环境光，最理想的透光率是100%，当然现有的AR光学技术还很难做到这一点。低透光率可能会被消费者接受，但却难以被许多专业应用场景接受，因为透光率对作业安全有很大影响。
据了解，HoloLens的透光率大约在40%左右，Magic Leap One的透光率约为15%，2019年初展示的Nreal机型大约具备25%左右的透光率。尽管人眼可以适应较低透光率的AR眼镜，但是在较暗的环境中还是很难看清。
右图显示出横向运动伪影
而像素停留时间，指的是每一帧每颗像素可发光的时间，这一元素也与亮度有紧密关系。像素停留时间为100%的话，意味着光学显示系统在持续发光，对于刷新率60Hz的微显示屏来讲，每一帧每颗像素的发光时间约持续16毫秒，但是长时间显示相同的像素值又可能会造成运动伪影（拖尾效应）。
打个比方，假设一款AR头显配备40°横向FOV、1280像素分辨率，戴该头显的用户每秒头部旋转60°，换算一下的话，相当于他的头部每毫秒旋转的跨度为2个像素，再加上16毫秒/像素的像素停留时间，则将造成32个像素的拖尾，画面出现模糊感。
当然，在盯着细节画面看的时候，用户的头部通常比较稳定，因此像素停留时间在4毫秒以内通常是可以接受的。
如果AR头显选择LCoS微显示屏，由于其配备独立的LED光源，能够实现较高亮度和高透光率，而且像素停留时间也能控制在1毫秒内（每种颜色）。而OLED显示屏的亮度则较暗，因此在像素停留时间短且需要高透光度的时候，将很快出现严重问题。
当显示屏刷新率在60Hz，像素停留时间在4毫秒时，亮度也会降低到四分之一，而当显示屏以240Hz刷新率和4毫秒像素停留时间运行的时候，每个像素才会保持持续发光。当然，240Hz刷新率对于显示屏和AR眼镜来讲都不太现实。
4，对比度：目前并没有对对比度或对比率的官方定义或测量方式，对大多数人来讲它是一种观感，简单来讲就是显示屏同时生成明亮和深色像素的能力。对比度低的话，明亮的内容和深色的内容将无法得到正确显示，在光学透视AR光学显示系统中，深色被高透光度取代，因此在对比度低的AR眼镜中可能会看到高透明度的区域呈现深灰色。总之，AR显示屏亮度越高，对于对比度的要求越高。
而对比度又取决于什么呢？显示屏和光学模组都是决定对比度的元素，LCoS显示屏本身对比度较低，通常在1：100到1：200之间，OLED对比度相对较高，约在1：1.000.000以上，不过在结合光学模组后，对比度会进一步降低，比如LCoS光学显示系统的对比度可能就低于1：100。
5，均匀度和颜色品质：颜色品质指的是显示屏能否准确重现色彩（GPU渲染的红色像素是否在显示屏上也显示红色），对于AR显示屏来讲，人眼感知的色彩也与虚拟影像所叠加的真实环境背景有关。
与对比度相同，在显示屏上不同位置，像素的颜色品质也会不同，比如一个像素色彩在显示屏左右两边看起来可能都会不同，这种情况通常也与用户瞳孔的位置有关，因此需要眼球追踪技术来解决。
衍射光波导的色彩问题
均匀度指的显示屏上不同地点的像素之间的差异程度，包括亮度、对比度、色彩等元素的变化。通常，采用半反半透光学的AR设备（如Meta 2），以及阵列光波导（如Lumus）的均匀度效果不错，而衍射光波导（HoloLens和Magic Leap）却受到均匀度问题的明显影响，容易出现中度灰色像素显示各种色调的情况。
6，分辨率：分辨率指的是显示器可显示的像素数量，最理想的显示屏分辨率应该接近或稍微超越人眼视觉极限（约为1弧分，1/60°）。
目前许多手机的屏幕分辨率远高于人眼，甚至在通常情况下是观察不到的。打个比方，从40厘米的距离查看对角线长14厘米的手机屏幕，这时候手机大概占据你20°的视场角，因此大概只需要不超过1200像素，不过目前市面上的手机分辨率比这一数字要多出50%。
而对于一个30°x20°的AR光学显示系统来讲，大约需要1800x1200像素就能达到人眼分辨率级别。
不过手机和AR眼镜不同的是，人眼直接接受屏幕的信号（忽略保护膜），不存在光学模组影响显示屏像素质量的问题。而对AR眼镜来讲，人眼的感知分辨率可能会比显示屏的真实分辨率要低很多。据了解，Magic Leap One的有效分辨率仅约显示屏分辨率的一半，而HoloLens的LCoS显示屏所生成的像素也在光学传播中损失了不少。
因此，解决光学模组这一限制因素，才有望大幅提高AR眼镜的分辨率。
7，透视扭曲：在光透AR设备中，显示部分通常由虚拟图像（波导或半反半透等）、外部遮光罩、额外的光学模组保护罩等。虽然有些有助于提升光学显示效果，但是也会一定程度上对真实世界的光线造成影响，这些因素导致真实世界图像观感扭曲变形等，降低体验。
然而，当前热门普遍期望一款轻便、成本更低的AR眼镜，因此光学显示的扭曲也变成了不可避免的事实。
8，虚拟图像扭曲：AR在光学传播过程中不仅会损失分辨率，还有可能造成图像扭曲，比如显示屏投射的一个长方形到人眼中看起来形状会稍有变化。如果扭曲程度大的情况，还可能会造成局部分辨率下降。而厂商在优化AR眼镜的时候，通常为了光学结构的其他方面而忽略了图像扭曲的问题。
当然，图像扭曲的问题可通过显示屏校准的方式，在渲染的过程中得到解决，而且也不需要太多额外处理能力。有些时候，甚至可以采用缩小视场角的方式来“掩盖”扭曲的观感。
半反半透光学的图像扭曲问题
不同光学模组产生的扭曲程度不同，通常光波导产生的视觉扭曲非常低，对于C端用户来讲几乎可以忽略，而半反半透光学通常会产生严重的扭曲。
9，眼睛安全：这里眼睛安全涉及到两类，一是保护眼球免受AR光学显示系统的伤害，二是AR眼镜/头显保护眼球免受外界伤害。与其他产品不同的是，AR眼镜/头显将近眼显示器放在距离人眼（人体最脆弱的器官）几厘米的地方，尤其是一些AR光学显示系统采用玻璃材质，因此要更加注重安全。一些可行的防护办法包括，用坚固的防护罩包住所有玻璃材质的元件。
不过目前市面上还是有未对玻璃材质进行保护的AR眼镜/头显，比如联想今年发布的ThinkReality眼镜，就将阵列光波导直接置于用户眼前，并没有使用保护罩。而光波导材质其实是将许多小型玻璃元件以水平方式粘在一起制成的，很容易破碎，甚至伤到用户。
而保护眼球免受外界伤害方面，则更类似于商业或工业场景使用的防护面罩，材质方面可以参考护眼安全标准ANSI Z87.1。
10，适眼距离：与eye box相同，适眼距离也没有一个约定俗成的定义，简单来讲它指的是人眼到AR光学表面所能达到的最近距离。由于不同人之间的头型不同，因此通常AR眼镜/头显的适眼距离是在一定范围内浮动。
适眼距离示意图
在理想状态下，适眼距离应该足够大，好支持叠加常规的近视眼镜。不过，如果提高适眼距离，eye box的锥形就会变得更细，因此同时保证高适眼距离和大eye box具有很大挑战性。
11，外围视觉：人眼聚焦的范围可能有限，但是余光能看到的范围却很广，人眼自然FOV大约是单眼150°x120°，双眼220°x120°。因此理想状态下，AR光学显示系统应该尽量减少对人眼余光的遮挡。
绿色为人眼FOV（单），红色为未被眼镜/头显遮挡的外围视觉，蓝色为AR光学的FOV
目前遮挡人眼的AR元件包括：微型显示屏、传感器、镜腿等元件。当然在精简设计的时候，也可以考虑其实人脸本身也会对余光造成遮挡，比如眉毛、脸颊都容易遮挡左右眼的视觉。
人脸挡光分布图
12，色差：光学元件的折射率跟光波长有关，因此也具备依赖颜色的多种不同焦距。在相机中也会出现这种情况，通常可通过结合多个透镜来得到补偿，但是出于对体积的考量，这种方式并不适合AR眼镜/头显。因此，色差依然是AR光学显示元件存在的一个明显问题。
色差示意图
部分色差可通过软件实现校准，还有一部分很难甚至无法修正（比如基于视角的色差）。
13，深度感知：人眼可通过多种视觉线索来感知深度，对AR光学显示系统来讲，两个最重要的视觉线索分别为聚焦（转动眼球扫视同一个物体）和会聚（瞳孔聚焦在一个物体上），在神经层面上二者应该是协调的。如果聚焦和会聚不匹配（视觉辐辏调节冲突），则会引起用户的不舒适感。
视觉辐辏调节冲突示意图
看3D电影的时候，你也许就曾经历过视觉辐辏调节冲突，它指的是由于电影屏幕和你的座位是固定的，你的实际焦点平面也是固定的，同时还会看到动态的3D电影，这时候你会发现自己没办法通过瞳孔聚焦来区分深度，只有位于焦点平面上的内容看起来才自然。
对于AR光学显示系统来讲，2米焦点平面可适合大部分场景，不容易让你感觉不自然。而且焦点平面最好是平面的，对于所有颜色都是相同的焦距，不过目前市面上大多数AR光学显示系统的焦平面并不对齐。
14，体积、重量、外形：光学显示系统和AR眼镜/头显的整体体积是目前面临的最大设计难题之一，大FOV和eye box意味着AR光学显示系统的体积也不会太小，而体积大的AR眼镜/头显不够实用也容易遮挡视线，戴上不方便移动。
而且由于对质量和折射率的要求，目前大多数AR眼镜/头显的光学模组均采用玻璃材质，随着体积的增长，眼镜的重量也会增加。
当然，AR眼镜/头显的外形设计也很重要。虽然Michael Abrash在OC 5上曾表示AR眼镜/头显的重量不能超过70g，否则容易产生不适，但是如果通过合理设计，让重量得到均匀分配，其实人的头部也能承受70g以上的重量。比如，人耳和头顶就能比鼻梁承受更多重量。
15，光学效率：指发光元件（比如LED灯）发出的光有多少到达用户眼中。目前市面上大部分光波导AR设备的光学效率很差，很多光学效率仅为1%，好在LCoS屏显和LED模组有足够高亮度，而Micro OLED亮度普遍偏低。半反半透光学模组，可改变半透膜透光率来调整体光损率。
光波导是目前市面上最主流的AR光学显示技术之一，搭配LCoS好处是亮度高，但对比度低；搭配Micro OLED好处是对比度高，但亮度低。搭配Micro LED也能保证较高亮度，目前业界对Micro LED给予高度期待，但当前普遍仅为单色显示，RGB模组可能还需几年时间。
16，延时：移动时间延迟指的是，一个事件（动作）需要多久会在光学显示系统中显示出来。举个例子，用户向右转头的同时，AR眼镜/头显中的内容也应该及时做出相应的移动。延时在AR领域是一个还未得到深入研究的话题，因为近期才出现延时足够低的设备。据悉，通常人们认为延时低于5毫秒对于光学透视系统来说已经足够。
受延时影响，右图中标志明显向右移
延时主要是显示屏和显示协议（MIPI、DisplayPort、HDMI）的一个功能特性，而且延时和显示屏的选择对于电子元件和软件的设计有很大影响。比如，OLED屏显采用滚动更新的方式，相比之下LCoS采用全局更新，二者需要完全不同的数据传输和动态补偿方式。
17，杂散光：AR眼镜/头显的外形设计越开放，将受到越多的杂光影响。尽管AR光学显示系统足以适应从正面射入的环境光，但是眼镜侧面或后面透入的杂散光很容易引起严重的显示问题。AR光学显示系统本身的功能就是反射并弯曲这些光线，因此遇到外来的杂光会更敏感。
杂散光引起的彩色伪影
这一问题对衍射光波导会产生很大影响，从侧面射入的光线可能会让光学模组显示类似于彩虹色的伪影。相比之下，阵列光波导受到的影响相对小一些。总之，解决的办法可能是通过不同的设计来降低杂散光射入。
18，视觉舒适性：保证视觉舒适性需要解决的问题有许多，包括：视觉辐辏调节冲突、双目垂直角差、双目重叠、质心分布等。
双目垂直角示意图
其中双目垂直角差指的是，双目显示系统中出现轻微垂直视差或倾斜时引起的问题，人眼无法承受这种状况，通常会造成头晕、恶心甚至呕吐。
双目重叠示意图
而双目重叠指的是，左右两眼图像出现重叠。通常，工程师会通过降低双目视觉的重叠来提高有效FOV，并且发现将双目视觉重叠降低到90%不会引起不适，而降到70%则会引起部分人不适。
质心分布并不是视觉问题，指的是AR眼镜/头显的不合理设计所引起用户脖子不适等问题。AR眼镜/头显的光学显示部分和驱动电子元件需要经过合理设计，以减少重心的移动，尤其是用户需要向多角度移动头部的时候。
19，其他：除了上述问题，AR眼镜/头显还存在焦点平面少的问题。Magic Leap One具备2个焦点平面，为了实现这一点，牺牲了显示质量和透光率，而且两个平面对于人眼来讲还是太少。
另外，目前市面上的光学透视AR眼镜/头显还不具备渲染黑色像素的能力。现有的主动光学技术只能在光学元件上添加色彩，并不能生成黑色像素。因此，可以考虑采用一层LCD屏幕，通过遮挡的方式来产生黑色观感的像素，但这样做的缺点是会将光学显示元件的透光率降低一半，还会造成极化的环境光。
接下来两个问题也和AR的光学显示系统有关，即：功耗和散热。人类眼周和面部皮肤对于热量十分敏感，因此AR头显/眼镜在面部和太阳穴附近所散发的热量不应超过1瓦特，而目前市面上几乎所有AR眼镜/头显都还未解决散热过度的问题。因此，若想明显提高AR光学显示系统的亮度，则应该将重心放在提高光学效率上，而不是依靠显示屏的强大光源。
关于未来
如果要追求更高的FOV，同时缩小AR眼镜/头显的体积，那么上面所提到的其他问题将更难得到解决。与电子元件不同，光学元件难以同时兼顾小体积和高性能，因为越小的体积可能降低焦距、eye box或者适眼距离。
而我们所期待的AR技术的突破，可能需要的不只是几个设计元素的优化，即使全彩色Micro LED显示屏问世，它所解决的也只是显示屏大小，对于光学元件大小的影响并不大。
因此可以想象，距离具备大FOV、小体积、高亮度、适合户外等强大特性的AR眼镜问世还会有很长一段时间，就像是电池技术一样，尽管需要时间，但每一年都能看到逐步的改良。
本文作者：DAQRI CTO Daniel Wagner，原文地址：
https://www.linkedin.com/pulse/why-making-good-ar-displays-so-hard-daniel-wagner/
（END）
推荐阅读
—— 青亭网