亲历者讲述：关于 Magic Leap 的技术派起底
为什么它的「特效片」能这么吸引眼球，甚至让投资人乖乖掏出 5 亿美金？
编者注：
最近，但凡关注新技术进展的人，想必朋友圈里都被一家名为 MagicLeap 的初创公司刷屏了，它发布了炫酷的技术展示视频,再加上所谓的「10 亿美金融资」的传闻，不仅让自己像当年的 Google Glass 刚推出时一样炙手可热，也激发了人们对裸眼增强现实技术未来的无限遐想。
https://v.qq.com/txp/iframe/player.html?vid=m0170mr7vkq&width=500&height=375&auto=0
这会是下一个创新的风口还只是为时尚早的科技概念？或许你早已见惯了各种脑洞系的分析，不如听一听真正深入了解过这家公司的业内技术大拿是如何看待的。这篇文章来自于国内一家从事相关领域研究的创业公司投稿，由于涉及到保密原因，极客公园暂不透露公司名称。
作者：台伯河
这家只有特效片的神秘公司为什么需要，并能融到天量融资？
以现在 VR/AR 的火热程度，时不时我们就会遇到这样的事情：一个网上大火的宣传片，大家都以为这就是未来；然后过一段时间我们就会发现这只是某个公司用特效技术所制作出来的概念视频而已，其中的技术离真正实用还差得很远。但是对 MagicLeap 我却不能下这种判断。
今年四月，我通过硅谷的前辈介绍认识了 Magicleap 的 VP of Perception（负责感知研究的高级副总裁），Gary Bradski。他是计算机视觉领域的神级人物，OpenCV 的创始人。我本人也是他的读者，并且在日常工作中使用 OpenCV 作为研发工具。
能够跟这样的大神坐在一起，我也是与有荣焉，甚至一度担心自己穿的不够正式：不过 Gary 本人骑着自行车就过来了，穿着一身骑行服与我们在一个优雅严肃的硅谷 VC 公司的办公室里开了两个小时会。会议中我免不了问一下 Magicleap 的情况，Gary 自己也笑称他们公司是「the most stealth company」（业内最隐型最神秘公司）。
然而当我们问到关于 MagicLeap 的技术问题时，他的回应则基本上是「我不能说」。但是他在有一个问题上回复了我，而且对我有很大启发。我问道：为何需要融五亿美元（当时 MagicLeap 还没有开始启动新的一轮融资计划）这么多，Gary 的回复大意是：基础的，改变世界的研究性工作是需要时间的，需要支撑的，MagicLeap 希望在比较早期的几次融资动作中拿到足够支撑这件事情到最后的钱，而不希望短期的一些里程碑要求导致研发进程受到阻碍。
和 Magicleap 的后来几次接触都是比较正式技术沟通的场合，我们去介绍设备使用，或者他们的工程师向我们提出一些技术需求。当然，没有任何一次我们能够看到他们的研发环境或者演示。演示方面 MagicLeap 非常的慎重，在我认识的全部从业人士中只有一位 T 公司的高层因为某种沟通的需求（我猜测是投资谈判尽职调查的技术部分）同时体验过 MagicLeap 和 HoloLens（另外这位兄台还和我一起去体验过 The VOID）。据我的一位好友，U 公司的 CEO H 女士说，她有个朋友拿到了 MagicLeap 的 offer，在入职前一天还没能被允许看到演示，于是愤然拒绝了 offer。在 MagicLeap 的员工列表上，我们也可以看到除了 Gary 这样的大神，还有包括特效、计算机视觉等各个领域的顶尖人士。
总而言之，从 Magicleap 的人员构成上，以及前期投资人构成上看，这家公司靠谱的可能性极高；但是从他们对一切信息披露的遮掩态度，以及前期放出来的纯特效片的做法上来看又让人非常的费解。
拍摄屏幕渲染≠人眼实际所见
那么「增强现实」技术本身，有什么难点需要解决呢？除了如同虚拟现实技术一样，增强现实设备需要畅顺的，低延迟的渲染出图像之外，它最大的问题是两点：一，如何处理虚拟图像与周围环境的关系；二，如何处理虚拟图像与人眼的关系，这两者都比虚拟现实复杂得多。
处理虚拟图像和周围环境的关系，首要的要求是知道设备自己的状态，与周围环境的状态。简单的说，VR 只需要感知自身状态，而 AR 需要感知环境状态以及自身状态。
MagicLeap 所放出来的视频里，小机器人藏在桌子底下，被看到了还会打招呼；设备想要渲染出这样一个小机器人，就需要知道「桌子」是什么，以及在哪里，才能够正确的构造出小机器人和桌子之间的位置关系，太阳系亦然。
这需要先进的计算机视觉技术。当下十分热门的 SLAM（Simultaneous Localization And Mapping，即时定位与地图构建）就是用来解决这个问题的：设备进入了一个未知的环境中，通过摄像头等方法，能够即时的定位自身并且构建出周围环境的计算机模型。Google 的 Project Tango 就用到了这样的技术。
▲Project Tango：基于深度摄像技术和 3D 建模实现移动手机的室内定位
至于 MagicLeap 这个视频里展示出了他们的 SLAM 技术是否有了突破，并不能得出结论：因为除了即时构建出环境模型之外，还可以在使用之前预先扫描空间建立模型。预先将这个模型输入到设备里，虚拟元素就知道自己应该在哪里了。需要预先扫场的话，我们大可以将自己的家里，自己的办公室扫描进设备，就能够在这些熟悉的地方玩着大战外星人的游戏；但是那种未来风格的，走在大街上人人顶着 Tag 随便指一个建筑就告诉你地点的增强现实美好前景，大概是一时半会实现不了。
另外一个难点就是处理虚拟图像和人眼的关系。MagicLeap 并不会是目前有些媒体所渲染的「裸眼全息」显示，那就不是科技，而是魔法。
MagicLeap 肯定是仍然需要佩戴设备才能够看到显示的图像。在增强现实中，虚拟元素就仿佛在真实世界中存在一样，这并不是将屏幕做成透明的就能够解决的：人眼盯着不同距离的东西会聚焦在不同的位置，单纯的屏幕不可能让人在盯着远处现实中的物体的同时看清虚拟图像。据我所知，MagicLeap 采用的是光纤传导图像解决这个问题，他们称之为「数字光场」（Digital Lightfield）技术，至于它如何工作，最终效果如何，只能「眼见为实」。
▲由输出源发出的图像需要通过光学介质反射后输出虚拟图像
在这里我们可以明确的说：MagicLeap 的视频没有，也不可能展现出其设备投射入人眼的实际效果。从某种意义上，这是所有 VR/AR 设备的展示上的共同问题：微软 HoloLens 亦然，拍摄屏幕渲染，和人眼实际能看到的东西，根本就是两回事。
想让虚拟与现实无缝结合，还早了点
如果我们展望一下，就会发现增强现实设备在原理上有一个基本物理障碍：虚拟图像无法做到对于现实世界的遮挡。举一个例子：在一个明亮的环境中，增强现实设备如何渲染一个暗色的图像？世界上并没有能够显示黑色的显示系统。从这点也可以看到，MagicLeap 新放出的两个视频都是在一个昏暗的环境中拍摄的。或许未来的技术可能会突破这一问题，那也是以后的事情了。
从我们刚才的分析中，我们可以看出，MagicLeap 所新放出的几个宣传视频，并没有真正解答我们对它技术的疑虑；它是真的使用实际技术拍摄的也好，还是特效制作出来的也好，都不妨碍这样的判断。我们可能只能等到 MagicLeap 的设备真的到达我们手中我们才能够知道它到底有没有我们希望当中的那么神奇了。
最后，我附上一段短的标准文案，供各位读者拷贝粘贴回复微信群朋友圈用:
「1.还是要戴眼镜的，裸眼的话成巫术了，不科学，2. 鲸鱼，海马，大象都是特效 3. 电脑操作和室内射击游戏是特效 4. 最新的这个是真的，但是是实拍的屏幕实时渲染，不是实拍人眼所见 5. 据判断场景预先扫描学习过，难度高，但是不是黑科技那个级别的高」
文中图片来源：lightfield-forum;Google.com;MagicLeap.com.
本文为极客公园原创
转载联系jianghaoke@geekpark.net
点击图片，阅读更多
▼
www.geekpark.net
长按二维码，关注极客公园