Looking Glass创始人：四种常见三维拍摄方案浅析

Esther｜ 编辑

一段录音，一支视频，或是一张照片，都是记录人生喜怒哀乐的常见方式。你是否曾想过，有一天科幻电影里的全息技术走进现实，让记忆能够以立体的全息形式流传给世世代代的后人？

大约一年半前，全息显示技术公司Looking Glass联合创始人兼CEO Shawn Frayne就这么跟团队的成员说：我有一个紧急且私人请求，就是开发之前一直在讨论中的容积或光场记录装置。因为我的兄弟Ryan患了胰腺癌，我想用一种独一无二的逼真方式来记录他想和刚出生的女儿说的话。

电影《少数派报告》中描述的全息技术

很可惜，胰腺癌的扩散比科技发展速度快得多，还没来得及开发出这样的设备，Ryan就去世了。

但Shawn依然认为，2020年在后人眼中，将会是一个容积&光场记录技术与全息显示技术密不可分的一年。二者的结合将重新定义未来几十年，人们重温回忆和建立联系的方式。

那么目前的全息和3D捕捉技术都能做些什么呢？有哪些局限？如何能与Looking Glass等全息显示屏结合？而企业和个人又该如何使用这些技术呢？

Shwan总结了适合在全息显示屏中播放的四种主要的高保真3D捕捉方式，包括：容积捕捉工作室、便携式&模块化深度摄像头、光场捕捉、手机端深度摄像头，其中手机的深度摄像头最方便，同时分辨率是四种方式中最低的，而光场捕捉虽然是其中最不方便的，但是清晰度最高。

一，大规模容积捕捉工作室

Intel Studios容积捕捉工作室

据容积视频后期工具开发公司Arcturus最新统计显示，目前全世界正在运营的容积捕捉工作室数量约有几十个，这些工作室的共同点是，都是用数百颗摄像头拍摄位于大规模场地中的一组人，通常会使用绿幕。在完成拍摄后，摄像头中的视频流会发送到服务器中进行处理，包括图像拼接，以及将捕捉到的场景转化为3D网格（3D建模）。

全球容积捕捉工作室分布图

容积捕捉的一大优势在于，拍摄出的容积视频支持跨平台播放，包括AR/VR头显，或者通过Unity或Unreal插件在全息显示屏中运行。拍摄到的内容可以加入视觉特效或者加入虚拟环境，过程就像特效师塑造虚拟角色一样容易。

这种大工作室拍出的容积视频是全世界应用最广泛的容积内容类型之一，随着支持的平台越来越多，普及度优惠越来越广。

Looking Glass 8K未修图画质实拍

大规模容积捕捉方案供应商及工作室：Intel Studios、4D Views、Mantis Vision、Volograms、微软MR动捕工作室。

二，便携式/模块化深度相机

与2D电影拍摄的演变史相似，容积视频捕捉也开始从只能在大型工作室内拍摄演变成通过成本更低的小型深度相机就可以完成。

目前市面上成本相对较低的深度相机，如全新的Azure Kinect等可以与Depthkit等软件工具相结合，让更多开发者和艺术家能够进行容积电影拍摄和创作。这种便携式深度相机拍摄出的视频质量足以接近甚至超越大型容积视频工作室。

此外，便携式深度相机还具有模块化的特点，可根据不同制作规模和周期来调整所使用的的相机数量，比预定大工作室要灵活得多。因此，Looking Glass实验室也常常用深度相机来进行拍摄。

尽管如此，便携式深度相机依然受到保真度的局限，和大型容积捕捉工作室一样，拍摄出的容积视频并不能捕捉到发丝等细节，甚至无法捕捉到反光面等关键的光学效果。此前，青亭网在《这位歌手选择发行MR版MV》一文中就提到，与传统视频拍摄不同，演员在拍摄容积视频还需要对佩戴的饰品有所考量，比如反光的片状耳环在视频中会时有时无，甚至还会产生遮挡面部的阴影。

当然，考虑到深度相机和软件工具在价格、便携性、灵活性上的优势，其视觉效果的限制也多少得到平衡，算是一个性价比较高的方案。在配合上Looking Glass全息显示显示器后，创作者将得到一个便携、快速的完整容积视频拍摄和展示方案。

两种将深度相机与Looking Glass显示屏集成的两种方案：

1）Depthkit+Unity方案：将Azure Kinect等深度相机捕捉到的容积视频在Looking Glass等全息显示屏中播放的主要流程是，使用容积摄影软件解决方案Depthkit和Unity引擎。据悉，这个方案的编辑功能强大，修饰容积视频内容的效果最好；

2）Depth Media Player+Depthkit方案：第一个方案可能比较适合具有编程经验的开发者，大多数电影制作人可能并不熟悉Unity这个工具。因此，为了降低在全息显示屏中播放容积视频的门槛，Looking Glass将于2020年1月推出一种全新的工具：Depth Media Player（深度媒体播放器）。据悉，在将容积视频通过Depthkit处理之后，就可以直接在任何一款Looking Glass的深度媒体播放器中运行，过程足够简单，就像是播放平面视屏一样，不需要经过Unity等游戏引擎。

三，光场捕捉

用32个摄像头组成的光场捕捉设备来拍摄百慕大海燕雏鸟

Shawn认为，光场捕捉是目前为止保真度最高的容积捕捉方案，没有之一。同时，这种方案也是最不为人知，且最难以用现成装备搭建的方案。

这是因为在光场显示技术成熟之后，才出现一个从光场捕捉到拍摄到显示的直接流程。通俗来讲，光场显示技术也常被称为全息显示技术，大约在一年前才开始大规模进入市场。

Shawn表示：对于用全息形式完美还原真实世界来讲，从光场捕捉到直接显示的流程是关键步骤。这是因为光场的输入输出方式从根本上就和容积视频捕捉不同。光场捕捉，其实就是对真实场景的亮度、色彩和光线的方向进行捕捉和重现，完全绕开了容积视频制作过程中需要的3D建模工序，因此精准度也是容积视频捕捉方案无法达到的水准。

据了解，光场捕捉方案可拍摄3D静态图，或者刷新率30fps以上的光场视频。Looking Glass联合创始人兼CTO Alex Hornstein近年来一直在这个领域进行大量实验，最近还曾与国家地理以及一些探险家一起远征，尝试在全球拍摄几乎与世隔绝的地区和濒危物种。他们的目标是，让更多人通过光场捕捉看到对这些地方和物种的逼真还原。

在8.9英寸的Looking Glass上显示用光场捕捉技术于楠萨奇岛拍摄到的百慕大海燕

目前，光场捕捉的普及范围不如容积视频捕捉技术，不过这一情况将得到迅速改变，比如光场捕捉装置开始出现在国际上的一些会议，此外除了初创公司在不断研发新的系统外，科技巨头如谷歌也曾在去年为了探索光场捕捉成立了一个大规模计划。

谷歌光场设备

四，手机深度摄像头

如果你觉得前面三种方法对你来讲太高端了，那么可以考虑基于手机端的深度摄像头。

目前，市面上内置深度摄像头的手机包括iPhone X、Xs和11系列苹果手机，以及Pixel 4等安卓手机，这些手机主要用深度摄像头来进行更立体的人像捕捉，当然也可以用来拍摄能够在全息显示屏中播放的深度景色照片。

用手机的深度摄像头拍照很快速、方便，而且乐趣无穷。手机摄像头的拍摄质量自然达不到前三种方案的水平，这是因为一颗摄像头方案容易在全息重建的过程中形成图像缺失。不过随着技术不断发展，手机的深度摄像头拍摄质量越来越好，已经可以被用户广泛使用。

在Looking Glass中播放手机深度摄像头捕捉到的视频：Looking Glass将在2020年1月推出全新的iOS应用：Moments 3D，让手机端拍摄到全息显示的过程更加简便，未来还将发布拍摄深度照片的课程文件。

总之，Shawn认为光场捕捉与全息显示的结合距离我们越来越近，甚至在明年，用这个流程来拍摄和捕捉回忆将变成现实。

参考：

https://blog.lookingglassfactory.com/announcements/the-memory-machines/

（END）

    推荐阅读    

 

每天五分钟，轻松了解前沿科技。    
         —— 青亭网