99.9%的人都忽视了苹果“3D拍摄”的这个细节，你注意到了吗？|空间视频|Vision Pro|iPhone 15|激光雷达
在苹果iPhone15发布前后，警长就“3D拍摄”先后发出了两篇文章，引起热议。但是这前后两篇文章写的“3D拍摄”并不是一个东西，今天警长就进一步解读一下两种不同类型的“3D拍摄”，并且“披露”一个并不太引人注目，但很重要的“苹果黑科技”。
一、“3D拍摄”分为“空间视频”和“目标捕捉”两类
首先需要再次声明的是“3D拍摄”是警长给出的一个代称。这个代称也许并不严谨，警长这么称呼的目的也不是为了写论文。就像“感冒通”、“感冒灵”和“感冒清”一样，他们并不是药品的化学分子式，仅仅是一个代称而已。如果行业中有专家对此提出其他的称谓，无论它们是什么，警长都表示尊重并表示欢迎。警长欢迎乐于分享善于分享的小伙伴赐稿，携手共进哦（投稿请联系微信：XRInstitute）
苹果在6月发布Vision Pro和9月发布iPhone 15时，都提到一个新的概念“空间视频”（以及“空间照片”），英文是Spatial Video。而同时，苹果还有一项技术叫做“目标捕捉”，英文为“Object Capture”。这是两种完全不同的技术，但在呈现和体验方面有一定相似性，为了描述方便，警长将这两类技术，都泛称为“3D拍摄”。
二、Spatial Video=Stereo Video
虽然苹果在发布会上统一口径为“Spatial Video”，但在苹果的开发者文档中，他们将其称为“Stereo Video”。
苹果的开发者文档的描述如下：
The ability to carry stereoscopic video views for the left and right eyes produces a richer user experience. Stereoscopic video—sometimes called “3D video”—presents one image to the user’s left eye and another image (typically correlated) to the user’s right eye to produce the stereopsis effect, defined as: the perception of depth produced by the reception in the brain of visual stimuli from both eyes in combination; binocular vision.
为左、右眼分别传送不同的视图，会带来更丰富的用户体验。立体视频（有时也称为“3D视频”）向用户的左眼呈现一副图像，同时向右眼呈现另一副(通常相关的)图像，以产生立体视觉效果，定义为：大脑同时接收来自两只眼睛的视觉刺激而产生的深度感知；双目视觉。
有了这段描述，想必小伙伴们大多已经知道这是什么了。是的，这个技术的原理和我们在日常电影院里看到的立体电影（现在更多称为3D电影）的原理并没有本质区别。用户通过Vision Pro的两个目镜，看到的是左右两幅不同的图像，通过“脑补”，产生“立体感”。
三、Object Capture捕捉的是物体的XYZ三轴信息
空间视频的拍摄方式与手机拍摄普通视频基本一致。按一下拍摄键，开始拍摄，再按一下按钮，停止拍摄，只需要在一个视角就能搞定。而Object Capture的"拍摄"方式则不太一样，用户需要围绕物体各个角度“拍”一遍。本质上Object Capture是在识别物体的XYZ的三轴信息，并将其记录下来。
苹果的目标捕捉，是通过RGB摄像头和激光雷达采集数据，通过算法，推算出物体XYZ轴上的位置数据，同时记录“贴图”数据，最终生成3D模型。
四、空间视频和目标捕捉都采用行业通用的编码/文件格式
苹果并没有采用私有的标准存储空间视频和目标捕捉的3D模型。根据苹果公开材料，空间视频锁采用的视频编码为MV-HEVC（Multiview High Efficiency Video Coding）。这个编码格式在众多3D电影院线中已经得到应用。苹果目前支持两种空间视频的文件格式，一是QuickTime，二是MPEG-4。
而通过目标捕捉的3D模型，苹果采用的是USDZ格式。USDZ格式也是目前在行业中广泛使用的一种3D模型格式。USD由Pixar开发，于2016年开源，是一种开放的面向多方案使用的场景描述格式。USD专注于高效的大场景处理能力。USDZ是苹果公司在2018年WWDC大会上推出的一种新的3D文件格式。2023年8月，皮克斯、Adobe、苹果、Autodesk 和NVIDIA 成立 OpenUSD 联盟，以共同推动 USDZ开放标准的发展。
苹果采用行业通用的编码和文件格式存储空间视频和3D模型，不仅为其自身发展提供了更多的内容源，也对XR行业发展大有裨益。无论是华米OV还是苹果，大家都遵从相同的内容格式，内容才能更多，行业才能得到良性发展。
五、苹果的“空间视频”虽然编码与普通3D电影无异，但却有“黑科技”级别视觉效果
下面是苹果官方在13日发布的视频，这段视频虽然很短，但是携带了很多信息。请大家再看一次。找找看，这个空间视频的视觉效果与电影院里看到的有什么不同。
如果你还没看出区别的话，请看一下警长专门通过3D建模制作的视频截图，看看下面动图中，左右两个框中的视觉效果有什么不同。
想必很多同学这时已经看出区别了。设想就是苹果拍的上述老人与女孩的视频，如果我们停止播放，这时这一幅画面在电影院里看是什么效果？在电影院，你无论是坐在大屏幕的正前方，还是走到屏幕的侧面，都是能够完整的看到屏幕中的老人和女孩的。但是再看回苹果官宣视频，当你在“屏幕”的“侧面”时，只能看到女孩，看不到老人。苹果的空间视频观看效果，更像通过一个画框、一扇窗户或者一个任意门看外面的世界，从不同的角度看，是不一样的。
“该死，又被苹果给装到了”，此时你的内心里是不是响起这样的声音，是不是又冒出许许多多的疑问：苹果的空间视频不就是电影院的“Stereo Video”吗？为什么看起来会完全不同？苹果的空间视频和目标捕捉，需要什么样的传感器？哪些手机和设备可以支持拍摄？对iOS的版本有什么要求吗？一定要在Vision Pro上才能看到空间视频吗？我在其他设备上拍摄的Stereo Video能不能在苹果眼镜上看？iPhone 15 Pro的摄像头间距远小于瞳距，能拍出像样的视频吗？为什么iPhone 15 Pro只能拍空间视频不能拍空间照片而Vision Pro可以？
问题很好，且听警长和小伙伴们下回分解。
最后，警长再次号召乐于分享、善于分享的行业小伙伴赐稿。稿件的形式不限，图文、视频、音频都可以。AR圈这个小平台在小伙伴们多年以来不离不弃的支持下，有了一小丢丢的影响力。但AR圈不仅是属于警长的，也属于每一个小伙伴。警长希望通过AR圈，支持小伙伴们共同发展、共同进步。不是曾经有一个智者云过嘛，独行快，众行远。投稿要快，速联系微信：XRInstitute。
往期推荐