—— 青亭网
其他
索尼STEF 2022汇总：AR/VR趋势和挑战，数字孪生平台和气味模拟器
Esther | 编辑
近期，索尼举办了STEF 2022技术交流会，据悉这是索尼的第50届STEF活动，本次的主题是“用技术分享感动”。会上，索尼展示了多项与3D、AR/VR相关的技术，还有一场关于3D-3R技术挑战的研讨会，探讨了对于实时3D渲染、AR/VR光学、云计算等技术的愿景。
我们知道，索尼因其不断创新的技术而广受业界关注，那么本届技术交流会上都展示了哪些创新内容呢？感兴趣就一起来看一下吧。
3D-3R技术挑战研讨会
据青亭网了解，3R指的是Reality、Real-time和Remote，也就是现实、实时和远程，而构建3D-3R体验主要有三大要素：存在感、沉浸感和交互性。内容形式方面，3D-3R主要通过实时模拟、现实场景捕捉两方面来创建内容，接着通过视觉处理、音频处理技术，输出到AR/VR等3D设备中，供用户体验。
索尼表示：3D娱乐内容是PlayStation诞生的初衷，从初代PS到PS5的迭代过程，也见证了索尼实时模拟技术的发展，而实时模拟实际上就是根据物理原理去计算逼真的运动。为此，索尼还开发了物理模拟模型，可渲染逼真的物理碰撞等效果。此外，还研发了光追技术（Ray Tracing）来模拟环境光的物理变化。
不过，运行实时模拟成本高且耗时，因此索尼计划将模拟模型与AI结合，将部分模拟任务交给AI去推算。
1）现实场景捕捉
在3D场景捕捉业务上，索尼的目标是将世界数字化。此前，索尼只是将数字化的场景在2D平台上运行，以2D视频的形式记录，而不是创建可交互的3D虚拟世界。而随着3D CG渲染越来越逼真、细致，索尼也开始关注3D场景的实时交互，以及数据在数字空间的交换和传输。
除了3D CG技术发展外，现实场景捕捉还依赖于传感设备（深度测量），以及信号处理（摄影测量法）、云计算、AI等技术发展。索尼指出，受益于这些技术突破，3D传感技术从科研领域走进了企业和消费级场景。
目前，索尼的3D捕捉技术主要有三类，一种是基于容积视频的人像捕捉，另外则是基于3D建模和渲染的数字人，以及虚拟拍摄场景（电影领域）。现阶段，索尼只能创建逼真的3D虚拟化身模型，但自然的控制虚拟化身动作还很难，因此未来可能会尝试用AI来模拟人的行为。
2）视觉处理技术
索尼指出，在2D成像领域，索尼的技术已经达到了8K HDR的高水准（电视、投影仪等等）。而近年来，该公司的业务已经从电子产品发展至娱乐行业，包括为虚拟制作、游戏、XR等场景制作动画或电影。如今，索尼开发的内容正在从2D向3D形式升级，因此也开始致力于提升3D内容的实时分辨率。
另外，由于3D内容从制作、传输到观看的过程会存在一定延迟，索尼将研发全新的视频解码技术，通过压缩3D视频信号来加速数据传输。此外，还将研发降低3D信号延迟的技术，减少信号压缩程度，并结合超分辨率渲染技术，进一步提升3D图像质量。
3）AR/VR趋势
在研讨会中，索尼半导体解决方案（SSS）的武川洋（Hiroshi Mukawa）阐释了索尼对于AR/VR的愿景。有传闻称索尼将向苹果AR/VR头显提供显示技术，因此该公司对于AR/VR的预测不仅体现出其自己的愿景，可能也会侧面反映出行业的趋势。
对于索尼来讲，AR/VR的关键是从视觉、听觉、触觉、嗅觉、味觉五个方面来增强现实体验和沉浸感。在视觉方面，AR/VR的关键是3D渲染、大FOV、高分辨率、高刷新率、HDR等等。此外，稳定的实时定位、低延迟也很关键。
在一张路线图中，武川洋描绘了对于AR/VR显示技术发展的预测。其认为，AR眼镜最初会采用LCoS+平面玻璃材质光波导方案，后期会使用Micro LED替代LCoS，接着还会采用曲面塑料材质光波导，实现更接近眼镜的外观。
尽管索尼并未大力推广AR眼镜产品，但其在2008年、2012年、2015年均曾发布早期的AR眼镜产品，并且在2019年曾在线下AR体验《捉鬼敢死队新人训练》中使用AR眼镜原型，该AR原型采用了MicroLED+平面光波导。
而在VR显示方面，则认为前期将采用LCD+菲涅尔透镜方案，随后将改为OLED屏+Pancake透镜（曲面），并逐渐迭代为OLED+平面液晶透镜方案。
4）AR/VR挑战
现阶段，AR/VR显示技术还面临一系列挑战，比如：通常人眼可感知120°横向视场角，60PPD（单色），因此120°（横）x80°（纵）视场角的AR/VR显示方案，将需要具备单目7000万像素，而这几乎是8K视频分辨率的二倍。此外，短期内没有任何移动芯片可以稳定的将AR固定在场景中，这意味着图像延迟（理想延迟是小于几毫秒）、漂移等问题难以解决。
因此，索尼利用人眼视觉认知特性，去优化AR/VR对渲染像素数量的需求，也就是注视点渲染，而这将需要低延迟成像技术，来弥补眼球追踪和注视点计算的延迟。
此外，为了优化AR/VR的舒适性，索尼将致力于缩小显示模组的体积和重量，并且优化SoC、图像处理单元和光源的散热量，从而减少对于风扇等大体积散热系统的依赖。当然，更重要的则是降低耗电，减少对电池容量的需求。
武川洋指出，提升AR/VR视觉舒适性也很重要，比如通过动态变焦来缓解肉眼和图像对焦不匹配的问题，潜在的解决方案包括液晶透镜、视网膜扫描等等。目前市面上有多种方案，不过这些技术需要一些时间才能商品化。
5）关于未来
未来，云渲染和边缘渲染技术将有望进一步提升AR/VR头显的画质，不过云AR/VR还存在延迟，在毫秒级速度渲染图像很难，尤其是对光学AR来讲。目前，索尼已经在探索云VR技术，可能会通过预渲染来弥补数据传输的延迟，或是用来优化注视点渲染技术。
AR/VR还有望与隐形眼镜集成，实现更小巧的体积、更大的视场角。武川洋预测，虽然已经有AR眼镜通过FDA认证，但接下来这项技术至少需要经过十年去测试。
此外索尼还透露，正在在容积捕捉工作室尝试实时重建全尺寸3D全息技术，未来可能用于远程社交等场景。
体育运动数据3D可视化
在STEF2022上，索尼讨论了将3D可视化体育比赛视频和裸眼3D显示屏Spatial Reality Display结合的可能性，允许观众从更多角度分析比赛，并体验更多交互式娱乐内容，从而增强传统的体育直播体验。
索尼表示：3D体育比赛直播系统基于Hawk-Eye的两个功能：SkeleTRACK和HawkVISION。其中，SkeleTRACK是一种高精度追踪系统，可实时定位运动员的骨骼信息和球的运动，还可以预测球员的3D姿态。这项功能的潜在应用场景包括训练、技术分析、增强观赛体验等等。看上去和2022世界杯上的AR/VR效果类似，可以清楚的看清越位情况。
https://v.qq.com/txp/iframe/player.html?width=500&height=375&auto=0&vid=v33657nhno0
而HawkVISION则是一种数据可视化功能，该功能基于SkeleTRACK，可从多个角度播放体育比赛，不受摄像头角度限制。这项技术实际上就是在体育场边缘布置多个摄像头，用于追踪球员的3D姿态和球的运动，并基于这些追踪数据来重建3D虚拟球赛。由于容积数据很大，所以索尼仅使用了3D姿态数据。此前，曼城足球俱乐部在超级联赛上就使用了Hawk-Eye技术。
除了裸眼3D显示屏外，索尼还构想了一种在AR/VR头显中和好友一起观看比赛的场景。
3D数字孪生平台Mapray
索尼还公布了一款3D数字孪生平台：Mapray Digital Twin Platform，该平台的特点是结合AI算法，可利用地形、天气、城市数据等开源信息，重建真实场景的3D数字模型，其特点是可动态模拟城市变化，比如天空中太阳的位置等等，就像是将整个地球进行数字重建。
相比于市面上的其他数字孪生方案，Mapray的优势在于更加灵活，而且更容易在3D空间中处理复杂的物理数据，可快速、高质量重建大量的3D数据，并支持清晰、流畅的查看可视化数据（基于浏览器的实时渲染技术）。你可以通过Mapray在云端管理地形、3D城市模型、卫星、航空成像等开放的静态和动态数据。
https://v.qq.com/txp/iframe/player.html?width=500&height=375&auto=0&vid=s33650re7fz
ToF AR SDK
在今年6月，索尼半导体解决方案（SSS）就公布了ToF AR开发套件，这个套件的功能是可为移动应用添加自然的手势交互或手指动作，应用场景包括AR、游戏、VTuber等等。
未来，索尼计划继续扩展ToF AR的功能，比如3D空间识别等等。未来的潜在应用场景包括游戏、AR、通信社交、医疗、教育等等。
Tensor Valve气味模拟系统
低延迟3D图像传输
参考：
https://www.sony.com/en/SonyInfo/technology/activities/STEF2022/
https://www.youtube.com/watch?v=oajlkggX_Bs
推荐阅读
—— 青亭网