首次亮相！揭秘这场惊艳MR发布会背后“不说话的功臣”
近期，XR（扩展现实）和MR（混合现实）的运用开始快速进入大众视野。在我们身边，6月5日晚OPPO Reno4系列新品发布会上，我们也迎来了这些技术在国内发布会现场舞台表演的首次亮相。
OPPO Reno4系列发布会设备技术展示
50秒的开场秀由OPPO团队主导，联合浙江卫视导演团队、视觉设计团队DNT倾力打造。陈学武任总导演，姜阳建任副总导演，陈若川任执行总导演，石丝雨任现场导演，李建国任音乐导演，胡玥鹏任视觉导演。
通过赛博朋克风格的城市夜景、光绘奇幻乐园，加入实时互动元素让整个表演更加有趣有活力，诠释手机“超级夜景视频”的功能定位。
由于涉及AR、实时渲染、裸眼3D实时追踪、雷达实时互动等，每个环节设备技术必须精准实现才能保障秀的顺利推进，在这台MR大秀背后，隐藏着一群“低调的功臣”。
OPPO Reno4系列发布会回顾（MR开场秀为前50秒）
1
-两套工作流系统并行-
A系统：摇臂追踪-Notch-disguise gx2-导播系统和barco激光投影
B系统：摇臂追踪-Notch-hecoos-导播系统和barco激光投影
摄像机追踪、实时渲染、前景叠加、大屏幕播控四大模块同时作用。两套Stype kit摇臂机械追踪，信息实时传输到Notch，渲染引擎根据机位变化实时渲染输出影像到disguise gx2和hecoos两款服务器，通过投影最终呈现，两套工作流系统并行确保效果万无一失。
摇臂机械追踪Stype kit：用于专业摄像摇臂系统的摄像机机械跟踪系统，安装在摄像摇臂上的传感器收集三轴的运动位置数据处理发送到渲染引擎，通过软件程序运算实时为虚拟图像系统提供摄像机跟踪数据，将真实素材与虚拟图形图像实时合成。此次在摇臂基础上增加了AR效果，可以把人物置于虚拟前景和背景实时裸眼3D场景的设计中，形成前后景包裹效果。
Notch：基于节点式的编程界面制作可交互的视觉内容。Notch的核心是其实时渲染能力，具备出色的空间感知，集创建、改变、合成、编辑、播放于一身，即时编辑视频特效、控制灯光、生成VR/AR。Notch实时渲染引擎此次分别对接disguise gx2和hecoos两款服务器，驱动进行前景、背景画面渲染。
Notch现场操作调整
disguise gx2视频服务器：实时特效处理引擎，可以结合Notch粒子功能创造非凡视觉效果，在该项目中，服务器将采集的数据、画面信息经过处理，一方面处理现场投影画面的正确透视关系，一方面完成导播系统中完整前景AR效果、背景裸眼3D画面的结合呈现。
disguise gx2现场工作调试
英国 OMEN 电竞挑战赛现场直播AR 与 MR 技术实时呈现
全英音乐奖颁奖典礼上，Dave演绎《Black》
hecoos多媒体服务器：实现设计与现场执行的无缝对接，具有切片、视频解码和渲染、可同步控制多台设备、矩阵控制、键盘触发、可完成现场投影画面对异形物体的快速贴合和偏离矫正、可3D Mapping和投影反算等功能，可以跟overlay显示增强技术，光学追踪等多种外部系统对接。在该项目中，hecoos将真实摄像机数据、透视投射数据、Notch中的摄像机三者坐标系保持一致并正确匹配，保障工作流程。
hecoos服务器现场工作调试
激光投影：10台四万流明激光Barco投影机实现3D Mapping效果，控台基于模块排列的编程方法加快编程速度，确保快速使用系统资源，打破物理空间限制。团队在投影拼接融合和优化上保证实时裸眼校正，让现场投影画面从环境感、光比等方面都达到最舒服的状态。
Stype follower红外追踪器：该系统由红外摄像组成，可跟踪人的位置和方向并让虚拟图像得以跟随，适用于直播。
Stype follower在OPPO Reno4发布会现场应用
Stype follower演示（资料来源Stype官网）
2
-2组雷达实时定位-
激光雷达：下场口机位加入2组激光雷达实时追踪系统配合摄像头工作，进行人位置、动作的识别，捕捉人的位置信息。服务器一端增加对雷达数据的采集处理，触发粒子效果，丰富地面mapping与演员实时互动。激光雷达触发精准，还可以支持多人触控。
3
-舞台搭建-
与以往XR、MR多运用LED做背景呈现不同，此次现场场景通过全投影呈现。舞台半碗状结构，整个弧形背景板和地面都是投影区，因此对墙面平滑度、墙面与地面连接处的过渡都有极高要求。舞美团队提前进行1:1的舞台预搭建，并反复打磨，保证有限高度中弧形背景到地面圆润过渡，让投影效果得到保障。
这是MR混合现实在国内发布会表演舞台上的首次大胆运用，hecoos服务器已经能跟Stype、notch等跑通所有协议，而disguise gx2服务器技术也已经很成熟，加上地面雷达追踪测试实时渲染的荷载，所有团队的配合在前期已做好充足准备。
这次尝试也为解决目前电视台节目、发布会、演播室的空间问题以及影像空间和人物表演空间关系，提供了很好的参考。正是各个团队、各项设备、技术的合作，给舞台表演带来了新鲜“血液”，他们是组成这场惊艳表演幕后最任劳任怨的功臣。让我们来认识一下他们。
技术和硬件团队
视觉设计：恩维传媒DNT团队
投影技术：鹏达永利
服务器：北京宇宁兄弟、澜景科技、极限引力
舞美：天极舞美
灯光：友娱世纪灯光工程
投影设备：上海瑞励演出器材
摇臂追踪：华视联讯
音响：领艺行
更多精彩可咨询：18676675818
猜
你
喜
欢