案例 | HoloLens 在中国广播电视行业的创新实践
HoloLens自面世以来，我们一方面利用混合现实的技术特性，与垂直行业客户一道进行定制化方案的开发；另一方面也在努力提升HoloLens的内容拍摄及展现形式。尤其随着Spectator View这样的第三方视角方案趋于成熟，我们可以预见国内电视媒体甚至泛娱乐行业在未来利用混合现实技术实现制作创新的广阔前景。
最近，我们参加了国内某知名电视台的节目录制，并在其中尝试了混合现实画面搭载传统音视讯技术。这次实践的意义，代表着我们通过本地团队的二次开发，已经可以基本达到目前国际上先进的HoloLens展示播出能力。这次的技术突破，解决了以往面对大量观众无法佩戴HoloLens时，如何通过高质量的画面将全息影像、人和物的交互完美展现的挑战。今天，我们先为大家揭秘面对大型并且复杂的现场拍摄活动，我们的方案思路和技术要点。同时，文末有彩蛋！
https://v.qq.com/txp/iframe/player.html?vid=n1324ph8jwi&width=500&height=375&auto=0
再谈第三方视角 Spectator View
其实，HoloLens在国内并非首次与传媒业结合，这次的合作与之前的最大不同，就是首次加入了拥有高画质输出的Spectator View-第三方视角方案，并且非常关键的一点是本次录制时HoloLens的拍摄机位可移动！
那么，什么是HoloLens第三方视角呢？简单来说，你看过的所有HoloLens官方视频案例或者广告，都是通过第三方视角拍摄展现的。这项技术的优点在于，即使观众没有佩戴HoloLens，也能看到佩戴HoloLens的操作者及其交互操作的全息画面内容。针对本次拍摄，我们将混合现实画面信号接入专业的拍摄系统，展示出广播级画质，可以让现场观众感受到全息影响与真实物理空间交互融合带来的真实感。
第三方视角 - Spectator View
录制过程
大型节目录制通常是一项复杂的系统工程，需要多个部门紧密配合才能保证节目顺利播出。此次节目加入全息影像的信号输入，技术难度进一步加深。能否让全息影像画面带给观众身临其境的效果，对现场技术人员是一个高难度挑战。
在录制现场，我们需要将摄像机所拍摄的画面和HoloLens识别的空间坐标，传回主机，与全息影像实时结合，再通过视频输出，最后将混合现实画面投射到屏幕之上。为了保证不同距离且多角度呈现混合现实画面与舞台空间的融合效果，Spectator View在节目现场的站位极其关键。
现场信号传输过程
我们在节目现场设置了三台搭载Spectator View的摄像机，用于捕捉HoloLens的全息影像画面。它们分别是：
一台固定机位：在舞台中央用于现场全景画面拍摄；
两台移动机位（游机位）：一台轨道半径90度的轨道摄像机位，负责舞台部分画面的拍摄；一台搭载斯坦尼康的移动摄像机，负责近景及特写画面拍摄；
三台摄像机的视频信号通过专用SDI线缆接入导播系统，再由导播系统分出三路信号连入用于合成混合现实画面的图形工作站，合成后的视频信号继续通过SDI线缆反馈回导播系统。这样，导播系统便可随时切换三个机位的混合现实画面了。
架设HoloLens的斯坦尼康
https://v.qq.com/txp/iframe/player.html?vid=u0551l82nvf&width=500&height=375&auto=0架设HoloLens的斯坦尼康彩排现场画面
技术难点
经过现场前期测试，我们发现混合现实画面对接数字信号系统时，有可能遇到以下三方面挑战，因此需要提早合理规划。
1. 空间识别精确度
为了播出效果，节目舞台的设计有可能出现大面积黑色空间或反光镜面，并且录制现场的灯光颜色，明亮度也会随时剧烈切换。我们知道HoloLens的空间定位精度对环境和光线有一定的要求，当需要识别的空间较大时，边界识别会变得模糊，从而可能导致空间锚抖动。为了解决这些潜在的干扰因素，我们从三个不同角度，各设置了一套Spectator View对现场混合现实画面进行拍摄。同时，在舞台上做好相应标记，以此帮助三个角度的HoloLens进行精确的空间识别。
2. 输出画面质量
节目录制的全过程大概需要7小时，除了设备本身续航能力需要有充分预案外，如何保证Spectator View图形工作站的稳定运行至关重要。为了解决这个问题，在接入SpectatorView时，我们需要进行后端软件防抖参数设置，及实时物体校准功能设置，从而结合现场实景，保证节目现场混合现实画面能够稳定输出。
后台调试延迟、防抖动参数
3. 多台设备协同
多台设备协调是确保现场拍摄画面与导播系统无缝衔接的关键。由于每一套Spectator View都有自己独立的同步系统，为了保证现场三台SpectatorView和多名嘉宾佩戴的HoloLens中的空间锚进行实时同步及对应的画面输出，我们另外配置了一台服务器进行信号调配。从下图显示屏幕，可以监控现场每台HoloLens中的全息影像，调整它们在真实空间中的位置，并查看对应操作后触发的效果。
另外，为了保证录制现场的无线网络信号质量，技术团队还在舞台周边安装了三个无线路由器进行信号桥接，确保现场任意一台HoloLens都能轻松接入无线网络。
后台监控画面
其它技术经验分享
除了上面提到的几个重点部分，结合HoloLens的技术原理和舞台录制的特点，还有一些细节经验供大家参考，这些经验不仅对舞台，也对其它大型展示活动同样有效：
1. HoloLens是光学成像原理，因此，为了保证优质的展示效果，舞台灯光的设计务必要提前与节目团队进行详细的沟通。我们建议尽量避免复杂光源，如明暗亮度的快速大幅度切换，直射强光，闪光等。HoloLens就像是人的眼睛，我们对光线舒适与否的判断同样适用于HoloLens。因此，最佳环境是室内稳定的日光光源，如果日光光源不能满足活动要求，那么请尽量避免过明或者过暗的情况；
2. 针对轨道机位和斯坦尼康机位上负责定位的HoloLens，我们建议在拍摄前使其对舞台进行全面细致的空间扫描，确保HoloLens可以准确识别舞台周围的环境；现场舞台上嘉宾使用的HoloLens在开场前应同样充分扫描舞台。由于舞台有别于一般的室内空间，空旷而且可能有大面积的黑色区域，因此事前的充分扫描能够提供给HoloLens一个精准的空间模型。如果舞台异常复杂，房顶的灯光以及墙面包含大量反射或者透明材质，那么我们可以首先专注于对舞台地面进行细致的扫描；
节目视频截图
通过这次创新性的尝试，我们看到混合现实技术在传媒制作行业的巨大潜力。做为普通的电视观众，我们会不禁遐想未来的节目中，全息影像与人的互动会带迸发出什么样的火花。同时，我们也更加坚信混合现实技术在中国必将茁壮成长！最后，衷心感谢我们的小伙伴DataMesh（商询科技）为本次节目录制提供的全套技术方案和现场支持。
当您耐心看完本期案例分享时，我们决定送出一个惊喜，就是这篇案例分享的彩蛋篇。任何一个创新技术方案的落地，都不是一帆风顺的，这次也不例外。我们在节目录制当天可以用惊心动魄来形容，现场遇到的挑战和状况，都给小伙伴们留下了深刻的印象。我们一致认为，这些宝贵的一手经验，应当分享给更多的技术探索者，推动大家的共同进步。所以，赶快扫描下方二维码收藏我们的官方微信号，我们将于近日隆重推出本次案例分享的彩蛋篇 – 向无可救药的革命乐观主义精神，致敬！
获取更多HoloLens产品资讯，欢迎扫描二维码关注微软HoloLens官方微信！