腾讯云多媒体实验室谈“张国荣演唱会”修复：要把超清沉浸感修复引擎的能力去做更多的落地
4月1日，张国荣生前最后一场、同时也被认为是堪称“经典”的演唱会《热.情》超清修复版在TME live、QQ音乐、微信视频号、腾讯视频等平台进行了全球首播。
这场超清修复版演唱会由腾讯音乐娱乐集团和环球音乐旗下厂牌宝丽金共同推出，腾讯云多媒体实验室承担了此次演唱会视频的具体修复工作。
腾讯云多媒体实验室隶属于腾讯CSIG事业群（云与智慧产业事业群），2013年开始从事视频处理，主要职责之一是向内部各产品部门提供全自动的数字化修复技术，以低成本、高效率为特征，批量处理腾讯云等系统内的以2D为主的海量视频。
据介绍，腾讯云多媒体实验室多从事的是电影、电视剧等画面的修复，关于演唱会的修复是首次，其难度在于人像、场景会在演唱会灯光中迅速变化和切换，而腾讯云多媒体实验室此前在这方面积累的数据偏少。
腾讯云多媒体实验室总监李松南对共同虚拟表示，这恰好也给了腾讯云多媒体实验室借修复这一演唱会，在修复技术的系统和算法方面双升级的契机。
李松南表示，此次修复的目标是既保证做到修旧如旧，又要保留演唱会的艺术效果。基于演唱会画面场景多，因灯光、切换频繁带来的繁杂变化，腾讯云多媒体实验室采用了“针对不同场景，来进行算法上的分类处理”这一措施，以在不断试错中找到最优的解决方案，同时加上人工介入优化算法参数的方式来进行。
对张国荣演唱会的修复，进一步丰富了腾讯云多媒体实验室的修复品类。鉴于老片修复这一需求在时下趋于旺盛，腾讯云多媒体实验室计划进一步将自身技术与各需求方实现对接，用技术来实现助力经典文化传承的目标。
首次尝试演唱会修复
自动化数字修复+人工介入结合
腾讯云多媒体多媒体实验室专家研究员夏珍告诉共同虚拟，腾讯云多媒体实验室与宝丽金的此次合作，始于3月初。
“当时腾讯音乐娱乐集团联系宝丽金唱片，双方各自有需求，达成合作很快。”
夏珍介绍， 腾讯云多媒体实验室自2013年成立以来，技术主攻的方向之一是全自动数字修复，但此前主要从事的是电影、电视剧等方面的修复，从事演唱会的修复是第一次。
“演唱会画面不像电影、电视剧相对稳定，后者在画面色彩及艺术风格上更为统一，更适用于通过算法来自动修复。而演唱会的画面、色彩、场景一直在变化和切换，此前腾讯云实验室的算法模型，在演唱会画面的处理数据上量不多，因而在基于算法来进行自动化修复时，会遇到困难。”夏珍坦言。
对此，腾讯云多媒体实验室采用的是基于一整套自动处理的引擎基础之上，根据演唱会画面不同的场景，来进行算法上的分类处理，以在不断试错中找到最优的解决方案，再加上人工介入优化来完成。
夏珍举例，比如对于演唱会中的大场景，腾讯云多媒体实验室采用的是GAN的超分去做修复。在修复之前，这类大场景普遍比较模糊，而经过GAN超分以后，清晰度和纹理，都得到了大大优化。又比如演唱会中有很大的噪声，技术团队也会针对这一场景进行降噪。
据了解，纯粹的算法修复大概一般只需要2天时间，但此次是演唱会，所以更多的时间是花在了不同算法的尝试之上，以保证算法出来的结果与最终的效果之间有一个平衡。
这也关系着腾讯云实验室就此次修复制定的总体目标：即修旧如旧，在保证画质等有所提升的同时，还能保留整场演唱会原有的艺术效果。
不过夏珍也表示，对于目前业内并没有一个标准能去界定修复的程度指标，“只能说这是目标或宗旨，然后在算法上尽量朝着这个目标去做调整，然后尽量按照肉眼可见的程度去做判断。”
“比如，当时我们拿到的母带分辨率只有720×480，分辨率不高。但经过修复之后，相关画质确实得到了一个大幅度的改善，我们做到了接近4K的分辨率，分辨率大概提升了6倍，整个画面的流畅度也是有做提升的，在帧率上面我们也做了一些优化，包括张国荣脸部的一些细节，以及他的眼睛、眼神，还有整个演唱会当中他戴的假长发的发丝都比以前要好很多。”夏珍表示。
借演唱会修复
实现原有技术系统+算法的双重迭代
李松南表示，通过修复张国荣演唱会，腾讯云多媒体实验室在技术上也经过了比较大迭代，主要包括系统级别的迭代，和算法级别的迭代。
系统级别的迭代主要是在分析模块的迭代上。据介绍，从修复流程上而言，一般分为四步。一是智能分析，主要是分析视频的质量，包括失真的类型和程度；二是修复，主要是用来修复视频中的各种失真，比如老片中常出现的失真，像噪声、隔行的失真等；三是增强，目标就是让图像内容看上去更清晰和丰富；四是编码，即在尽量少的码率情况下去还原视频的内容。
分析模块的迭代位于修复工作流程的第一步。李松南表示，由于腾讯云实验室的算法此前基本上没有接触演唱会种类，然后各个行业视频内容差别很大，尤其是不同年代的视频失真的类型和强度差别都很大，“这就需要去迭代分析模块的适应能力，以在尽量减少人工介入方式原则之下，分析模块能去自适应处理不同类型的视频。”
算法上的迭代，主要指的是视频超分和人脸修复。
李松南表示，此前腾讯云多媒体实验室最开始做的主要是视频的降噪、背景增强等工作，基于的以传统的算法为主。
“之后，腾讯云上的许多模型虽然都是基于AI和深度学习的方式，但最开始还是基于卷积神经网络去做的，现在则是扩展到了用生成网络去做，因为生成网络可以生成很多细节。”李松南表示。
另外一个比较大的迭代是人脸修复。据介绍，此前行业的人脸修复主要是基于图片来操作，腾讯云多媒体实验室在视频中的人脸修复被认为是行业的创新尝试，同时借由这次演唱会开始基于视频修复，实验室也开始会在算法基础上做一些人工算法参数的调整。
李松南介绍：“在这个研发的过程中尝试了一些技术方法，积累了一些不错的效果，成为了实验室好的经验，当然未来还有前进的空间。”
根据官方信息，腾讯云多媒体实验室是腾讯CSIG事业群旗下技术导向的实验室，工作主要有两块。一是会参与国际国内多媒体相关的标准制定；二是会把日常积累的技术，对内提供给腾讯云、腾讯PCG（腾讯平台和内容事业群）与WXG（腾讯微信事业群）、以及腾讯音乐娱乐集团等部门使用， 对外将技术输出给客户。
李松南介绍，目前市场中常见的“老片修复”一般有物理修复和数字修复两类。物理修复指的是胶片的修复，包括去除上面的杂质，对变形进行修复；而数字修复又分为全自动修复和人工修复两种。
“目前，腾讯云多媒体实验室主要集中在全自动的基于机器学习、深度学习这方面的修复，目标是希望通过比较少的人力介入，用算法自动化来减少后续人工修复的成本，提升相关效率。”李松南表示。
这一路径选择来源于腾讯云多媒体实验室面对的需求。“鉴于腾讯云多媒体实验室服务的用户视频非常海量，不可能针对每一条视频都做精细化的离线处理，所以就需要不断提升算法的自适应能力，以达到省时增效的目的。”
李松南举例，以一个2小时长的演唱会而言，传统的人工修复可能需要一两个月的时间。但从算法修复角度而言，2天就可以跑出结果。
据了解，目前老片修复的市场需求越来越大，很多电影厂、电视台都积累了大量的老视频留存，它们中有的计划重新去上映，或者需要适配到现在的4K或8K电视上。另外包括一些演艺人员，也有修复较早演唱会的需求。
李松南表示，“老片修复是一个比较长远的事情，可以一直做下去。原因在于现在观众看到的质量还不错的视频，三五年之后质量可能又不行了。同时观看设备也在升级换代中，比如以后VR显示器，沉浸式的显示器等将利用的越来越多，展现方式的更新换代又会加速老片修复技术需求的多样化。”
李松南强调，目前视频处理主要还是在2D的视频上去做修复跟增强，在分辨率和帧率上，尽量在2D的条件下去提高用户的沉浸感。“但从未来的方向来讲，可能还会往全息的方式去发展，3D也好，包括3自由度，乃至最后的6自由度，实验室在这方面是有投入的。”
不过李松南也指出，有些声音提出目前视频修复能否用在更社会化的领域，比如优化监控视频，打击违法犯罪上，“虽然目前技术上能做到人脸修复、人脸加清上，但目前在实际的安防领域还难以应用，不能从视频判断是不是那个人，毕竟是算法生成出来的，用作证据感觉不太合适。
李松南表示，目前实验室作为一个技术部门，更多的业务目标是把实验室超清沉浸感修复引擎的能力去跟更多的合作伙伴合作，在助力音视频产业发展的同时，通过技术来赋能经典文化传承。