超清修复重燃港乐经典,随Beyond重回1991
7月3日,超清修复版Beyond演唱会精选在抖音、西瓜视频、鲜时光TV、今日头条同步直播,超1.4亿人次收看。在这场横跨了31年的视听盛宴背后,有着火山引擎视频云多媒体实验室和音频技术团队的不懈努力,共同帮助Beyond风采重现。
90年代的华语乐坛,有着太多的经典。这些经典作品用三十年前的技术录制,一直保存到现在,已成为一代人的回忆。然而,老旧影像所存在的画质模糊、褪色,音质收录不清、杂音重等问题,也让用户体验受到影响,那么这些问题该如何解决呢?
画质修复
早期演唱会影像主要有三点问题:画面模糊不清、色彩亮度舞台氛围感较差、人像面部不够精细。
画面问题主要受限于早期设备、制作、压缩、传输等水准。比如,早期的录影设备解析度差,其拍摄的画面分辨率较低并且清晰度差,存在画面模糊、纹理缺失等问题;在压缩存储上,早期影片在处理、编码、显示时会带来交错条纹的瑕疵问题,对画面的美观性和完整性都有较大影响。
色彩问题也大多来自于设备,影片在拍摄时存在大量的过曝、死黑场景以及较重的底噪。在亮度调节过程中,如何避免底噪被放大?如何降低过曝造成的不适?这些都会成为修复的难点。
人像问题是大家普遍关注的重点。演唱会中观众注意的重点是歌手的面部,普通的画质修复算法对人脸处理不够精细,需要利用先验特性对人脸进行精细化修复,不同大小、不同姿态人脸修复难度也不尽相同。
因此,想要打造一场画质清晰、色彩鲜明、人物立体的演唱会,就必须要在处理成因复杂的退化的同时恢复尽可能多的细节;在调色时恢复老旧影像的色彩并同时保留老旧影像的复古感;在不同大小、姿态的人像修复时,需要让其和背景不会造成明显差异。火山引擎多媒体实验室打造的画质修复算法可以很好地解决以上三大难题。
首先,清晰度增强和瑕疵修复算法,能够去除成因复杂的低质退化的同时增强纹理信息,大幅提升影片清晰度和观影体验。火山引擎的深度学习算法经过了大量数据训练,可以将视频的分辨率档位从低清处理至超高清,同时在缺少纹理的区域生成更丰富的细节;在瑕疵消除上,该算法利用了基于运动补偿的深度学习多帧去交错算法,优化隔行扫描格式视频容易存在的拉丝和横纹情况,特点是通过网络提取运动信息来对齐运动场景的交错内容;此外针对拍摄、压缩等导致的噪声均进行了专门的模块设计,结合了传统信号处理的鲁棒性优势与深度学习的性能优势。
其次,基于美学评分的自适应分区域色彩亮度增强算法,能够针对具体片源效果,依据美学评分,在色彩、亮度、对比度、饱和度、人像ROI和背景区域分别增强,并根据不同帧的色彩统计信息进行自适应亮度增强,使亮区与暗区都能得到最好的表现效果。
最后,自适应人像增强能够针对演唱会因噪声和压缩导致过于模糊的低质量人脸,进行高清五官重建。并对不同大小、姿态及遮挡程度的人脸提供较好的修复增强效果。
音质修复
一场演唱会修复的好坏,其评价标准不仅包括画质,还有音质。高清的音质会使得整个作品的完整度和精致度大幅提升。但是,受限于演唱会当时的拾音设备、录制硬件及存储压缩水平,各种音质问题将在所难免。
比如在当年的演唱会录音中,有明显的杂音感,加上环境中嘈杂的声音,作品会有许多噪声;在录制设备问题之外,过往较差的存储压缩等情景也会对声音带宽(包括歌声与音乐)造成损伤;老旧的演唱会中,唱歌的声音有时候相对乐器声和环境音过小,这也是修复时需要处理的主要工作之一。
经过对以上问题的分析后,火山引擎利用AI音质修复算法的降噪模块、超分模块及响度模块,修复声音上的瑕疵。
降噪模块能够将演唱会中的噪声去除。降噪算法与传统的降噪方案不同,传统降噪方案主要针对人声,音乐在被降噪算法处理后会有损伤,而火山引擎降噪算法能针对音乐场景和人声场景实现兼容的AI降噪,可以在保留人说话、唱歌、音乐的同时,抑制其他的噪声。
超分模块对演唱会中的音频进行了频带拓展,丰富并加强了高频信息提升音质,使得听感上声音变得更加明亮;而且在处理过程中也不会引入失真等问题。
响度模块能够单独提取出唱歌部分,对唱歌部分响度进行调整再混合,使得整体人声大小范围更加舒适,为观众带来更优的音质体验。
通过火山引擎超清修复技术的音频技术和智能处理 ,这场横跨了31年的演唱会终于以更高清的面貌回到了大众视野。我们喜欢的不仅仅是“那双眼动人,笑声更迷人”,也是不断升级的技术带给我们的更多经典影像。
点击阅读原文,获取同款技术。