特约撰稿 ｜约 11 万帧！经典黑白电影《雷锋》AI上色实践
作者 | 马栏山视频文创产业园首席专家 周苏岳
订阅 | 010-86092062
本文节选自9期【观潮】
今天有幸邀请到了影视数字化技术专家 周苏岳，以经典黑白电影《雷锋》的上色实践为例，介绍影视工业级黑白视频AI上色生产工艺的研究及应用。
周苏岳
现任马栏山(长沙)视频文创产业园管委会首席专家、长沙马栏山投资开发建设有限公司首席技术官，国家广电总局 5G 高新视频多场景应用重点实验室专家委员。
01
影视级黑白视频上色的工业化流程工艺
上色流程迭代优化是整个上色工艺的核心关键，主要围绕关键帧制作、上色结果评估和局部优化展开。黑白视频上色的工业化流程包括视频修复、视频上色、视频调色等环节，对于上色任务而言，其上游任务一般是视频修复，而下游任务为视频调色。
为实现视频上色，需要建立相应的数据集、训练人工智能上色模型、建立上色迭代优化流程等步骤。
视频上色流程示意图
关键帧制作
关键帧提取
视频关键帧提取是视频编辑及上色的重要组成部分，关键帧提取的质量直接影响后期黑白视频的上色结果。《雷锋》使用一种基于语义的视频关键帧提取方法。首先通过层次聚类算法对视频关键帧进行初步提取，然后结合语义相关算法对初步提取的关键帧进行特征比对，去掉冗余帧，确定视频的关键帧。
关键帧人工确认
算法挑选的关键帧解决了大部分需要人工重度参与的工作量问题，但由于数据集差异等原因依然存在部分关键帧不符合上色模型要求的情况，针对这一问题我们使用人工辅助的方式，对前述方法自动提取的关键帧做人工筛选确认。
关键帧自动上色
关键帧自动上色模型基于深度神经网络模型开发实现，模型综合考虑了特征损失，也就是生成器输出的图像和真实图像的偏差，以及判别器的损失，以生成具有较好质量的关键帧。
彩色关键帧人工精修
基于自动上色模型对参考帧图片进行上色可解决参考帧大部分像素从灰度值到彩色值的颜色输出问题，但是部分细节需要进一步通过人工优化的方式进行精修。
关键帧上色质量评估
通过独立的关键帧上色质量评估人员对上色质量进行评估。
上色结果评估
视频上色结果评价标准
调色流程的角度对黑白视频上色结果进行评估主要从如下几个方面开展 :
● 画面颜色准确性，主要判断画面是否存在颜色溢出、颜色偏差等问题。
● 镜头内色调一致性，主要判断同一镜头内画面之间的色调是否一致，特别是从观影者视角评价视频主体部分(如服装、道具等)色调是否一致。
● 画面颜色完整性，主要判断视频画面是否存在局部未着色问题，如人物面部、道具局部等部分是否存在未着色的情况。
上色结果人工评估
依据上述视频上色结果评价标准对 AI 模型的自动上色结果进行人工评判，按照评价标准对视频片段进行归类整理，主要分为三类:符合要求、部分符合、不符合。
“符合要求”的视频可进入调色流程进行处理，“部分符合”的视频进入局部优化处理流程，“不符合”的视频需分析视频上色出现问题的原因，并以此为基础重新制作关键帧，在此基础上重新进行 AI 上色。
视频上色局部优化
基于局部裁剪的视频上色优化
基于局部裁剪的视频上色优化主要解决视频画面内部分区域出现颜色错误的问题。如下图所示，将图中的人物头部区域(上部分红色框)和两人手部交汇区域(下部分红色框)单独裁剪出来，针对这部分区域制作对应的参考帧，并使用上色模型对局部区域进行重新上色。
基于局部裁剪的视频上色优化示意图
局部裁剪的视频上色可有效解决全局上色过程中由于考虑全局颜色一致性损失带来的颜色溢出和色彩失调问题。
左半部分为优化前，右半部分为优化后
局部优化结果融合
针对局部优化的视频上色结果需要逐帧将裁剪区域的新视频上色结果回填到目标上色视频中，这其中由于上色模型所用的输入参考帧不一致，容易出现回填区域与原有视频画面整体颜色出现较明显偏差的问题，因此需对回填区域采用遮罩羽化方法，将回填区域的色彩差异抹平。
02
经典黑白电影《雷锋》上色实践
去年，湖南省委宣传部、长沙市委宣传部组织马栏山视频文创产业园启动红色经典影像修复工程，红色经典影片《雷锋》是该工程首部修复的电影。2021 年 3 月 3 日上午，红色经典数字修复影片《雷锋》展示片(彩色立体声版本)在湖南文明实践志愿服务先进典型发布仪式上亮相，立刻吸引全场目光。
电影《雷锋》是 1965 年 3 月 5 日上映的经典电影，片长 77 分钟，约 11 万帧画面，受当时技术条件限制，原片为黑白摄制，画幅 4:3，单声道。修复上色后的电影《雷锋》是彩色立体声制作，于 2021 年 3 月 5 日正式提供给位于长沙望城的雷锋纪念馆永久播映。
为了能按时完成任务，马栏山视频产业园利用正在交付建设中的 5G 高新视频多场景应用公共服务云平台组织园区相关企业构建团队、搭建系统，在 3 个月内完成了《雷锋》全片的制作。
建立了端到端的数字制作生产线
建立了完整的多任务节点上色技术平台
围绕《雷锋》电影上色建立了红色经典数据集及模型
红色经典数据集及模型包括影视图片数据库、年代视频素材库、AI 上色模型等。具体来说，在影视图片数据方面，采用自动抓取加人工标注的方式，建立了 200 多个类别，包括如下图所示的搪瓷杯、红领巾、军装、宣传标语等。
在年代视频素材库方面，采用自动抓取加人工标注的方式，建立了 100 多个场景库，如白天、黑夜、室内、战争、谈判等。在上色模型方面， 针对图片与视频中不同服装、物件、环境训练了针对性的上色模型。
建立优化的上色模型及工艺
1.建立优化的上色模型及工艺
● 整体到局部的迭代优化方法
● 空间尺度上，通过筛选框定点优化局部颜色
● 时间尺度上，通过颜色传播算法优化连续帧之间的颜色效果
2.大规模视频上色生产线
● 摸索并确定了“AI+ 人工辅助”的上色技术路线
● 开发了AI自动上色模型与服务、AI迭代优化流程工具
● 建立了面向大规模视频上色生产线
可以期待不远的将来，更新迭代后的数据集、模型和算法将部署在马栏山视频产业园公共服务云平台上，为经典影视作品的现代化生产和呈现贡献新力量。
END
【推荐阅读】
| 硬核现实题材国剧新高度——联合导演王斯阳谈《扫黑风暴》幕后制作 | |
| 9秒，北影节市场放映新纪录 | |
| 《我志愿》系列短视频后期制作流程官方揭秘 | |
| 大量“特效加持”！《鸭先知》每一帧都是老上海风情 | |
| 人物专访：动画电影《许愿神龙》导演及编剧克里斯·艾伯汉斯谈创作心得 |
我知道你在看哟