金山云魔镜平台:高清画质主观评测迎来新“视”界
1
洞察行业痛点 金山云魔镜平台应运而生
“金山云从事视频编码方向的研究已经有超过5年的时间。编码器常规度量失真的方式是PSNR或者SSIM,然而我们发现这两种指标在MOS分数下的SROCC很难超过0.6。除此之外,在一些图像处理诸如超分、去噪等算法应用时,这一问题更加严重。”蔡媛介绍道,“为了更好地打磨算法,我们决定每次测试都采用人工评测的方式,因此质量评测团队、算法团队、前端团队联合设计开发了内部版的评测平台。经过一次次高强度、高频率的评测,我们发现并解决了以下这些主观评测过程中的难题:比如什么样的视频用来评测更具代表性?哪些评测维度是有必要考量的?不同分辨率的视频应该在什么样的场景下进行评测?为了帮助更多客户解决主观评测中的类似难题,金山云魔镜平台应运而生。”
通过高效的主观画质验证,金山云魔镜平台能够帮助企业:实现算法原型短期快速验证;算法长期迭代并提供可度量的画质指标;帮助AI保障泛化性,以满足商业化落地需求。
2
三种评测模式 建立“感知愉悦度”评价体系
金山云魔镜平台能兼容H.264、H.265、AV1编码标准的视频播放。通过模拟实际的观看体验,金山云魔镜真正对“感知愉悦度”进行评测,并深度解析算法对主观画质的影响,克服AB-test的局限性,不仅能得到“好不好”,而且能知道“好在哪”、“为何好”。
“在视频筛选方面,传统基于内容的筛选策略存在较大缺陷,因为单一的内容场景也可以细分出不同维度的场景,更重要的是,诸如亮度、噪声等维度是连续值而非离散值,因此手动筛选是不可能的。为此,金山云魔镜平台首先会对海量视频数据进行过滤,其次会使用均衡算法,如特征均衡、质量均衡、内容均衡,对过滤后的数据综合考量筛选。经过筛选后,分布极度不均的原始数据集各维度分布更加均匀。”蔡媛表示。
蔡媛接着讲到,数据筛选后,金山云魔镜平台会进行场景分析,并根据具体场景提供三种评测模式:专家模式(全参考模式)、用户模式(无参考模式)和细粒度模式(OAA模式)。“评测维度分为整体维度和局部维度,我们给评测员呈现的不是笼统的分数制,而是具体的描述,如难以忍受、令人愉悦等。此外,我们还会根据各维度打分对整体评分的影响,以及维度之间的相关性,进行相关的实验论证。不仅如此,金山云魔镜平台在如何将结果进行映射方面也有专业的考量,因为我们发现使用数据映射算法能有效提升两批不同时期标注数据共同训练的精度。”蔡媛表示。
据悉,金山云魔镜平台以在线平台的方式提供图像/视频评测服务,无需下载。除了平台本身提供完整的画质评测流程,金山云魔镜平台还能帮助企业提供全流程画质评测解决方案,包括根据企业使用场景及样本类型筛选评测数据,定制评测维度,提供评测人数建议以及评测报告分析,并提供客观评价指标的自动计算。
3
连接产学界 助推视频质量行业标准建设
为了保证专业性,在魔镜平台打造过程中,金山云与业内专家和机构进行了合作,平台支持的三种评测模式就是双方共同推出的。在评测精度方面,金山云魔镜平台通过教学试题、埋点监控、数据分析等手段,确保评测员的专业性以及结果的准确性。
“高清的研究过程必须有明确可量化的质量目标,支持高清路线迭代前进,否则容易变成南辕北辙,缺乏明确的目标。”蔡媛表示,“下一阶段,我们希望以金山云魔镜平台抛砖引玉,寻求更多合作,打造完善画质评价体系,包括建立符合国人审美、适合不同终端的评价体系;连接学术界,更精准地传递工业界需求,推动技术发展;明确可度量的评测分数,促进高清技术进步,推动视频质量的行业标准。”
我们希望金山云魔镜平台
不仅能推动整个视频行业进步
而且能为用户提供更加多元化和全方位的服务