计算专题 | 高效的图像和视频去摩尔纹算法（IEEE ECCV & CVPR）

高效的图像和视频去摩尔纹算法

Towards Efficient Image and Video Demoireing

本期导读

随着移动设备的大众化，人们经常会使用手机拍摄的方式来快速记录信息。然而, 当尝试用手机对数字屏幕上显示的内容进行拍摄时，会观察到图像中混有一些彩色条纹（如图1所示），严重的影响视觉质量。这种条纹被称之为摩尔纹(Moire Pattern)，由屏幕像素网格和相机拜耳阵列 (Bayer Pattern) 混叠所产生。摩尔纹的形状和尺度多变，且扩展在频域中的多个频段，如何有效去除摩尔纹（Demoire）一直是底层视觉中相当具有挑战性的任务。针对以上问题，来自香港大学和TCL的研究人员利用深度学习建立了高效且尺度稳健的去摩尔纹算法。具体而言，该算法注意到摩尔纹尺度多变是核心问题，从而摒弃了以往去摩尔纹算法中复杂的模块设计，引入了一种语义信息对齐的多尺度特征提取模块，并利用感知损失来处理摩尔纹图像的结构性退化问题。最终的算法能够实时高效地处理4k摩尔纹图像。除此之外，该研究提出了一种视频去摩尔纹方案，并针对摩尔纹视频提出了一种基于帧间关系的时序一致性损失函数（Relation-based Temporal Consistency Loss), 以改进视频处理算法中常见的时序不稳定性问题。这两个工作近期以论文形式分别发表于计算机视觉顶会IEEE ECCV2022和CVPR2022。
图1 屏摄图片产生的摩尔纹

技术路线

对于图像去摩尔纹，该研究首先注意到以往的算法都仅仅针对于合成数据集或者低分辨率数据集，而现今大多移动设备都能达到4k的拍照分辨率。为了算法能够有效处理真实世界的摩尔纹图像，研究人员建立了第一个真实世界4K分辨率的摩尔纹图像数据集，用于网络的训练和方法的评估。基于此数据集，开发出了ESDNet (Efficient and Scale-robust Demoireing Network)，如图2（上）所示。其关键模块是一个即插即用的语义对齐尺度自适应模块 (SAM)，如图2（下）所示。此模块能够在网络各个语义层提取多尺度的信息，并针对输入图像特点动态自适应的学习信息融合权重，增加了算法对于摩尔纹尺度的稳健型。其轻量化结构也减轻了计算量的要求，更好地适应高分辨率图像的处理。

图2. ESDNet整体框架图及核心模块SAM框架图

    进一步地，该研究利用预训练的VGG16网络构建了感知损失函数，加强了网络训练时对结构信息的优化。实验结果见所附视频1，该算法非常有效地处理了4k图像中的摩尔纹，且从整体上增强了图片色调，提升观感质量。

进一步地，研究人员对摩尔纹在手持拍摄视频时的表现进行了观测。如图3所示，相邻视频帧之间摩尔纹的位置相对稳定，但摩尔纹属性如颜色等会发生较大变化；且存在一些由于相机失焦而获得的无摩尔纹图像。

图3. 手持相机拍摄视频时摩尔纹的性状

如何利用时序上的信息来辅助更好地对摩尔纹进行定位以及去除，该研究提出了如图4的方案，主要由三个部分构成：多视频帧对齐（PCD），多帧信息整合（PFA），以及摩尔纹去除（Demoire）。当输入一段摩尔纹视频中邻近几帧图像时，多帧对齐首先利用可变形卷积神经网络来消除由于相机以及物体移动带来的影响，然后搭配一个自适应的动态混合权重来进行多帧信息的整合，并最终通过去摩尔纹模块来恢复干净的视频图像。

图6. 视频去摩尔纹算法流程图

不同于单张图像的去摩尔纹算法，视频去摩尔纹额外要求时序上的稳定性，即内容一致性以及更小的亮度闪烁。不同于传统的基于光流的时序稳定性算法（受光流质量影响），该研究提出基于变化关系的时序稳定性算法，如图5所示：该方法约束网络恢复出的视频和参考视频之间拥有一致的时序变化关系；利用相邻帧之间的像素值差异作为一种时序变化关系。相较于基于光流的算法，其不需要额外的预训练网络来预测光流，且考虑视频中光强的自然变化。实验结果见所附视频2，该算法不仅有效地处理了每一帧的摩尔纹，且保持了时序上的稳定性。

图5. 基于帧间变化关系的时序稳定性算法示意

论文信息：

• Towards Efficient and Scale-Robust Ultra-High-Definition Image Demoireing. X Yu, P Dai, W Li, L Ma, J Shen, J Li, and X Qi. European Conference on Computer Vision (ECCV), 2022

• Video Demoireing with Relation-Based Temporal Consistency. P. Dai, X Yu, L Ma, B Zhang, J Li, W Li, J Shen, X Qi. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2022

技术详见：

https://daipengwa.github.io/VDmoire_ProjectPage/

https://github.com/CVMI-Lab/UHDM

*该技术分享所涉及文字及图片源于发表论文和网络公开素材,不做任何商业用途。

回顾与预告

上期回顾：计算专题 | 多重对齐的神经网络改善视频去噪（IEEE ICIP）欢迎点击查阅

下期预告：我们将不定期推荐学术领域具有代表性的计算显示和计算成像研究工作，同时穿插一些新型光学设计和VR/AR光机实现科普等的资讯分享，欢迎订阅关注，欢迎来稿交流。
Contact: [e-mail]
INTELLIGENTOPTICSSHARING (I.O.S.) 运营以该领域的研究学者为主，非盈利非广告，希望能够结交共同兴趣方向的读者们，建立光学和计算机交叉学科领域内一个资讯分享交流的平台。如果喜欢，请点击“在看”和“点赞”，将有助于微信公众号平台对信息的定向统计和及时推送，小编团队在此不胜感激，谢谢！！


END