抠图美不美，模糊加鸡腿

抠图技术起源于数字图像合成，是一种通过估计前景不透明度遮罩来提取前景的图像处理技术，在航天航空、影视特效、虚拟现实等领域有着重要的应用。然而，精确抠图却是一个困扰每一位用图之人的难题，特别是针对一些图像特有的复杂特征，如毛发、透明物体等进行的抠图作业中，不精确的抠图常常导致合成之后的图像有着强烈的不真实感，显得十分生硬。

图1 “孤芳不自赏，中国，2017”

目前，抠图技术在多个领域扮演着越来越重要的角色，为了实现精确抠图，研究人员不停地尝试着新的思路。往期推文《精确捕捉半透明的视觉效果——基于像素级多目标优化的采样算法》[2]介绍了一种基于像素级多目标优化的采样算法，该方法基于颜色相近和空间距离相近等评估准则，通过求解帕累托最优解的方式进行采样，从而缓解了最优像素对丢失的程度。对于前景区域中存在半透明物体的情况，基于像素级多目标优化的采样算法依然拥有不错的抠图效果。但这类基于采样的抠图算法都会缩减搜索空间，所以会不可避免地出现最优像素对缺失问题。一般来说，足够大的搜索空间能够保证最优像素对不被落下，如果能够进行全局搜索，那么一定能有更加完美的抠图效果。

在上述的基于采样的抠图算法中，对于每一个未知区域的像素，都需要从前景与背景区域分别选择一个像素组成最优的像素对，如何评估一组像素对的质量也是抠图问题的关键。像素对的好坏往往需要考虑多个评估准则，一般有空间距离相近准则和低颜色失真准则等，如图2、图3所示。

图2 低颜色失真准则

图3 空间距离相近准则

因此，像素对评估的多个准则可以被视为多个目标，于是抠图问题的像素对优化可以建模为一个多目标优化问题。一般情况下，多目标优化问题的求解难度高于单目标优化问题，如果将抠图问题直接建模为多目标优化问题，并且在更大的搜索空间中进行多目标问题的求解，那更是难上加难。

此外，多目标优化问题求解的是帕累托最优解集，而不是一个最优解。如果抠图问题的像素对优化直接被建模为多目标优化问题，那么针对每一个未知区域的像素点，都会有多个“最优”像素对，最终每一个未知区域的像素点都会有多个透明度遮罩。可以想象，如果在特效镜头的制作中直接使用多目标优化模型进行抠图，那么最终一定会得到多组特效镜头，难以做出选择。

针对上述问题，智能算法实验室在多目标优化模型的基础上，提出了基于模糊多准则评估与分解的多目标协同优化抠图算法[1]。该算法的基本思路是利用进化多目标优化得出非劣前沿，然后通过模糊多准则评估选出最适合目标图像的抠图方案。如图4所示，下面将详细地介绍该方法。

图4 改进算法的基本步骤

基于模糊多准则评估与分解的多目标协同优化算法主要包括像素对优化与像素对评估两个方面：针对像素对优化，论文[1]使用了基于分解的多目标协同优化抠图算法，利用图像的空间特性，进行高质量的像素对优化；针对像素对评估，使用了基于模糊数学的模糊多准则评估，以此提高像素对评估的准确性。图像中相邻像素点之间的颜色差异较小，在像素对优化过程中，利用这个特性能够简化计算，并且得到精准的结果。所提算法的像素对优化策略如下：首先对未知区域进行邻域分组，然后均匀地选出部分未知像素，使用多目标优化算法计算出这些像素点的帕累托最优解集，而后进行组内传播协同优化，具体过程如图5所示。

图5 基于分解的多目标协同优化算法

像素对被优化之后，每一个未知区域的像素都会得到一组帕累托最优像素对，接下来需要在这些优秀的像素对中再挑选出一个最优秀的像素对。

之前研究人员提出了多准则线性加权与多准则简单的非线性组合等方法，此类方法的前提是最优像素对能够同时满足所有准则。但是在抠图问题中，像素对的多个评估准则有时无法同时满足，比如存在孔洞的时候，低颜色失真与空间距离相近准则就无法同时满足。如图6所示，孔洞中的未知区域像素的最优背景可能在距离较远的背景像素中，无法满足空间距离相近准则。

图6 具有孔洞的图像

因此，论文[1]提出了基于模糊数学的像素对评估准则，将多个评估准则的隶属度函数合成为一个模糊多准则的像素对评估函数，如图7所示。

图7 模糊多准则评估

模糊数学能够有效地处理多输入系统的不确定性，采用模糊数学能够准确处理多准则之间的冲突。即使图像中存在孔洞或者其他复杂特征，造成部分评估准则无法满足，模糊多准则评估模型也能够“容忍”准则的冲突，对像素对进行准确评估，找出最优秀的像素对。因此“模糊多准则评估”的名字虽然听起来很奇怪，但事实上，“模糊多准则评估”一点都不马虎。

为了检验论文[1]所提算法的性能，实验室使用Christoph Rhemann等人提出的图像抠图基准数据集[3]中的图像及三分图作为实验数据，分别通过四组实验来验证所提算法的有效性。

实验一讨论了不同多目标优化算法对所提算法性能的影响。实验结果如表一、表二所示，其中粗体表示算法中性能最好的结果。由实验结果可知，多目标优化算法的选择对提出算法性能影响并不显著，使用基于分解的多目标演化算法（MOEA/D）时[4]，大部分图像的性能领先，因此将MOEA/D作为所提算法在像素对优化过程中的多目标优化算子。

表一 所提算法采用不同多目标优化算子在未知区域较大的三分图的均方误差结果

表二 所提算法采用不同多目标优化算子在未知区域较小的三分图的均方误差结果

实验二旨在验证所提像素对评估方法的有效性，即模糊多准则评估方法在多个评估标准满足程度不确定的情况下，能否准确地评估像素对。实验将提出的模糊多准则评估方法与流行的评估方法进行了对比，实验结果如图8所示，说明了模糊多准则评估有效地解决了多个评估准则满足程度不确定的问题，是一种优质的像素对评估方法。

图8 使用不同评估方法选择最优前景背景像素对的效果

实验三旨在验证基于模糊多准则评估与分解的多目标协同优化抠图算法的性能。实验采用了三个先进的抠图算法作为性能基准：基于KL散度采样的抠图算法、基于全面采样的抠图算法、基于颜色与纹理特征加权的抠图算法。实验结果如表三所示，绝大多数图像中，使用所提算法得到的透明度遮罩均方误差均小于其他算法所得到的透明度遮罩均方误差，验证了所提抠图算法可以有效地提供高质量的抠图透明度遮罩，不同算法所获得的抠图透明度遮罩如图9所示。

表三 所提算法及现有抠图算法在基准数据集的抠图透明度遮罩的均方误差

图9 基于不同算法所获得的抠图透明度遮罩的对比结果

如今，数字图像合成与抠图技术的应用涉及到越来越多的领域，影响着日常生活的方方面面。以影视行业为例，随着图像合成等技术的发展，现今的特效技术越来越发达，特效效果越来越逼真。

图10 “日出，美国，1927”，首次运用动态遮罩技术，实现了与现今抠图技术类似的特效效果，在当时看来已经相当惊艳

图11 “阿甘正传，美国，1995”，运用抠图与数字图像合成技术，肯尼迪与汤姆汉克斯毫无违和感地出现在同一镜头

图12 “黑客帝国，美国/澳大利亚，1999”，运用绿幕技术完成的特效镜头

然而，如果没有精确的抠图技术，我们看到的电视剧特效画面会显得十分违和。

图13 “孤芳不自赏，中国，2017”

不精确的抠图往往会带来惨不忍睹的视觉灾难，研究人员为了解决精确抠图的难题，不停地开拓新的思路。相较于流行的抠图算法，论文[1]提出的基于模糊多准则评估与分解的多目标协同优化抠图算法拥有更高的精确性，能够实现精确抠图。然而，所提算法目前难以处理时效性较高的任务。今后的研究工作将在该算法的基础之上，保证精度的同时提高算法效率，快速地抠出美哒哒的图。

针对抠图问题，智能算法实验室团队近几年重点关注抠图算法的设计及其在工程领域的应用研究，相关成果不仅发表在国际顶级期刊IEEE Transactions on Image Processing、IEEE Transactions on Fuzzy Systems上，相关应用问题（红外行人分类）的研究成果还发表在Applied Soft Computing上[5]。所取得的系列研究成果得到图像领域研究人员的共同关注和认可。

目前，实验室还在高清抠图问题上开展了进一步的研究。针对高清图像前景遮罩提取过程中存在的问题维度过高难以直接求解、前景遮罩提取精度低等问题, 提出了基于分组协同的群体竞争优化算法[6]。通过设计基于RGB 聚类的多类协同优化策略和协同目标反馈的分组优化策略，该算法采用降维的方式提高了高清图像前景遮罩的提取精度。

参考文献

[1] Yihui Liang, Han Huang, Zhaoquan Cai, and Zhifeng Hao. Multiobjective Evolutionary Optimization Based on Fuzzy Multicriteria Evaluation and Decomposition for Image Matting. IEEE Transactions on Fuzzy Systems, 2019, 27(5): 1100-1111.

[2] Han Huang, Yihui Liang, Xiaowei Yang, and Zhifeng Hao. Pixel-level Discrete Multiobjective Sampling for Alpha Matting. IEEE Transactions on Image Processing, 2019, 27(8): 3739-3751.

[3] Christoph Rhemann, Carsten Rother, Jue Wang, and Margrit Gelautz. A perceptually motivated online benchmark for image matting[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. IEEE, 2009: 1826-1833.

[4] Qingfu Zhang, and Hui Li. MOEA/D: A multiobjective evolutionary algorithm based on decomposition. IEEE Transactions on evolutionary computation, 2008, 11(6) : 712-731.

[5] Yihui Liang, Han Huang, Zhaoquan Cai, Zhifeng Hao, and Kay Chen Tan. Deep infrared pedestrian classification based on automatic image matting. Applied Soft Computing, 2019, 77: 484-496.

[6] 冯夫健,黄翰,吴秋霞,凌霄,梁椅辉,蔡昭权.基于群体协同优化的高清图像前景遮罩提取算法.中国科学:信息科学, 2020, 50(3): 424-437.

研究团队介绍

智能算法实验室（原智能算法与智能软件实验室，2018年更名）依托华南理工大学软件学院而建，坐落于国家级人才培养模式创新实验区内。实验室主要承担国内外重要智能算法类的研究课题，根据国内外企业、科研与教育机构等单位在智能信息处理方面的需求，以算法与软件工具包的形式，解决相关技术难点问题，并从中培养国际化算法研究型人才与算法工程化人才。

实验室必修课

实验室精神

-END-

总编：黄翰

图片：梁椅辉

文字：‍梁椅辉、许珉裴、冯夫健

校稿：冯夫健、黄子洛

时间：2020年03月27日

想了解更多智能算法最新研究进展、学术活动与经验交流等

长按二维码关注我们吧

如果有需要咨询的地方

可以联系我们实验室的负责人

实验室负责人：黄翰教授

联系邮箱：[e-mail]