SIGGRAPH2018黑科技：开源语义软分割改进图像编辑

语义软分割(Semantic Soft Segments)，旨在精确表示图像不同区域间的软过渡. 类似于磁力套索(magnetic lasso) 和魔术棒(magic wand) 的功能.

普通语义分割将每个像素分配到一个类，语义软分割中则每个像素有可能分配到多个类，且目标之间的过渡区域平滑，这对于图像编辑是非常重要的。以往这需要专业的PS人员处理，而本文通过扩展传统的语义分割，将这个过程实现自动化。

作者已经将代码开源。

先来看段视频，你就知道这是释放了AI魔法对生产力的又一次解放^_^

https://v.qq.com/txp/iframe/player.html?vid=o0743uhe34l&width=500&height=375&auto=0

(欢迎关注“我爱计算机视觉”公众号，一个有价值有深度的公众号~)

本文来自即将召开的SIGGRAPH2018的论文《Semantic Soft Segments》。

semantic soft segments, a set of layers that correspond to semantically meaningful regions in an image with accurate
soft transitions between different objects.

从谱分割(spectral segmentation) 角度来解决 soft segmentation 问题，提出的图结构(Graph Structure)，既考虑了图片的纹理和颜色特征，也利用了由深度神经网络生成的更高层的语义信息.
根据仔细构建的 Laplacian 矩阵的特征分解(eigendecomposition) 自动的生成 soft segments.

出发点：
[1] – 能够分割图片中的不同物体，同时精确表示出分割物体间的过渡情况.
[2] – 自动完成分割，不用手工操作.

Semantic Soft Segmentation，自动将图像分解为不同的层，以覆盖场景的物体对象，并通过软过渡(soft transitions) 来分离不同的物体对象.

相关研究方向：

• Soft segmentation – 将图像分解为两个或多个分割，每个像素可能属于不止一个分割部分.

• Natural image matting – 估计用于定义的前景区域中每个像素的不透明度. 一般输入是 trimap，其分别定义了不透明的前景，透明的背景以及未知透明度的区域.

• Targeted edit propagation

• Semantic segmentation – 语义分割

技术路线

问题描述：
给定输入图片，自动生成其 soft 分割结果，即，分解为表示了场景内物体的不同层，包括物体的透明度和物体间的软过渡.
每一层的各个像素由一个透明度值alpha表示. alpha=0 表示完全不透明(fully opaque)，alpha=1 表示完全透明(fully transparent)，alpha 值在 0-1 之间，则表示部分不透明度.

输入图片的 RGB 像素可以表示为每一层中的像素值与对应的 alpha 值的加权和.

1. 低层特征构建 – Nonlocal ColorAffinity

构建低层次的仿射关系项，以表示基于颜色的像素间较大范围的关联性特征.

主要构建过程：
[1] – 采用 SLIC 生成 2500 个超像素;
[2] – 估计每个超像素和对应于图像 20% 尺寸半径内所有超像素的仿射关系.

2. 高层特征构建 – High-Level Semantic Affinity

虽然 nonlocal color affinity 添加了像素间大范围间的相互作用关系，但仍是低层特征.
这里构建高层语义仿射关系项，以使得属于同一场景物体的像素尽可能的接近，不同场景物体的像素间的关系远离.

3. 图像层创建 – Creating the Layers

通过对 Laplacian 矩阵进行特征分解，提取特征向量，并对特征向量进行两步稀疏处理，来创建图像层.

[1] – 构建 Laplacian 矩阵
[2] – 受约束的稀疏化(Constrained sparsification)
[3] – 松弛的稀疏化(Relaxed sparsification)

4. 语义特征向量 – Semantic Feature Vectors

在高层特征构建时，相同物体的像素的特征向量相似，不同物体的像素的特征向量不同.
特征向量是采用语义分割的深度网络模型训练和生成的.

这里采用了 DeepLab-ResNet-101 作为特征提取器，但网络训练是采用的是度量学习方法，最大化不同物体的特征间的 L2 距离(稍微修改了 N-Pair loss).

在 COCO-Stuff 数据集上进行语义分割网络的训练.
采用 guided filter 将网络生成的 feature map 与图像进行边缘对齐.
然后采用 PCA 降低 feature map 维度到 3.
最后，归一化特征向量值到 [0, 1].

分析实验

在 MATLAB 环境，640×480 的图片处理耗时约为 3 分钟.

Semantic Soft Segmentation 是 semantic segmentation, neural image matting 和 soft segmentation 的交叉.

1. Spectral Matting and Semantic Segmentation

2. Natural Image Matting

3. Soft Color Segmentation

4. Using Semantic Soft Segments for Image Editing

5. Limitations

包含代码的工程主页：

http://people.inf.ethz.ch/aksoyy/sss/

本文来自：

https://www.aiuai.cn/aifarm366.html

点击阅读原文可以在www.52cv.net查看本文。

喜欢这个公众号，转发就是一种支持。

更多精彩推荐：