论文：Semantic Soft Segmentation - SIGGRAPH2018

作者：Yagiz Aksoy, Tae-Hyun Oh, Sylvain Paris, Marc Pollefeys and Wojciech Matusik

团队：MIT CSAIL, Adobe Research

Paper - Semantic Soft Segmentation - SIGGRAPH2018

Supplementary Material - Semantic Soft Segmentation - SIGGRAPH2018

HomePage

Github - SIGGRAPH18SSS - Semantic feature generator- 特征提取源码

Github - Spectral segmentation implementation - 分割源码

YouTube - Video

语义软分割(Semantic Soft Segments)，旨在精确表示图像不同区域间的软过渡. 类似与磁力套索(magnetic lasso) 和魔术棒(magic wand) 的功能.

semantic soft segments, a set of layers that correspond to semantically meaningful regions in an image with accurate
soft transitions between different objects.

从谱分割(spectral segmentation) 角度来解决 soft segmentation 问题，提出的图结构(Graph Structure)，既考虑了图片的纹理和颜色特征，也利用了由深度神经网络生成的更高层的语义信息.
根据仔细构建的 Laplacian 矩阵的特征分解(eigendecomposition) 自动的生成 soft segments.

出发点：
[1] - 能够分割图片中的不同物体，同时精确表示出分割物体间的过渡情况.
[2] - 自动完成分割，不用手工操作.

Semantic Soft Segmentation，自动将图像分解为不同的层，以覆盖场景的物体对象，并通过软过渡(soft transitions) 来分离不同的物体对象.

相关研究方向：

  • Soft segmentation - 将图像分解为两个或多个分割，每个像素可能属于不止一个分割部分.
  • Natural image matting - 估计用于定义的前景区域中每个像素的不透明度. 一般输入是 trimap，其分别定义了不透明的前景，透明的背景以及未知透明度的区域.
  • Targeted edit propagation
  • Semantic segmentation - 语义分割

1. 技术路线

问题描述：
给定输入图片，自动生成其 soft 分割结果，即，分解为表示了场景内物体的不同层，包括物体的透明度和物体间的软过渡.
每一层的各个像素由一个透明度值alpha表示. alpha=0 表示完全不透明(fully opaque)，alpha=1 表示完全透明(fully transparent)，alpha 值在 0-1 之间，则表示部分不透明度.

输入图片的 RGB 像素可以表示为每一层中的像素值与对应的 alpha 值的加权和.

1.1. 低层特征构建 - Nonlocal ColorAffinity

构建低层次的仿射关系项，以表示基于颜色的像素间较大范围的关联性特征.

主要构建过程：
[1] - 采用 SLIC 生成 2500 个超像素;
[2] - 估计每个超像素和对应于图像 20% 尺寸半径内所有超像素的仿射关系.

1.2. 高层特征构建 - High-Level Semantic Affinity

虽然 nonlocal color affinity 添加了像素间大范围间的相互作用关系，但仍是低层特征.
这里构建高层语义仿射关系项，以使得属于同一场景物体的像素尽可能的接近，不同场景物体的像素间的关系远离.

1.3. 图像层创建 - Creating the Layers

通过对 Laplacian 矩阵进行特征分解，提取特征向量，并对特征向量进行两步稀疏处理，来创建图像层.

[1] - 构建 Laplacian 矩阵
[2] - 受约束的稀疏化(Constrained sparsification)
[3] - 松弛的稀疏化(Relaxed sparsification)

1.4. 语义特征向量 - Semantic Feature Vectors

在高层特征构建时，相同物体的像素的特征向量相似，不同物体的像素的特征向量不同.
特征向量是采用语义分割的深度网络模型训练和生成的.

这里采用了 DeepLab-ResNet-101 作为特征提取器，但网络训练是采用的是度量学习方法，最大化不同物体的特征间的 L2 距离(稍微修改了 N-Pair loss).

在 COCO-Stuff 数据集上进行语义分割网络的训练.
采用 guided filter 将网络生成的 feature map 与图像进行边缘对齐.
然后采用 PCA 降低 feature map 维度到 3.
最后，归一化特征向量值到 [0, 1].

2. 分析实验

在 MATLAB 环境，640x480 的图片处理耗时约为 3 分钟.

Semantic Soft Segmentation 是 semantic segmentation, neural image matting 和 soft segmentation 的交叉.

2.1. Spectral Matting and Semantic Segmentation

2.2. Natural Image Matting

2.3. Soft Color Segmentation

2.4. Using Semantic Soft Segments for Image Editing

2.5. Limitations

Last modification：March 4th, 2021 at 04:30 pm
© 允许规范转载