【源头活水】小样本分割中的密集高斯过程

“问渠那得清如许，为有源头活水来”，通过前沿领域知识的学习，从其他研究领域得到启发，对研究问题的本质有更清晰的认识和理解，是自我提高的不竭源泉。为此，我们特别精选论文阅读笔记，开辟“源头活水”专栏，帮助你广泛而深入的阅读科研文献，敬请关注。

来源：知乎—煎饼果子不要果子

地址：https://zhuanlan.zhihu.com/p/440798984

01

主要思路和创新点

这篇文章对小样本分割任务进行了高斯过程，通过对已知支持集的分析来预测新类别图片的分割图，和之前学习特征相似度等思路会有一定差别，但其实高斯过程也是使用支持集的先验来拟合到查询图片上。

首先看一下结构图，上面分支就是对支持集图片和分割图的分析。采用两个不同的网络分别对图片和分割图进行编码，同时查询图的图片也会通过同样的图片编码器得到特征。之后根据已知的三个特征来进行高斯过程，预测出查询图分割的均值和方差。这两个值与浅层的查询图片特征图一起输入最后的解码器，来进行最后的分割预测。

如果用 S 表示支持集，Q 表示查询图，那么高斯过程可以被表达为：

y 就是经过编码的分割特征图

为了简化，作者直接将均值取为 0，之后，方差可以通过一个核函数来计算，本文选取了平方指数（SE: Squared Exponential）：

于是    的分布就能被计算出来：

 是一个高斯噪声方差，这部分可以参考一下伪代码，写的很清楚：

值得一提的是预测的方差大小为 B*Q*Q，Q 就是 H*W，即特征自身与自身的协方差值。文章提出，为了保留更多局部关联信息，输进最后解码器的还要有一个提取的局部协方差，即每个点周围 N*N，这部分就是：

最后输进解码器的输入为预测均值、全局方差（但实际代码中好像没有）、局部方差和浅层的特征图：

另外一个优化在于，这个模型不仅仅针对最后一层特征图进行预测，还会保留前几层一些分辨率较高的特征图也会输入网络进行预测，之后再将最后解码器的输出连接起来做一个最终共同预测。

02

实验结果和可视化

在 PASCAL-5 和 COCO-20 数据集上的实验结果

不同核函数的实验对比

局部区域方差大小的实验结果

在 COCO-20 数据集上 1-shot 实验结果

模型具体参数

03

论文信息

Dense Gaussian Process for Few-Shot Segmentation

https://arxiv.org/pdf/2110.03674.pdf

本文目的在于学术交流，并不代表本公众号赞同其观点或对其内容真实性负责，版权归原作者所有，如有侵权请告知删除。

“源头活水”历史文章

更多源头活水专栏文章，

请点击文章底部“阅读原文”查看

分享、在看，给个三连击呗！