RSPrompter：基于 SAM 大模型的实例分割研究
本期精彩
借助海量的训练数据（SA-1B），由 Meta AI Research 提出的分割大模型（Segment Anything Model, SAM）表现出了显著的泛化和零样本能力。然而，SAM 在很大程度上依赖于点、框和粗粒度掩膜的先验手动引导，且表现为一种 category-agnostic 的实例分割方法。此外，其在遥感图像分割任务的能力尚有待充分探讨与验证。
在本文中，我们考虑基于 SAM 基础模型为遥感图像设计一种自动实例分割方法，并融入语义类别信息。受提示学习的启发，我们提出了一种学习为 SAM 生成适当提示的方法。这使得 SAM 能够为遥感图像生成在语义上可辨识的分割结果，我们将其称为 RSPrompter。同时我们还根据 SAM 社区的最新发展，提出了几种针对实例分割任务的衍生方法，并将它们的性能与 RSPrompter 进行比较。在多个数据集上的实验结果证实了本方法的有效性，代码已开源。
分享时间
北京时间
2023 年 7 月 13 日（周四）
20: 00 - 20: 40（分享）
20: 40 - 21: 00（Q&A）
分享嘉宾
陈科研
北京航空航天大学博士生，研究方向包括深度学习，计算机视觉、遥感图像处理、多模态等。
分享内容
SAM 模型简述
基于 SAM 研究实例分割的问题与挑战
SAM 社区的一些解决方案
基于 prompt learning 的 RSPrompter
一些可能的研究方向
RSPrompter: Learning to Prompt for Remote Sensing Instance Segmentation based on Visual Foundation Model
ReadPaper:
https://readpaper.com/paper/1848810639814714880?channel=OpenMMLab
ArXiv:
https://arxiv.org/abs/2306.16269
code:
https://github.com/KyanChen/RSPrompter
MMDetection 算法库：
https://github.com/open-mmlab/mmdetection
Huggingface Demo:
https://huggingface.co/spaces/KyanChen/RSPrompter
交流群
同时为了方便大家交流沟通，我们建立了技术交流群，欢迎大家扫码加群，与大佬 1v1，赶紧加入我们吧~
往期回顾
网格占用预测（Occupancy Prediction），是指预测 3D 中每个体素的占用状态和语义类别体素空间，是自动驾驶汽车的一项重要任务。预测 3D 占用率对于开发安全、稳健的自动驾驶系统为规划堆栈提供丰富的信息。
2023 CVPR 自动驾驶挑战赛 Occupancy Prediction 赛道冠军，李志琦，分享了他们的解决方案——基于 Forward-Backward 投影和 Voxel-BEV 联合表征，提出的一种新颖的 Occupancy prediction 算法：FB-OCC。
对这个方向感兴趣的同学，可以通过回放温习一下哦~
2023-07-08
2023-07-07