颠覆性创新：多模态对话与精准区域分割

【社区开放麦】开播啦！！！技术下饭番追起来，每周一个新芝士。欢迎广大社区同学加入直播间参与讨论的同时，也非常鼓励社区同学拿起话筒登上舞台，社区知识开放麦等你来玩~

本期精彩

多模态大模型 (LMM) 能够同时处理多种类型的数据，如图像、文本、音频等，因此在自然语言处理、计算机视觉、语音识别等众多应用领域具有广泛的应用前景。然而，如何降低 LMM 构建的成本成为了一个热门研究话题。

为了解决这个问题，基于迁移学习的多模态大模型构建方法 VPGTrans 应运而生。VPGTrans 方法的主要思想是通过将预训练的视觉模型（如 ViT）和文本模型（如 GPT）进行迁移学习，以实现高效的 LMM 构建。具体而言，VPGTrans 借助迁移学习的方式，可以将类 BLIP-2 的 LMM 训练开销缩减到正常训练的10%（如从 2587 美元到 242 美元)，且在多个任务上（如VQAv2，GQA）实现模型效果不降反升。此外，我们也会简单介绍在 LMM 组合区域分割方面的一些新尝试。

在本期社区开放麦中，我们特别邀请到新加坡国立大学 NExT++ 实验室博士张傲带来《颠覆性创新：多模态对话与精准区域分割》分享，详细解读 VPGTrans 方法。

分享内容

• VPGTrans：10% 成本的高效多模态对话模型构建

• NExT-Chat 模型：基于嵌入的多模态对话+检测+分割

• 区域解读，下一代 LMM 功能展望

分享时间

北京时间

2023 年 12 月 7 日（周四）

20: 00 - 20: 40（分享）

20: 40 - 21: 00（Q&A）

分享嘉宾

张傲

新加坡国立大学 NExT++ 实验室博士，研究方向包括多模态大语言模型，多模态提示学习，场景理解等。

内容详情

由于大语言模型的火爆，多模态大模型（LMM）也逐渐成为一个重要的研究方向。通过借助已有大语言模型的力量，LMM 在多模态理解任务中展示出丰富的知识，非凡的推理规划能力。但 LMM 的构建往往需要巨大的开销 (GPU 资源和大量数据)。于是我们提出了 VPGTrans 方法，可以通过迁移学习的方法实现高效的 LMM 构建。通过我们的方法，我们可以在模型性能不降甚至提升的情况下，实现训练开销的缩减（如从 2587 美元到 242 美元)：

VPGTrans 方法具体包括两个阶段：

• 在第一阶段，我们主要进行 projector 的初始化和热身训练。具体一点，我们通过训练一个词向量转换器来作为projector 的初始化，并采用 5 倍学习率来对 projector 进行热身训练。

• 在第二阶段，我们继续进行常规的预训练。

通过我们的 VPGTrans 方法，我们的模型可以实现 GPU 时长的大幅度缩减（如单卡 631.5 小时到 59.0 小时），并且在 VQAv2，GQA 和 OKVQA 数据集实现更高或相仿的效果：

此外，我们 VPGTrans 构建的 VL-Vicuna 也在人工评测中取得了不错的效果：

在 VPGTrans 之后，我们并不满足于仅仅全图理解。我们希望进一步赋予 LMM 模型区域理解的能力。于是，我们初步探索并提出了一种 pixel2emb 方法来对位置输入和输出进行建模：

根据该方法，我们初步构建了 NExT-Chat 模型。NExT-Chat 模型既可以接受区域内容作为输入，也可以输出提及区域的检测框和分割掩膜 (detection + segmentation)。具体效果可以参考下方视频。

想了解更多的具体内容，快来预约本周四晚 20：00 的社区开放麦直播吧~

相关工作/ 资料/ 链接

VPGTrans: VPGTrans: Transfer Visual Prompt Generator across LLMs (NeurIPS 2023)

主页（paper+code）：

https://vpgtrans.github.io/

NExT-Chat: An LMM for Chat, Detection and Segmentation (早期技术报告)

主页（paper+code+demo）：

https://next-chatv.github.io/

交流群

同时为了方便大家交流沟通，我们建立了语言大模型相关的交流群，大佬也在群里哦，提供与大佬 1v1 的机会，扫码即可入群~

往期回顾

上期开放麦，我们邀请到宁波东方理工大学（暂名）信息学部助理教授、博士生导师，德国马克斯普朗克计算机研究所博士沈晓宇老师为大家介绍司法知识的综合评估基准 LawBench。

感兴趣的同学，可以通过直播回放学习一下哦~

2023-11-29