【源头活水】CLIP4Clip: CLIP 再下一城，利用CLIP实现视频检索

“问渠那得清如许，为有源头活水来”，通过前沿领域知识的学习，从其他研究领域得到启发，对研究问题的本质有更清晰的认识和理解，是自我提高的不竭源泉。为此，我们特别精选论文阅读笔记，开辟“源头活水”专栏，帮助你广泛而深入的阅读科研文献，敬请关注。

来源：知乎—凤舞九天

地址：https://zhuanlan.zhihu.com/p/443165620

01

前言

OpenAI 的论文CLIP 可以说得上是一篇神作，利用对比学习进行图文预训练，在4亿数据集上进行预训练，预训练模型在多个任务上达到了sota，之前记录过关于CLIP的文章，这里放一下～

CLIP论文出来之后，无论是基于CLIP的应用，还是基于CLIP的研究，都有相当多的工作，今天介绍一篇利用CLIP进行视频检索多工作：CLIP4Clip。

02

CLIP4Clip

CLIP4Clip 是基于CLIP进行视频检索的工作，个人感觉这篇文章的应用性很强，作者通过大量的实验，验证了如何基于ptrtrained好的图文CLIP 模型，通过迁移学习，或者说finetune来完成视频检索的任务，正好自己在跑相关的任务，用到了这套代码。

论文：https://arxiv.org/pdf/2104.08860.pdf

code：https://github.com/ArrowLuo/CLI

03

模型结构

模型主体结构复用CLIP的模型结构，也因此可以load CLIP的 pretrain 模型。主体模型分为Video Encoder、Text Encoder 和 Similarity Calculator。

Video Encoder：采用CLIP的 image encoder（ViT-B/32），视频数据输入多帧图像，那么输出也是多帧的图像特征；

Text Encoder ：采用CLIP 的Text encoder（Transformer结构），进行文本的特征提取；

Similarity Calculator：Similarity Calculator 是用来度量如何衡量多帧特征和文本特征相似度的模块，论文给出了三种结构：

04

模型效果

CLIP4Clip 从模型上来说并没有特别大的创新，但是作者通过大量的实验来实现并验证基于ptrtrained好的图文CLIP 模型，通过迁移学习，或者说finetune来完成视频检索的任务，取得了sota的结果，论文中有大量的对比实验，大家可以在论文中详细查看，这里主要介绍下几点结论：

1) One single image is far from enough for video encoding for video-text retrieval.

2) Post-pretraining at a large-scale video-text dataset on the CLIP4Clip model is required and can improve the performance, especially for zeroshot prediction by a large margin.

3) With the powerful pre-trained CLIP, it is better not to introduce new parameters and adopt a mean pooling mechanism on video frames for small datasets. At the same time, it is better to introduce more parameters, e.g., the self-attention layer, to learn the temporal dependency for large datasets.

4) We carefully study the hyper-parameters and report the best setting.

05

结束语

自己接触到无监督预训练最初是CV单模态的Moco那篇文章，后面逐步接触到类似video bert，uniter这些多模态预训练，再到今年的CLIP论文，确实在大规模无监督预训练之后，在各个下游任务上fintune会有不少的提升，特别是finetune的标注数据相对有限的时候。CLIP4Clip，成功地将CLIP的预训练模型应用到了视频检索到任务，并取得了sota的结果，个人感觉在视频检索领域很有借鉴意义，自己最近也在开展相关工作。

本文目的在于学术交流，并不代表本公众号赞同其观点或对其内容真实性负责，版权归原作者所有，如有侵权请告知删除。

“源头活水”历史文章

更多源头活水专栏文章，

请点击文章底部“阅读原文”查看

分享、在看，给个三连击呗！