AAAI 2021 | 基于对比学习的聚类工作

©PaperWeekly 原创 · 作者｜李云帆

学校｜四川大学博士生

研究方向｜聚类，无监督表示学习

论文标题：

Contrastive Clustering

论文来源：

AAAI 2021

论文链接：

https://arxiv.org/abs/2009.09687

简介

现有的大部分深度聚类（Deep Clustering）算法需要迭代进行表示学习和聚类这两个过程，利用聚类结果来优化表示，再对更优的表示进行聚类，此类方法主要存在以下两个缺陷，一是迭代优化的过程中容易出现误差累计，二是聚类过程通常采用 k-means 等需要全局相似性信息的算法，使得需要数据全部准备好后才能进行聚类，故面临不能处理在线数据的局限性。

针对上述问题，本文提出了一种基于对比学习的聚类算法，其同时进行表示学习和聚类分析，且能实现流式数据的聚类。

方法

本文基于“标签即表示”的思想 [2]，将聚类任务统一到表示学习框架下，对每个样本学习其聚类软标签作为特征表示。具体地，我们在国际上率先揭示数据特征矩阵的行和列事实上分别对应实例和类别的表示（图1）。

也即，特征矩阵的列是一种特殊的类别表示，其对应批样本在某一类别上的概率分布。基于该洞见，本文提出同时在特征矩阵的行空间与列空间，即实例级别和类别级别，进行对比学习即可进行聚类。

▲ 图1 特征矩阵的行、列空间分别对应实例和类别的表示，可在其中分别进行实例和类别级别的表示学习来进行聚类

我们的方法如图 2 所示，首先利用数据增广构造用于对比学习的正负样本对，通过骨干网络提取特征，并分别投影到行、列空间进行实例和类别级别的对比学习。训练完成后，通过直接计算各个样本的软标签，取最大概率的类别作为预测结果即可实现聚类。显然，该方法适用于大规模在线的数据，因为其将聚类过程转化为表示学习过程。

▲ 图2 网络结构

创新

一方面，从聚类的角度，受益于“标签即表示”及“列空间对应类别表示空间”的洞见，本文提出的方法无需所有数据输入后才能进行聚类，而是采用在线的方式实时对当前数据进行聚类隶属预测，适用于大规模在线场景和流式数据处理。

大量实验表明，提出的方法在 CIFAR10，CIFAR100 等数据集上比当时最优聚类算法提升精度 30% 以上。另一方面，从对比学习角度，该工作是最早的面向任务的对比学习方法之一，而不再是流行的任务无关无监督表示学习范式。

此外，本文提出的算法也可认为是一种新的引入聚类性质从而增强表示学习能力的对比学习方法，为对比学习研究领域引入新的洞见。论文的 idea 简洁及自洽，相对于最新的 SimCLR 等对比学习算法，本文提出的算法仅需在考虑数据特征行空间对比学习的同时再考虑列空间的对比学习即可。

值得一提的是，当用于表示学习时，类别级别的对比可在比类别个数更高的维度上进行，即通过过聚类（over-clustering）来找到更加细粒度的类别分布，从而进一步提升表示学习的效果。

在本文发表半年后，Yann Lecun 等人在其 Barlow Twins 方法 [3] 中，同样提出在列空间进行类别级别的对比学习，也充分验证了我们 idea 的有效性。 需要说明的是，Barlow Twins 一文并未给出直观解释，为什么可以在列空间进行对比学习。而本文从过聚类（over-clustering）的角度给出了一种简洁直观的理解。

结果

为验证方法的有效性，我们在 6 个常用图片数据集上对比了 17 种代表性的聚类算法（图3）。实验结果表明，本文提出的方法在 3 个通用聚类指标 NMI（标准化互信息），ACC（准确率），ARI（调兰德指数）上均取得了最优。

特别地，本方法在 CIFAR-10 数据集上相比当前最优方法取得了 39% 的 NMI 提升，在 CIFAR-100 和 Tiny-ImageNet 数据集上相比当前方法取得了超过 50% 的 ARI 提升，充分验证了本方法的有效性。

▲ 图3 实验结果

参考文献

[1] Yunfan Li, P. Hu, Z. Liu, D. Peng, J. T. Zhou, Xi Peng*, Contrastive Clustering, AAAI Conference on Artificial Intelligence (AAAI’21), Feb. 2-9, 2021, Online.

[2] Xi Peng, H. Zhu, J. Feng, C. Shen, H. Zhang, and J. T. Zhou, Deep Clustering with Sample-Assignment Invariance Prior, IEEE Trans Neural Networks and Learning Systems (TNNLS), vol: 31, no. 11, pp:4857-4868. 2020.

[3] Zbontar J, Jing L, Misra I, et al. Barlow twins: Self-supervised learning via redundancy reduction[J]. arXiv preprint arXiv:2103.03230, 2021.

更多阅读

#投 稿 通 道#

 让你的论文被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学习心得或技术干货。我们的目的只有一个，让知识真正流动起来。

📝 来稿标准：

• 稿件确系个人原创作品，来稿需注明作者个人信息（姓名+学校/工作单位+学历/职位+研究方向） 

• 如果文章并非首发，请在投稿时提醒并附上所有已发布链接 

• PaperWeekly 默认每篇文章都是首发，均会添加“原创”标志

📬 投稿邮箱：

• 投稿邮箱：[e-mail] 

• 所有文章配图，请单独在附件中发送 

• 请留下即时联系方式（微信或手机），以便我们在编辑发布时和作者沟通

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

关于PaperWeekly

PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击「交流群」，小助手将把你带入 PaperWeekly 的交流群里。