[CVPR 2022]SimAN: 基于生成式模型的文本图像自监督表征学习

本文简要介绍被CVPR 2022录用的论文《SimAN: Exploring Self-Supervised Representation Learning of Scene Text via Similarity-Aware Normalization》。该论文利用同一文本行的颜色、纹理等趋于一致的特点，解耦风格与内容，构造训练样本，再引导模型重新组合风格与内容，实现自监督表征学习。实验表明，通过预训练，提升了模型的表征能力。此外，在多样化数据生成、任意长文本编辑和字体风格插值等任务上，该自监督方法展现了不错的潜力，表明有更广泛的应用场景。 

一、背景介绍

近年来，监督学习在计算机视觉领域取得了瞩目的成就。然而，监督学习方法严重依赖于数据的收集和标注。只有足量的训练数据才能防止模型过拟合，以泛化到实际使用场景中。为了降低数据驱动式模型对标签的依赖性，自监督学习成为一个十分有前景的解决思路，并吸引越来越多的学者们的关注[1][2]。

为此，Aberdam等人[3]在文本图像识别领域提出了自监督表征学习方法，如图1 (a) 所示，他们将一行文本切割成多个实例，并在不同实例之间使用对比学习[4]。然而，这种做法仍然是基于现有对比学习方法的过渡做法，文本图像的特点仍没有得到充分挖掘。所以，本文回顾了在深度学习时代之前，学者们发现的、文本图像区别于普通目标的特点。例如，文字的笔划粗细趋于一致，而小猫的四肢和躯干的粗细是不同的；同一行文本的色调也基本相同，而复杂的背景噪声是多变且没有规律的。所以，学者们利用这些常识，设计出文本的定位方法，例如基于连通域的方法[5]，基于笔划宽度变换的方法[6][7]和基于最大稳定极值区域的方法[8]。这些方法展示了文本图像独一无二的特点，为模型的设计带来启发。 

图1 (a) 对比学习与 (b) 生成学习

二、方法简述

如图 1 (b) 所示，本文利用同一行文本的风格趋于一致的特点，从一张文本图像中随机裁切出两个相邻的图像块，其中一块保留原始风格，作为风格引导；另一块则被随机增广，作为内容条件。然后，根据内容样式（拓扑形状）来衡量两个图像块上相似的地方，并从风格引导图像块上找到对应的风格，恢复到内容条件图像块上。具体来说，本文提出了一种基于相似度的风格迁移模块（Similarity­Aware Normalization，SimAN），通过相似度查找原始风格，并恢复到内容条件图像块上，以恢复该增广过的图像块。当不同的内容样式可以被模型区分开时，相似度的度量才有意义，对应的风格才能被正确查询到，恢复出来的图像才足够准确。SimAN通过该过程，实现了自监督表征学习。 

图2 详细框图

本文方法的详细框图可见图2。在SimAN模块中，首先通过风格归一化得到内容： 

再将风格（局部统计量：八邻域均值方差）根据相似度排布： 

最终将风格与内容重新结合，恢复图像： 

训练的Loss函数为L2 Loss以及常用在图像生成领域的对抗损失： 

三、实验结果

首先进行了探针评估实验，测试主干网络的表征能力。作者强调，虽然本文方法取得了不错的性能，但是由于不同模型有较大差别，例如，判别式模型和生成式模型的特性不同、编码器和解码器的设计不同、以及增广方式的不同，这里的结果难以公平比较，仅供参考。 

随后进行的是半监督评估实验，该实验依照前人工作SeqCLR的设置。可见SimAN提升了模型的表征能力，特别在小数据的设置下，带来显著提升。 

从可视化分析可得，随着训练的进行，SimAN促使模型区分不同内容，把相似的字符归纳到一起。 

图3 可视化结果

此外，本文利用自监督模型解耦风格与内容的特性，提出对风格和内容进行不同的组合，以完成更广泛的生成任务，例如生成多样化数据： 

图4 生成多样化数据示意图

以此训练识别模型，提升识别模型的鲁棒性： 

在任意长文本编辑任务中，本文的自监督模型取得了更好的可读性，并可实现跨语种编辑： 

图5 跨语种编辑效果图

 

 

图7 跨语言编辑与本文方法对比

最后，本文展示了在字体风格插值方面的可视化效果： 

图8 字体风格插值的可视化效果

四、总结

相比主流的对比学习方法，SimAN从全新的角度，回顾了文本图像的特性，重新思考面向文本图像等序列化数据的表征方法。本文提出使用生成式模型来实现表征学习，通过相似度估计，将相邻图像块上的对应风格迁移到正确的位置，促进模型在内容和风格上的表征能力。实验表明，经过本文方法预训练的识别模型，得到了更好的泛化性能。此外，对内容和风格的重新组合，可以实现多样化的数据合成、任意长文本的图像编辑和多种字体效果的插值。在大数据时代，自监督方法为该领域的多个视觉任务提供了新的解决思路，希望能产生更深远的影响和更深刻启发。

相关资源

论文下载地址：

https://arxiv.org/abs/2203.10492

数据集地址：

https://github.com/Canjie-Luo/Real-300K

参考文献

[1].Jing L, Tian Y. Self­supervised visual feature learning with deep neural networks: A survey. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021, 43(11):4037–4058.

[2].Liu X, Zhang F, Hou Z, et al. Self­supervised learning: Generative or contrastive. IEEE Transactions on Knowledge and Data Engineering, 2021, 1(1):1–1.

[3].Aberdam A, Litman R, Tsiper S, et al. Sequence­to­sequence contrastive learning for text recognition. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2021. 15302–15312.

[4].Chen T, Kornblith S, Norouzi M, et al. A simple framework for contrastive learning of visual representations. In: Proceedings of the International Conference in Machine Learning (ICML), 2020. 1597–1607.

[5].Neumann L, Matas J. Real­time scene text localization and recognition. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2012. 3538–3545.

[6].Epshtein B, Ofek E, Wexler Y. Detecting text in natural scenes with stroke width transform. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2010. 2963–2970.

[7].Yao C, Bai X, Liu W, et al. Detecting texts of arbitrary orientations in natural images. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2012. 1083–1090.

[8].Huang W, Qiao Y, Tang X. Robust scene text detection with convolution neural network induced MSER trees. In: Proceedings of the European Conference on Computer Vision (ECCV), 2014. 497–511.

---

原文作者:Canjie Luo, Lianwen Jin, Jingdong Chen

撰稿：罗灿杰

编排：高 学

审校：连宙辉

发布：金连文

---

免责声明：（1）本文仅代表撰稿者观点，撰稿者不一定是原文作者，其个人理解及总结不一定准确及全面，论文完整思想及论点应以原论文为准。（2）本文观点不代表本公众号立场。

往期精彩内容回顾

• [AAAI 2022] 用于场景文本识别的视觉语义辅助文本推理（有源码）
  

• [ACM MM 2021] JokerGAN: 低参数量的具有文本行感知的手写文本生成模型
  

• [CVPR 2022] 基于场景文字知识挖掘的细粒度图像识别算法（有源码）
  

• [CVPR 2022] 特征采样与分组：基于Transformer的场景文字检测方法
  

• [AAAI 2022 Oral] ABM: 基于注意力聚合和双向交互学习的手写数学公式识别（有源码）
  

• [CVPR 2022] SwinTextSpotter: 基于文本检测与识别更好协同的场景文本识别（有源码）
  

• [ACM MM 2021]显示、阅读和推理：基于灵活上下文聚合器的表格结构识别
  

• [ACM MM2021] 基于Transformer的文档图像几何矫正和光照恢复方法
  

• [ICDAR 2021] 基于预测控制点的文档图像矫正（有源码）
  

• [TNNLS 2022] SLOGAN——多样化手写体图像生成
  

欢迎加入中国图象图形学学会!（附入会攻略）

征稿启事：本公众号将不定期介绍文档图像分析与识别及相关领域的论文、数据集、代码等成果，欢迎自荐或推荐相关领域最新论文/代码/数据集等成果给本公众号审阅编排后发布 (联系Email: [e-mail])。

扫描二维码，关注我们: