论文推荐|[CVPR 2019]手写签名认证的逆鉴别网络

本文简要介绍CVPR2019论文“Inverse Discriminative Networks for Handwritten Signature Verification”的主要工作。该论文主要引入了Attention模块以及对图片进行黑白翻转搭建多路结构来训练网络聚焦在笔划信息上从而提取出更加鲁棒的特征以适应于签名认证任务。 

一、研究背景

随着签名在财务、商业、司法文件的广泛使用，签名的真实性的鉴别成为了一个具有现实应用场景的任务。签名图片数据是比较稀疏的，经过二值化处理以后大部分区域都是背景，如何从稀疏的笔划像素部分提取有效信息是签名认证任务的关键点。

由于中文签名数据集的缺乏，影响了中文签名认证任务的发展，本文另外采集了包含749个用户的中文签名数据集作为对提出算法的评测数据集。

Fig.1. Samples of our Chinese Signature Dataset. In each row are the same name’s signatures. The left eight samples are the genuine signatures and the right eight samples are the forged signatures.

二、Inverse Discriminative Network原理简述

Fig .2. Overall architectureof Inverse Discriminative Network

       Fig.2是本文的整体网络结构，可以看作是Siamese网络[1]的改进加强，两张图片就可以构成三个样本对，文章的Motivation在于认为，这几对图片的背景色不同，将不同背景色搭配的签名图片对输入网络学习，可以驱使网络更好地关注在笔划部分提取信息。

Fig.3. Attention module in the IDN framework.‘FC’ denotes ‘fully-connected’ and ‘GAP’ indicates ‘global average pooling’. ‘+’ and ‘·’ indicate element-wise addition and multiplication, respectively. ‘×’ means multiplying each channel with a weight.

 Fig.3是Fig.2中Attention结构的具体操作，Attention操作在两张背景色不同的图片对上进行，可以理解为是将从一张图片提取到的笔划特征加强在另一张图片上，在网络当中使用多层级Attention可以使得在每个尺度下都增强对笔划部分信号的增强。

 监督网络训练的损失函数来源于分别对三对Pair的输出都做Binary Cross Entropy后按权重加和：

三、主要实验结果及可视化效果

TABLE 1. Comparison on Chinese Signature Dataset(%)

TABLE 2. Comparison on CEDAR Dataset(%)

TABLE 3. Comparison on BHSig-B Dataset(%)

TABLE 4. Comparison on BHSig-H Dataset(%)

TABLE 5. Signature verification accuracy of cross-language test(%)

Fig.4. The ROC curve comparison on four datasets. The ‘single’, and ‘double’ denote the Single Stream method and the Double Stream method respectively. (a) Our dataset. (b)CEDAR dataset. (c)BHSig-B dataset. (d)BHSig-H dataset.

Fig.5. Feature maps output from the cascaded convolutional modules of the four streams

 Fig.5上对Feature Map的可视化表明attention模块以及黑白反转后的监督信息可以使得网络聚焦在笔划结构上。

对比实验中Single Stream采用的是和[2]类似将两张图片沿Channel叠加的结构，而Double Stream则是一个Siamese网络[1],从实验结果来看可以发现这两种结构用于签名认证任务都可以取得一定的效果。

再由TABLE 1、TABLE 2、TABLE 3、TABLE 4综合来看，文章所提方案在作者收集的中文数据集、CEDAR、BHSig-B以及BHSig-H上都取得了State-of-the-art的结果,比以往的基于CNN的方法[3][4][5]效果都要好。实验结果表明了Attention模块和图片黑白翻转多路结构的有效性。在跨语种测试实验中发现，当训练和测试的签名语种不相同时，鉴别器的性能会剧烈下降，这可能是因为语言文字的不同会影响签名者的书写习惯和风格，所以导致了鉴别器在跨语种的任务上泛化性能较差。

四、总结及讨论

1. 本文的多层级Attention的应用启发我们在网络多层级去挖掘签名笔划的信息对于签名认证任务是适用的。

2. 跨语种签名鉴定实验说明在签名鉴定领域的Domain Adaptation问题还值得探讨研究。

参考文献

[1] Bromley J, Guyon I, LeCun Y, et al. Signature verification using a" siamese" time delay neural network[C]//Advances in neural information processing systems. 1994: 737-744.

[2] Zagoruyko S, Komodakis N. Learning to compare image patches via convolutional neural networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2015: 4353-4361.

[3] Sounak Dey, Anjan Dutta, J. Ignacio Toledo, Suman KGhosh,Josep Lladós, and Umapada Pal. Signet: Convolutional siamese network for writer independent offline signature verification. CoRR, abs/1707.02131, 2017.

[4] Luiz G. Hafemann, Robert Sabourin, and Luiz S. Oliveira. Writer-independent feature learning for offline signature verification using deep convolutional neural networks. In International Joint Conference on Neural Networks, 2016.

[5] Luiz G. Hafemann, Robert Sabourin, and Luiz S. Oliveira.Learning features for offline handwritten signature verification using deep convolutional neural networks. Pattern Recognition, 70:163176,2017.

原文作者：Ping Wei, Huan Li, Ping Hu

撰稿：朱业成

编排：高 学

审校：连宙辉

发布：金连文

免责声明：（1）本文仅代表撰稿者观点，个人理解及总结不一定准确及全面，论文完整思想及论点应以原论文为准。（2）本文观点不代表本公众号立场。 

▼

往期精彩内容回顾

▼

征稿启事：本公众号将不定期介绍文档图像分析与识别及相关领域的论文、数据集、代码等成果，欢迎自荐或推荐相关领域最新论文/代码/数据集等成果给本公众号审阅编排后发布。

(扫描识别如上二维码加关注）