论文推荐|[PR 2021]一种用于惯性信号空中手写无监督域迁移的可视化方法

本文简要介绍PR 2021录用论文“A Novel Unsupervised domain adaptation method for inertia-Trajectory translation of in-air handwriting”的主要工作。该论文提出了一种无监督的域迁移方法来实现惯性信号到轨迹信号的双向翻译，为惯性传感器信号的可视化问题以及惯性数据的生成问题提供了解决方案。

一、研究背景

关于空中手写任务，之前的大部分工作都主要关注在空中手写字符的识别任务上。但关于空中手写任务一直有两大问题亟待解决：第一，惯性传感器信号是一个电压值的时间序列、可读性很差。第二，现实世界中惯性传感器空中手写数据量很少，原因在于其采集过程十分费时费力。 

为了解决这两个问题，作者提出了无监督的域迁移模型--空中手写翻译器（Air-Writing Translator），实现惯性到轨迹的双向翻译。其中，惯性到轨迹的翻译过程利用惯性信号进行书写轨迹重构，这解决了惯性信号可读性差的问题。现实世界中，手写轨迹信号随处可见、采集过程也相对容易，轨迹到惯性的翻译过程利用现有的传统手写轨迹信号生成惯性数据、很好地解决惯性空中手写样本数据量少的问题。图1简单展示了空中手写翻译器预期实现的双向翻译的效果。图中的轨迹信号与惯性信号都是时序信号，将轨迹信号的x轴与y轴在笛卡尔坐标系下进行投影可以得到最右侧的重构书写轨迹。

二、方法简介

在空中手写系统中，常使用惯性传感器来记录空中手写动作的惯性信息，使用光学追踪设备来记录空间轨迹信息。因此，惯性数据和轨迹数据可以看做是不同角度的同一空中手写动作，只是由于传感器的不同才在信号的外在表现形式上产生了差异。

如果可以通过某种方法在惯性域与轨迹域样本中提取出域不变特征，那么此特征可以作为两域样本进行翻译的“中转站”。因此，如何提取域不变特征以及如何从域不变特征中恢复出目标域样本将是模型设计的重中之重。 

基于这一想法，作者提出了空中手写翻译器，其具体网络结构如图2所示。上图分别展示了空中手写翻译器的训练过程与前向推理过程。在前向推理时，空中手写翻译器使用源域的Encoder来提取域不变特征向量，目标域的Decoder从该向量中生成样本，从而实现源域到目标域的翻译过程。逆向翻译过程与上述过程类似。

为了保证Encoder可以提取出域不变特征，作者使用了分类损失和对抗损失相结合的方式对其进行训练。分类损失与对抗损失相结合的预期效果如图3所示。其中，对抗损失的作用是从数据分布的层面拉近两域特征向量之间的距离。分类损失的作用是保证Encoder可以提取出类别信息。二者相互结合可以实现两个域的特征向量类别与类别之间相互拉近的效果。作者称之为语义对齐（Semantic Consistency）。也正是由于分类损失和对抗损失的结合，使得空中手写翻译器可以不需要配对样本进行训练。 

具体地，分类损失如下所示： 

对抗损失如下所示： 

为了保证Decoder可以从域不变特征向量中解码出目标域样本，作者在惯性域和轨迹域中各自使用了一对Auto-encoder，并通过重构损失对Encoder和Decoder进行训练。值得注意的是，重构损失对两个域内的Auto-encoder分别进行计算。 

收敛以后的Decoder可以从Encoder输出的语义向量中解码出原图像。而由于分类损失和对抗损失可以保证惯性域和轨迹域的样本在语义空间内实现对齐效果，因此源域Encoder和目标域Decoder的结合可以保证翻译出有意义的目标域样本。

三、实验介绍

1.损失函数的讨论

为了探究分类损失和对抗损失的作用，作者分别移除分类损失和对抗损失进行实验，并使用TSNE对Encoder输出的语义向量进行可视化。结果如图8所示。 

图（a）是同时使用三个损失函数进行训练的实验效果，从图中可以看出，两个域的语义向量按类别聚类在一起，不同类别之间的界限非常明晰。图（b）是移除对抗损失的实验结果图，图（c）是移除分类损失的结果图，从图中可以看出，仅有分类损失和对抗损失都无法保证语义上的对齐效果。移除对抗损失会造成不同域的语义向量并不靠近，移除分类损失会造成类与类之间的界限并不明晰。

2.翻译效果展示

6DMG惯性数据到6DMG轨迹数据的翻译结果如图9所示，图中蓝色轨迹是6DMG数据集中惯性样本的配对轨迹（作为参考），红色轨迹是翻译的结果。 

6DMG轨迹数据到6DMG惯性数据的翻译结果如图11所示。 

3.与其他方法的对比

作者在下图中对比了INS的效果，INS方法是一种通过二次积分对惯性信号进行轨迹重建的方法。从结果中可以看出，INS进行轨迹重建效果并不佳，且其无法实现双向的翻译过程。 

此外，作者在下图中还进行了空中手写翻译器与其他GAN-based模型的对比（仅在6DMG惯性到6DMG轨迹翻译任务下进行）。以下的每一列分别是6DMG数据集的配对轨迹样本（作为参考）、空中手写翻译器、cycleGAN[1]、UNIT[2]、DistanceGAN[3]和HW2MP-GAN[4]的轨迹重构效果。 

作者还给出了生成样本分布和真实样本分布之间的MMD距离，MMD距离可以在一定程度上刻画生成样本的质量。 

此外，作者预训练了一个分类器，并对翻译样本进行了分类，并在下表中报告了准确率和损失大小，这在一定程度上可以反映在分类模型看来翻译样本的质量如何。 

论文地址

https://authors.elsevier.com/a/1coqS77nKcuSo

参考文献

[1] Zhu J Y, Park T, Isola P, et al. Unpaired image-to-image translation using cycle-consistent adversarial networks[C]//Proceedings of the IEEE international conference on computer vision. 2017: 2223-2232.

[2] Liu M Y, Breuel T, Kautz J. Unsupervised image-to-image translation networks[J]. arXiv preprint arXiv:1703.00848, 2017.

[3] Benaim S, Wolf L. One-sided unsupervised domain mapping[J]. arXiv preprint arXiv:1706.00826, 2017.

[4] Karimi M, Veni G, Yu Y Y. Illegible Text to Readable Text: An Image-to-Image Transformation using Conditional Sliced Wasserstein Adversarial Networks[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. 2020: 552-553.

---

原文作者： Songbin Xu, Yang Xue, Xin Zhang, Lianwen Jin
撰稿：张 鑫编排：高 学

审校：连宙辉

发布：金连文

---

免责声明：（1）本文仅代表撰稿者观点，撰稿者不一定是原文作者，其个人理解及总结不一定准确及全面，论文完整思想及论点应以原论文为准。（2）本文观点不代表本公众号立场。 

往期精彩内容回顾

征稿启事：本公众号将不定期介绍文档图像分析与识别及相关领域的论文、数据集、代码等成果，欢迎自荐或推荐相关领域最新论文/代码/数据集等成果给本公众号审阅编排后发布。

扫描二维码，关注我们:D