基于对抗性网络的无线感知行为识别的方法简介
摘 要
基于一系列传感器数据的行为识别研究有着广泛的应用。无线感知行为识别可以更好的保护用户隐私，有很高的研究和应用价值。但数据收集成本高，鲁棒性差等问题影响其研究、发展及推广。已有研究通过对抗性网络生成实验数据，增强模型鲁棒性，从而提高无线感知行为识别的准确性。本文将从利用对抗性网络合成实验数据、利用对抗性网络增强模型鲁棒性两方面介绍前人的工作。
1.
引言
目前，行为识别作为一个重要的研究方向有着广泛的应用前景。现有研究已使用了一系列不同的传感器数据，包括来自摄像头的视频、来自可穿戴传感器的惯性数据、来自无线电波的信号流等。然而，基于计算机视觉的方法面临隐私泄露的风险，而可穿戴传感器需要电池。近年来，无线感知行为识别成为学术界和工业界的热门话题。但由于数据收集过程既耗时又昂贵，还需要大量的人力，制作基于无线感知行为识别的特征需要大量相关领域知识[15]，采集数据的质量与部署环境密切相关，这些都是制约其发展和推广的不可回避的问题。最近的研究利用深度学习突出的数据表示能力来加速特征提取，并通过对抗性网络（Generative Adversarial Networks，GANs）生成实验数据，增强模型鲁棒性，进行行为识别的研究。
GANs[22]是一类基于博弈论的方法，用于学习给定数据集的特征分布，以便能够参数化地生成与输入最相似的合成数据。GANs通常由生成器和鉴别器两个部分组成。生成器负责学习训练数据集的分布，并生成与原始数据分布相匹配的模拟数据（通过输入噪声）。鉴别器将这些数据作为输入，并通过与真实数据的比较，试图评估其真实性。通过将这两个网络一起训练，希望达到一个聚合点，使生成器能够创建与真实数据分布充分匹配的合成数据，从而愚弄鉴别器。目前，在许多研究领域，包括遥感[16]、目标分类[17]、计算机视觉[18]、自然语言处理[23]以及行为识别[1,2,3,5,6,7,14]等，GANs已被用于增加分类问题中的数据和增强模型的鲁棒性。
图1 对抗性网络应用领域
2.
利用对抗性网络合成实验数据
基于无线感知行为识别的数据收集属于劳动密集型任务，需要耗费大量的时间、人力以及费用。为了降低数据收集成本，有学者使用GANs来产生合成数据作为分类模型的额外输入。通用模型如图2所示，实际采集的数据分为两部分，一部分用于GANs训练，另一部分与GANs生成的“假数据”混合，一起输入分类器。
文献[1]设计了一个半监督的深度学习框架，称为SenseGAN，它可以利用大量未标记的多模态感知数据，提高分类器的性能，从而最大限度地减少标记工作。SenseGAN将鉴别器和分类器的功能分离为两个神经网络，对于物联网应用，用户可以设计自己的神经网络结构进行分类，并将SenseGAN框架中的分类器替换为用户自己设计的分类器，以达到半监督学习的目的。通过实验证明,SenseGAN只需要原始标记数据的10%，就可以达到与在完全标记的数据集上训练的深度学习分类器几乎相同的精度。
文献[2]提出一种利用合成数据提高指纹定位精度的深度学习方法。GANs用于了解有限实际采集样本的数据的分布，然后产生可用于增强实际收集数据的合成数据，作为分类模型的额外输入，以提高整体定位精度。在基准数据集[4]上的实验结果表明，通过使用GANs生成的合成数据，可减少使用90%的真实数据，从而有效降低数据收集成本，同时获得可接受的精度。文章表示，这是第一次使用GANs生成的合成数据来改进基于指纹的定位。
文献[3]提出了一种基于CSI的活动识别系统的半监督学习方法，该方法利用长短期记忆（LSTM）学习特征并识别七种不同的动作。其中使用50%的原始真实数据结合GANs来生成数据，然后合成数据集来减少对真实测量的CSI的需求。经实验表明，将合成数据与实际数据相结合，可将该模型的精度提高约3.4%。
3.
利用对抗性网络增强模型鲁棒性
每个人的特征不同，同一动作发生的环境也会发生变化，这导致采集的同一类动作的无线数据差异很大，影响分类器准确性。有研究表明，可以通过GANs来增强模型鲁棒性，从而提高行为识别的准确性。通用模型如图3所示，采集的真实数据经过GANs，提取环境和用户不变的特征,减少主体差异和环境因素的影响，增强模型鲁棒性，从而提高分类准确性。
3.1 利用对抗性网络增强模型对主体多样性的鲁棒性
如表2所示，简单概述了DAMUN、EUIGR、CsiGAN三个模型的数据类型、功能、实验数据集及实验结果。
表2 模型概述
由于每个人的特征不同，不同用户通常执行同一类活动的方式不同，这使得传感器采集的相应感官数据高度不同。因此深度学习模型从感官数据中捕捉多模态时空特征方面面临着巨大的挑战。针对上述问题，[5]提出了一种区分对抗性多视图网络（DAMUN）来解决基于传感器的人类活动识别中的上述问题。其思想是设计一个更健壮的特征提取器，并显式地缩小不同对象表示空间之间的差距。文章模型在三个真实数据集（MHEALTH数据集[19]、PAMAP2数据集[20]、UCIDSADS数据集[21]）上进行了广泛实验，证明方法的有效性和健壮性。
文献[6]提出了一种基于RFID的环境无关、用户不变的实时手势识别系统EUIGR，该系统有效地集成了相位和RSS数据流，利用卷积神经网络（CNN）分别处理相位信息和RSS信息，同时提取与环境和用户无关的特征。通过对抗性学习，EUIGR抑制了环境相关因素和用户特有特征对手势表征的影响，对个体多样性具有较强的鲁棒性，降低了对环境的依赖性，并在COTS RFID设备上实现了该系统。通过实验证明，EUIGR即使在用户看不见的手势中点也能达到96%的平均召回率，并且对个体多样性和环境变化具有很强的鲁棒性。
当将训练的模型应用于未用于模型训练的遗漏用户的CSI数据时，一般方法的识别性能可能会显著降低。为了克服这一挑战，文献[7]提出了一种用于基于CSI活动识别的半监督生成性对抗网络（CsiGAN）。在一般半监督GANs（文章采用CycleGAN）的基础上设计实现。文章基于细粒度和粗粒度的行为识别数据，即手语识别[8]和跌倒检测[9]，说明了CsiGAN的有效性，其性能明显优于有监督基线（ManiGAN [10]、SSGAN [11]、S3VM [12]、Semi-RF [13]）。
3.2利用对抗性网络增强模型对环境差异的鲁棒性
文献[14]提出了一种新的射线辅助生成性对抗模型（RaGAM）来自动构建无线电地图，并将其用于室内无线局域网智能目标的入侵感知和定位。考虑到合成无线电地图与实际无线电地图之间的差距，从实际的RSS数据出发，通过联合合成和无监督学习（或称S+U学习）来改进传统的GANs网络，以提高射线跟踪模型的精度，从而得到精化的无线电地图。利用精化后的无线电地图的统计特性构造概率神经网络（PNN）的训练集，再利用训练好的PNN对新采集的RSS数据进行分类，实现目标的入侵检测和定位。实验结果表明，该方法不仅在计算量和射线跟踪精度方面都有较好的表现，而且能够准确地感知目标的入侵状态。
4.
结 语
本文归纳总结并分析了GANs在无线感知行为识别领域的相关研究，从利用对抗性网络合成实验数据、利用对抗性网络增强模型鲁棒性两方面进行了介绍。GANs通过了解有限收集样本的数据分布，产生可用于增强实际收集数据的合成数据，以提高行为识别精度。GANs还可以减少个体差异和环境差异对分类模型的影响，从而增强模型的鲁棒性，以提高行为识别的准确性。
参考文献：
[1] Shuochao Yao , et al. “SenseGAN: Enabling Deep Learning for Internet of Things with a Semi-Supervised Framework,” ACM Interact. Mob. Wearable Ubiquitous Technol., Vol. 2, No. 3, Article 144. 2018.9.
[2] Mohammad Nabati, Hojjat Navidan, Reza Shahbazian, Seyed Ali Ghorashi, and David Windridge. “Using Synthetic Data to Enhance the Accuracy of Fingerprint-Based Localization: A Deep Learning Approach,” Sensor Letters, VOL. 4, NO. 4, 2020.4.
[3] Parisa Fard Moshiri, Hojjat Navidan, Reza Shahbazian, Seyed Ali Ghorashi, and David Windridge, “Using GAN to Enhance the Accuracy of Indoor Human Activity Recognition.”
[4] W. Zhang, S. Zhou, L. Yang, L. Ou and Z. Xiao, "WiFiMap+: High-level indoor semantic inference with WiFi human activity and environment," IEEE Transactions on Vehicular Technology, vol. 68, no. 8, pp. 7890-7903, 2019.
[5] Lei Bai, et al. “Adversarial Multi-view Networks for Activity Recognition[J].” Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, 2020.
[6] Yinggang Yu, Dong Wang, Run Zhao, and Qian Zhang. "RFID based real-time recognition of ongoing gesture with adversarial learning." the 17th Conference 2019.
[7] Chunjing Xiao, Daojun Han, Yongsen Ma, and Zhiguang Qin, “CsiGAN: Robust Channel State Information-Based Activity Recognition With GANs,” IEEE Internet of Thing Journal, VOL. 6, NO. 6, 2019.12.
[8] Y. Ma, G. Zhou, S. Wang, H. Zhao, and W. Jung, “SignFi: Sign language recognition using WiFi,” Proc. ACM Interact. Mobile Wearable Ubiquitous Technol., vol. 2, no. 1, pp. 1–21, 2018.
[9] S. Palipana, D. Rojas, P. Agrawal, and D. Pesch, “FallDeFi: Ubiquitous fall detection using commodity Wi-Fi devices,” Proc. ACM Interact. Mobile Wearable Ubiquitous Technol., vol. 1, no. 4, pp. 1–25, 2018.
[10] B. Lecouat, C. S. Foo, H. Zenati, and V. R. Chandrasekhar, “Semi- supervised learning with GANs: Revisiting manifold regularization,” in Proc. Int. Conf. Learn. Represent., 2018, pp. 1–6.
[11] T. Salimans, I. J. Goodfellow, W. Zaremba, V. Cheung, A. Radford, and X. Chen, “Improved techniques for training GANs,” in Proc. 30th Int. Conf. Neural Inf. Process. Syst., 2016, pp. 2234–2242.
[12] S. Ding, Z. Zhu, and X. Zhang, “An overview on semi-supervised sup- port vector machine,” Neural Comput. Appl., vol. 28, no. 5, pp. 969–978, 2017.
[13] I. Triguero, S. García, and F. Herrera, “Self-labeled techniques for semi-supervised learning: Taxonomy, software and empirical study,” Knowl. Inf. Syst., vol. 42, no. 2, pp. 245–284, 2015.
[14] Mu Zhou, et al. “Indoor WLAN Intelligent Target Intrusion Sensing Using Ray-Aided Generative Adversarial Network.” IEEE Transactions on Emerging Topics in Computational Intelligence 4.1(2020):61-73.
[15] Kaixuan Chen, Lina Yao, Dalin Zhang, Bin Guo, and Zhiwen Yu. 2019. Multi-agent attention activity recognition. In Proceedings of the 28th International Joint Conference on Artificial Intelligence.
[16] D. Ma, P. Tang, and L. Zhao, “SiftingGAN: Generating and sifting labeled samples to improve the remote sensing image scene classification baseline in vitro,” IEEE Geosci. Remote Sens. Lett., vol. 16, no. 7, pp. 1046–1050, Jul. 2019.
[17] M. B. Bejiga and F. Melgani, “GAN-based domain adaptation for object classification,” in Proc. IGARSS IEEE Int. Geosci. Remote Sens. Symp., 2018, pp. 1264–1267.
[18] Y.-J. Cao et al., “Recent advances of generative adversarial networks in computer vision,” IEEE Access, vol. 7, pp. 14985–15006, 2018.
[19] Oresti Banos, Rafael Garcia, Juan A Holgado-Terriza, Miguel Damas, Hector Pomares, Ignacio Rojas, Alejandro Saez, and Claudia Villalonga. 2014. “mHealthDroid: a novel framework for agile development of mobile health applications.” In International workshop on ambient assisted living. Springer, 91–98.
[20] Attila Reiss and Didier Stricker. 2012. “Introducing a new benchmarked dataset for activity monitoring.” In 2012 16th International Symposium on Wearable Computers. IEEE, 108–109.
[21] Billur Barshan and Murat Cihan Yüksek. 2014. “Recognizing daily and sports activities in two open source machine learning environments using body-worn sensor units.” Comput. J. 57, 11 (2014), 1649–1667.
[22] I. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. Courville, and Y. Bengio. “Generative adversarial nets.” In Advances in neural information processing systems, pages 2672–2680, 2014.
[23] Lantao Yu, Weinan Zhang, Jun Wang, Yong Yu, “SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient.” AAAI 2017: 2852-2858.
中国保密协会
科学技术分会
长按扫码关注我们
作者：刘艺2,3 王思叶1,2,3 张艳芳2,3
1北京交通大学 计算机与信息技术学院，北京 100093
2中国科学院 信息工程研究所，北京 100093
3中国科学院大学 网络空间安全学院，北京 100093
责编：丁昶
往期精彩文章TOP5回顾
近期精彩文章回顾
电子政务国产化应用赋能信息技术创新生态安全编排、自动化与事件响应技术简介
面向国产生态的网络安全事件运维技术研究
移动目标防御技术
浅谈网络攻击溯源技术（下篇）