KDD 2024 | 中南大学等提出PeFAD，参数高效的联邦异常检测框架

©PaperWeekly 原创 · 作者 | 徐榕桧

单位 | 中南大学

研究方向 | 时序数据分析、时序大模型

摘要

随着移动感知技术的普及，各个领域产生和积累了大量的时间序列数据，为众多实际应用提供了动力。在这种背景下，时间序列异常检测具有重要的实际意义。它旨在从时间序列中识别出偏离正常样本分布的异常样本。现有的方法通常假设所有时间序列数据都集中在一个中央位置。然而，由于各种边缘设备的部署，越来越多的时间序列数据需要分散收集。

为了解决分散时间序列数据与集中异常检测算法之间的差距，作者提出了一个名为 PeFAD（Parameter-efficient Federated Anomaly Detection，参数高效的联邦异常检测）的框架，以应对日益增长的隐私问题。PeFAD 首次使用预训练语言模型（PLM）作为客户端本地模型的主体，利用其跨模态知识转移能力。

为了减少通信开销和本地模型适应成本，作者提出了一个参数高效的联邦训练模块，使客户端只需微调小规模参数并将其传输到服务器进行更新。PeFAD 利用一种新颖的异常驱动掩码选择策略来减轻训练期间异常的影响。此外，作者还提出了一种在所有客户端共享的隐私保护数据集合成与知识蒸馏机制，以解决客户端之间的数据异质性问题。

作者在四个真实数据集上进行了广泛的评估，结果表明，PeFAD 相对于现有的最新基线方法具有高达 28.74% 的性能提升。

论文标题：

PeFAD: A Parameter-Efficient Federated Framework for Time Series Anomaly Detection

论文作者：

Ronghui Xu, Hao Miao, Senzhang Wang, Philip S. Yu, Jianxin Wang

作者机构：

中南大学，奥尔堡大学，伊利诺大学芝加哥分校

收录会议：

KDD 2024

文章链接：

https://arxiv.org/abs/2406.02318

代码链接：

https://github.com/xu737/PeFAD

背景

在现实世界中，时间序列数据通常由分布在不同地点的边缘设备（如传感器）生成。并且由于对隐私保护的日益关注，数据提供者可能不愿意披露他们的数据。然而，大多数现有的时间序列异常检测模型通常需要集中化的训练数据，这使得它们在分散的场景中效果不佳。

近年来，联邦学习（FL）提供了一种在多个客户端上分散数据的情况下训练模型的解决方案。FL 是一种机器学习设置，许多客户端在中央服务器的协调下共同训练模型，同时保持数据分散。

在本研究中，作者旨在开发一种新的 FL 框架，用于无监督的时间序列异常检测，以弥合分散数据处理和无监督时间序列异常检测之间的差距。然而，开发基于联邦学习的时间序列异常检测模型并非易事，主要有以下三个挑战。

挑战1：数据稀疏性

在联邦学习的背景下，处理数据稀缺问题具有挑战性。由于数据收集机制的限制（如低采样率）和数据隐私问题，客户端的本地数据可能非常稀疏，特别是对本就稀少的异常数据。而深度学习方法往往需要依赖大量的训练数据，因此现有深度学习模型在分散训练数据的场景下表现可能显著下降。

挑战2：已有的无监督异常检测方法往往忽略了训练过程中异常的存在

忽略训练中的异常点可能会显著扰乱异常检测模型的训练过程，影响其准确识别异常的能力。例如，在基于重建的方法中，如果在训练中掩码的时间序列片段只覆盖了正常片段，则学习到的时间序列重建模型对异常的敏感度会大大降低。

挑战3：数据异构性

时间序列数据通常是动态变化的，这导致了不同边缘设备上收集的时间序列通常是异质的且非独立同分布的。由于不同本地时间序列数据集之间的这种分布漂移，简单地聚合本地模型很难让获得在不同客户端上泛化表现最佳的全局模型。

方法

为了解决上述挑战，本文提出了一个名为 PeFAD 的参数高效联邦时间序列异常检测框架。主要贡献如下：

• PeFAD 是第一个基于 PLM 的联邦无监督时间序列异常检测框架。为了降低计算和通信成本，作者还提出了一个参数高效的联邦训练模块。
• 为了减轻训练过程中异常的影响，提出了一种异常驱动的掩码选择（ADMS） 策略，提高了模型对变化点的适应性，从而提高了异常检测的鲁棒性。
• 为了解决客户端之间的数据异质性问题，作者提出了一种新颖的隐私保护共享数据集生成（PPDS）和知识蒸馏机制，以确保客户端之间更一致的模型更新。

PeFAD 包含两个主要模块：

• 基于 PLM 的本地训练模块

• 参数高效的联邦训练模块

▲ PeFAD 整体架构

● 基于PLM的本地训练模块

作者将 PLM 作为客户端本地模型的主体，通过引入其跨模态知识转移能力能够有效应对数据稀缺问题。此外，利用 PLM 的通用知识和上下文理解能力也能帮助客户端有效识别时间序列模式和异常。在模型的本地训练过程中，每个客户端采用了 ADMS 策略和 PPDS 机制。

异常驱动掩码选择（ADMS）策略

原始时间序列数据首先被划分成非重叠片段（patch），客户端采用基于掩码重建的方式来进行模型训练。为了减轻训练过程中异常的影响，作者提出了一种新颖的异常驱动掩码选择（ADMS）策略。具体来说，ADMS 策略结合 Intra-patch Decomposition 和 Inter-patch Similarity Assessment 计算异常分数，从而在训练过程中识别异常，对于这些被检测的异常，在后续掩码重建过程中将被赋予更大的权重被掩码。

• Intra-patch Decomposition: 通过时间序列分解并提取残差成分，分析 patch 内部的异常分数

• Inter-patch Similarity Assessment: 通过计算余弦相似度来计算不同 patch 之间的相似性，分析 patch 之间的异常分数

隐私保护共享数据集生成（PPDS）和知识蒸馏机制

为了缓解客户端之间的数据异质性问题，作者提出了一种隐私保护的共享数据集生成与知识蒸馏机制。具体来说，客户端 𝑖 训练一个 VAE 模型从本地时间序列 合成时间序列 ，并将不同客户端的合成数据汇集成一个共享的数据集。基于获得的共享数据集，在本地模型和全局模型之间进行知识蒸馏，从而实现客户端之间更一致的模型更新。

在共享数据集生成过程中，作者结合了互信息约束和 距离来权衡数据隐私与生成质量。互信息 衡量 对 的信息交叉程度。通过限制 从 推断出 的可能性降低了，从而更好地保护了数据隐私。

距离可以量化 与 之间分布相似性，为了保证生成序列的有效性，需要保证其与原始数据具有类似的特性，因此通过降低 与 的 距离，可以有效保证生成数据的质量。

利用共享数据集 ，作者在客户端与服务器之间执行知识蒸馏，以解决数据异质性的影响。具体来说，作者首先分别获取本地模型和全局模型在共享数据集上的学习表示，然后计算两个表示之间的差异（consistency loss）。通过减少这种差异，模型可以实现更一致的客户端更新，从而提高聚合全局模型的性能和稳定性。

将 consistency loss 作为正则项引入到本地损失函数中，本地模型的损失函数组成如下:

● 参数高效的联邦训练模块

为了减少 PLM 的计算和通信开销，作者提出了一个参数高效的联邦训练模块。客户端只需微调小规模参数并将其与服务器通信。模型参数分为可训练参数 𝜃𝑒 和冻结参数 𝜃𝑝，冻结的参数包括层归一化模块和前 𝑛 层（𝑛 ≥ 5）。作者冻结 PLM 的底层大部分参数，因为它们封装了预训练阶段学习到的大部分通用知识。微调参数包括 PLM 的顶部一到三层的注意力层、前馈层和位置嵌入，因为它们包含任务特定的信息，调整这些部分可以使模型适应目标领域或任务的细微差异。

参数高效的联邦训练模块的过程在下面算法中给出。

▲ 参数高效联邦训练过程

实验结果

在 4 个真实场景数据集的实验中，PeFAD 展示了其卓越的通用性和强大的异常检测能力。特别是在联邦场景下，PeFAD 表现出色，大幅提升了时序异常检测的准确性。实验结果表明，PeFAD 在多个任务上的表现均超越了当前最先进的基线模型，证明了其在不同场景上的强大适应能力。

• 集中式与联邦式场景实验
• 微调策略与通信开销对比
• 参数敏感性分析

• Case Study

PeFAD 在联邦和集中设置下都表现出最佳的整体性能，表明其对环境变化具有强大的适应性。作者观察到，在某些情况下（例如 SMD 数据集），PeFAD 的性能超过了 PeFAD𝑐。这可能归因于时间序列数据的多样性。通过联邦学习，训练在每个本地设备上的模型能够更好地捕捉其本地数据的多样性。客户端可以根据其本地数据的特征获得更具适应性的阈值，而集中设置下获得的单一阈值可能无法适应所有数据。

▲ 集中式与联邦式场景实验

作者比较了 PeFAD 在不同 PLM 层数微调策略下的表现，包括不进行微调（w/o_ft）、微调 PLM 的最后一到七层（PeFAD_t1l - PeFAD_t7l）以及完全微调（PeFAD_fft）。结果表明，冻结前几层并微调最后几层是一种合理的调整策略。

▲ 微调策略与通信开销对比

掩码比率 和 patch 长度 以及合成数据长度对模型的性能的影响

▲ 参数敏感性分析

Case Study

左图：通过核密度估计（KDE）可视化的真实和合成时间序列的分布

右图：客户端测试期间 SMD 数据集的时间序列重建和异常检测示例

▲ Case Study

总结

PeFAD 结合了 PLM 的强大能力和联邦学习的分布式优势，确保数据隐私的同时，提升了异常检测的准确性。所提出的参数高效的联邦训练模块有效降低了联邦环境下的通信和计算负担。

此外作者该设计了一种新颖的异常驱动掩码选择策略以及隐私保护共享数据集生成（PPDS）和知识蒸馏机制，有效保证了训练的稳定性以及模型的泛化性。最后通过多种实验，PeFAD 在多个真实世界数据集上展示了其性能提升的潜力。

更多阅读

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

📝 稿件基本要求：

• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注 

• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题

• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算

📬 投稿通道：

• 投稿邮箱：[e-mail] 

• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿

△长按添加PaperWeekly小编

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

·

·