ACL Findings 2022 | THE-X: 通过同态加密实现Transformer的推断隐私安全

以下文章来源于ACTBIGDATA，作者陈天宇。

本次分享一篇关于同态加密应用于深度学习的文章。作者提出了THE-X，一种能够使预训练模型在同态加密环境下进行推断的解决方案。通过将Transformer模型当中的部分非线性组件替换为线性组件，THE-X可以使预训练模型完全享受到同态加密的优势，而且只有轻微的性能下降。THE-X是通过同态加密来解决预训练模型隐私问题的探索性质工作。我们希望这篇工作能够启发未来更好的大模型同态加密解决方案。

论文链接: 

https://aclanthology.org/2022.findings-acl.277/

1

背景与挑战

随着越来越多基于Transformer构建的预训练模型采取云端部署的架构，而诸如用户的搜索历史，医疗记录，银行账单等敏感信息在经由预训练模型进行处理之前，必须转成明文格式，导致隐私泄露的风险大大增加。同态加密允许模型直接在密文数据上进行计算，是近年来数据隐私问题的重要解决方案。然而，目前的同态加密只支持简单的加法和乘法计算，无法支持Transformer结构的复杂计算。

2

方法

面对这一棘手问题，研究团队提出了一种算子估计的工作流THE-X，能够将训练好的Transformer模型转换成同态加密支持的算子，从而使得预训练模型能够直接在密文上开启推断。论文主要针对Transformer结构中的复杂算子，如GELU、softmax、LayerNorm等。在GLUE和SQUAD等8个数据集上的实验结果表明，THE-X可以为各种不同的下游任务开启密文计算能力，并且不显著降低模型效果。

图1 使用THE-X进行云端大模型推断

图2 THE-X的拟合流程

为了替代模型中非线性操作，THE-X将fine-tune的过程分成以下几个阶段：

1. 对于一个预训练的模型，首先将剪裁掉预训练模型中的pooler,并且替换掉模型中的softmax和GELU算子。

2. 之后，THE-X会采用标准的分类和回归任务的finetune流程。THE-X会在fine-tune结束的模型中插入LayerNorm的线性替代，并且通过原本的LN Layer来蒸馏这些线性替代层。

3. 最后，THE-X会抛弃掉原本的LN layer，从而将模型转换成完全的线性算子，从而可以使得同态加密可以在该模型上运行。

3


实验结果

THE-X在GLUE数据集和SQuAD2.0数据集上分别进行了sentence-level和token-level的测试，实验结果表明使用THE-X进行算子估计，最多只会使得模型表现下降1.48%，从而可以应用在大量不同的NLP下游任务中。

图3 THE-X在多种不同任务上的结果

END

作者简介：

陈天宇 ：北京航空航天大学计算机学院、大数据科学与脑机智能高精尖创新中心学生。研究兴趣包括：预训练方法与理论、深度学习模型安全、跨模态学习。邮箱：[e-mail]

往期精选

联邦学习前沿 | 基于图神经网络的联邦推荐系统研究

欢迎投稿

邮箱：[e-mail]

参与更多讨论，请添加小编微信加入交流群