ICCV 2019 | Lifelong GAN：基于持续学习的条件图像生成模型

作者丨薛洁婷

学校丨北京交通大学硕士生

研究方向丨图像翻译

研究动机

持续学习是指希望模型能和人一样能基于过去的先验知识来快速准确的解决当前任务，然而对于人类而言与生俱来的能力对于模型来说却宛如大海捞针般困难。

当我们使用新的数据集去训练已有的模型时，该模型将会失去对原数据集识别的能力即模型会发生灾难性遗忘问题（如图 1 所示：edges-shoes 模型在经过 segmentations-facades 训练后原有的参数被完全打乱，无法再完成 edges-shoes 任务）。

▲ 图1. 灾难性遗忘问题

这一问题对于持续学习而言是一个非常巨大的挑战，目前比较主流的解决方案是让当前任务数据集结合原数据集去训练模型，但这样会导致模型的可扩展性很差，当添加一个新的任务时存储和训练时间都会同时增加，并且有些预训练模型的数据是难以获取的，因此作者提出了更通用的持续学习模型框架，该框架用于解决条件图像生成问题。

模型介绍

Lifelong GAN 模型基于 BicycleGAN 的架构，BicycleGAN 的架构可参考 [1]。模型主要使用了知识蒸馏来解决持续学习中的灾难性遗忘问题，即模型在学习当前任务的同时需要记住原任务的知识，在具体训练中通过鼓励当前网络和原网络产生相似的结果来迫使模型从原任务的训练网络中提取出信息并且加入到当前网络中。
架构如图 2 所示，其中表示当前任务的第 t 次训练，表示当前任务的第 t-1 次训练。

▲ 图2. LifelongGAN模型架构

作者希望在训练中产生的结果和训练结果保持一致性，即对于 cVAE-DL 阶段的训练中希望训练产生的目标域图像的编码结果以及生成的图像与训练时保持一致。对于 cLR-GAN 阶段希望训练产生的生成结果以及生成结果的编码与训练时保持一致。对于 Lifelong GAN 来说其损失函数就是两部分损失之和。但是我们知道 BicycleGAN 之所以结合 cVAE-DL 以及 cLR-GAN 就是为了增加模型的多样性，但是上述两个损失函数都希望训练时与原训练结果保持一致，这两者的目标是矛盾的，因此作者提出在具体训练时使用辅助图像来解决这一问题，即从训练数据中随机采样小图像块并将它们一起剪切，或者交换原域和目标域图像来产生辅助图像，这两种方案都不会让模型产生过拟合问题。

实验结果

作者将条件图像生成问题分为基于图像条件的图像生成以及基于标签条件的图像生成，并从这两个方面分别评估了模型的性能。针对基于图像条件的图像生成作者在 MNIST 数据集以及 Image-to-Image 数据集（如 edges-shoes,segmentations-facades 等）上计算其 Acc, r-Acc 以及 LPIPS 得分来评估，由图 3 可以看出和 Sequential Fine-tuning 以及 Joint Learning（使用全部数据集来训练）相比 Lifelong GAN 的表现效果与JL相近，但 Lifelong GAN 不需要使用全部数据集。

▲ 图3. 基于图像条件的图像生成

针对基于标签条件的图像生成问题作者采用了 MNIST 数据集以及 Flower 数据集进行评估。

 ▲ 图4. 基于标签条件的图像生成

总结

本文作者首次提出将知识蒸馏应用于持续学习模型中，并提出了更通用的（可以应用于基于标签条件以及图像条件的图像生成问题上）的条件图像生成模型。整个模型的设计非常巧妙，避免了使用原数据集带来的开销问题。从实验结果可以看出 Lifelong GAN 的效果和使用全数据集的效果类似，进一步证明了模型的有效性。

参考文献

[1] J.-Y. Zhu, R. Zhang, D. Pathak, T. Darrell, A. A. Efros, O. Wang, and E. Shechtman. Toward multimodal image-to image translation. In Advances in Neural Information Processing Systems (NIPS), 2017.

点击以下标题查看更多往期内容： 

#投 稿 通 道#

 让你的论文被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学习心得或技术干货。我们的目的只有一个，让知识真正流动起来。

📝 来稿标准：

• 稿件确系个人原创作品，来稿需注明作者个人信息（姓名+学校/工作单位+学历/职位+研究方向） 

• 如果文章并非首发，请在投稿时提醒并附上所有已发布链接 

• PaperWeekly 默认每篇文章都是首发，均会添加“原创”标志

📬 投稿邮箱：

• 投稿邮箱：[e-mail] 

• 所有文章配图，请单独在附件中发送 

• 请留下即时联系方式（微信或手机），以便我们在编辑发布时和作者沟通

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

关于PaperWeekly

PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击「交流群」，小助手将把你带入 PaperWeekly 的交流群里。

▽ 点击 | 阅读原文 | 下载论文