CVPR2020之MSG-GAN:简单有效的SOTA
点击上方“机器学习与生成对抗网络”,关注"星标"
获取有趣、好玩的前沿干货!
生成对抗网络(GAN)及其变体在图像合成任务取得了巨大成功,但众所周知,它们很难适应不同的数据集,部分原因是训练期间不稳定和对超参数敏感。对于这种不稳定,一种普遍的观点是:当真实分布和生成分布的支撑集不够重叠时,鉴别器反馈给生成器的梯度是无法提供有益的信息的。
在这项工作中,提出了多尺度梯度生成对抗网络(MSG-GAN),一种简单但有效的手段,通过在多个尺度上从鉴别器到生成器提供梯度。这可为高分辨率图像合成提供了一种稳定训练的方法,也可以替代常用的渐进式生长的ProGAN。作者表明MSG-GAN在不同的尺寸、分辨率和图像域的数据集,以及不同类型的损失函数和网络结构下,都可以使用相同的一组超参数稳定收敛。与先进的GAN相比,该方法在大多数情况下具有优势。
方法还是非常简明易懂的,网络结构如下:
实现细节:
其中,所使用的数据集如上所示,其中, 3千Indian Celebs为作者自制。对每种数据集,都是从高斯分布采样512维噪声去生成。更详细的参数设置可参考原文。
实验:
在256X256图像上:
在1024X1024图像上:
对学习率的鲁棒性实验:
不同尺寸层面连接提供梯度的消融探究、损失函数探究:
使用渐进逐步训练(ProGAN那种),在较低的分辨率下训练迭代速度更快,而MSG-GAN的每次迭代都需要相同的时间。
在FFHQ和CelebAHQ的人脸数据集上,没有超过StyleGAN的生成质量。造成这种情况的原因很多,其中包括超参数选择不当,或者StyleGANs架构更适合这些数据集。
此外,由于在MSGStyleGAN中进行了多尺度修改,因此方法无法利用mixing regularization trick [14]。
可试读85%