生成对抗网络（GAN）的统计推断

©PaperWeekly 原创 · 作者 | 尹娟

学校 | 北京理工大学博士生

研究方向 | 随机过程、复杂网络单位

引言

该论文从统计学的角度去研究生成性对抗网络。GAN 在当前是一种非常流行的深度学习模型，它分别由一个生成器和一个判别器组成，目标是去解决一个特定的极小极大值问题。这个极小极大问题通常有许多解，该论文的重点是去分析 GAN 的优化解在统计学上的性质。

作者主要解决了生成器和判别器网络参数的两个关键性问题：一致性估计和置信集。对 GAN 理论感兴趣的可以找出该论文的讲解研读一番。

论文标题：

Statistical inference for generative adversarial networks

论文链接：

https://arxiv.org/abs/2104.10601

GAN形式

为了对 GAN 相关性质进行严格的理论分析，需要对其相关的数学符号给予定义。考虑一个样本数据向量 ，其中 是欧式空间中的一个子集 且分布未知。噪声向量 服从一个给定的分布（通常是多维均匀分布或者是多维高斯分布）。生成器 将噪声向量 合称为样本数据 。判别器 的作用是对样本数据的真伪进行判断。作者从技术角度总结了以下的假设。

假设1：GAN

(a) 假设样本数据向量 和噪声向量 是分别服从 和 且独立同分布；

(b) 参数集 是一个非空紧集；

(c) 生成器函数 ，判别器函数 ，对抗损失函数 可以被定义为：

其中 对所有的参数 都是可测量和连续的。

这一假设包含了对原始 GAN 框架的一些最低要求，假设 (a) 中的独立同分布是 GAN 设置中的标准。假设 (b) 中允许参数空间是紧凑的。假设 (c) 是最小连续性假设，需要注意的是 将具有与 X 相同的分布。

假设2：Smooth GAN

如果 GAN 的假设成立， 在参数 上对所有的 是连续可微的，参数的平方可积导数有限：

则有：

作者重新整理了关于 GAN 的极小极大值问题的数学公式：

其中 对所有固定的 是凸函数， 对所有固定的 是凹函数。经典的冯·诺依曼极大极小定理意味着：

与此相反 通常是非凸和非凹的。在 GAN 应用中，感兴趣的对象不是问题的最优值而是最优的解决方案：

生成器中的参数 可以将随机噪声合成样本数据。令 为 GAN 极小极大化的最优解的集合，则有最大函数：

当点 是 GAN 的最优解时则满足：

因此 GAN 最优解 的集合可以被表示为：

等效的， 当且仅当：

这启发了作者重新定义 GAN 的损失函数：

已知函数 对所有的 是非负的，并且 当且仅当 。所以，GAN 最优解的集合可以被重新写成为：

样本 GAN 的问题的公式写成如下形式：

类似的有如下形式的定义：

则样本 GAN 的最优解的集合为：

要知道找到 的集合是一件非常有挑战的事情，现有的一些算法只是搜索近似解而不是求解 GAN 的精确解，给定一个任意小的非负常数 ，样本 GAN 的近似解 满足：

点 近似地解决了内部最大化问题和外部最小化问题， 是这个最大化和最小化问题的松弛度。进行更一般的推广，令 为一系列的任意小的非负随机变量，并且有 （ 表示的是依概率收敛）。

以上的不等式可以表示为：

根据之前样本 GAN 标准函数的定义则有：

当 时，可以得到一个精确解集的一个特例 。

一致性估计

在 GAN 中距离的度量是非常有必要的。常用到的距离是欧几里得距离的一个常用推广豪斯多夫距离，对于某些欧氏空间的任意两个非空有界子集 和 ， 和 的豪斯多夫距离表示为：

其中 表示的是点 到集合 的最短距离。豪斯多夫距离是从一个集合中的任意点到另一个集合中最近的相邻点的最大距离。豪斯多夫距离 是一种非空紧集族的度量，并且对于集合 当且仅当 。

在该论文中作者要证明的一致性结果本质上是豪斯多夫一致性即 。该证明需要证明以下两个条件成立：

前一个条件保证 和 相差不大，后一个条件保证 可以覆盖 。

假设3：豪斯多夫距离依概率收敛

(a) 其中 关于 连续；

(b) 当 时，则 成立。

假设4：收敛速度

(a) 是一系列的非负随机变量并有 ；

(b) 是一系列的正随机变量并有 ，。

定理1：一致性条件

(a) 如果假设3 (a) 和假设4 (a)  成立，则有：

(b) 如果假设3 (b) 和假设4 (b) 成立，则有：

定理1的 (a) 部分给出了单侧豪斯多夫一致性条件；在 (b) 部分的更强条件下，给出了期望的豪斯多夫一致性结果。在不知道多个解的情况下，定理 1 告诉我们 GAN 设置的结果是一个一致性结果，单侧一致性结果可以覆盖精确解，而双侧的情况下则需要选择更严格的松弛序列 。

置信集

的置信集是以预定概率覆盖整个 的随机集。设 表示期望的覆盖概率，其中。作者的目标是构造置信集 ：

其中这里 指的是固定的 的概率测度。在传统的点识别设置中， 由单个点 组成，形成置信集的传统途径是考虑 附近的某个函数的泰勒近似；作者考虑的置信集基于标准函数 的适当的下轮廓集。如果已知 分布的 分位数 ，可以形成满足：

置信集。在适当的条件下，可以证明当 时， 对于 保持随机有界，对于 发散到无穷远。

GAN 问题有多个解，置信集 中子采样大小 使得当 时， 和 。那么置信集 满足：

定理 2 表明， 在 处连续时，置信集 的渐近覆盖概率至少为 。一般来说，极限分布 相当复杂，验证 的连续性需要一些更具体的假设。

更多阅读

#投 稿 通 道#

 让你的论文被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

📝 稿件基本要求：

• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注 

• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题

• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算

📬 投稿通道：

• 投稿邮箱：[e-mail] 

• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿

△长按添加PaperWeekly小编

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

关于PaperWeekly

PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击「交流群」，小助手将把你带入 PaperWeekly 的交流群里。