从最大似然到EM算法：一致的理解方式

作者丨苏剑林

单位丨广州火焰信息科技有限公司

研究方向丨NLP，神经网络

个人主页丨kexue.fm

最近在思考 NLP 的无监督学习和概率图相关的一些内容，于是重新把一些参数估计方法理了一遍。

在深度学习中，参数估计是最基本的步骤之一了，也就是我们所说的模型训练过程。为了训练模型就得有个损失函数，而如果没有系统学习过概率论的读者，能想到的最自然的损失函数估计是平均平方误差，它也就是对应于我们所说的欧式距离。

而理论上来讲，概率模型的最佳搭配应该是“交叉熵”函数，它来源于概率论中的最大似然函数。

最大似然

合理的存在

何为最大似然？哲学上有句话叫做“存在就是合理的”，最大似然的意思是“存在就是最合理的”。具体来说，如果事件 X 的概率分布为 p(X)，如果一次观测中具体观测到的值分别为 X1,X2,…,XN，并假设它们是相互独立，那么：

是最大的。如果 p(X) 是一个带有参数 θ 的概率分布式 pθ(X)，那么我们应当想办法选择 θ，使得 L 最大化，即：

对概率取对数，就得到等价形式：

如果右端再除以 N，我们就得到更精炼的表达形式：

其中我们将 −L(θ) 就称为交叉熵。

理论形式

理论上，根据已有的数据，我们可以得到每个 X 的统计频率 p̃(X)，那么可以得到上式的等价形式：

但实际上，我们几乎都不可能得到 p̃(X)（尤其是对于连续分布），我们能直接算的是关于它的数学期望，也就是 (4) 式，因为求期望只需要把每个样本的值算出来，然后求和并除以 N 就行了。所以 (5) 式只有理论价值，它能方便后面的推导。 

要注意的是，上面的描述是非常一般的，其中 X 可以是任意对象，它也有可能是连续的实数，这时候就要把求和换成积分，把 p(X) 变成概率密度函数。当然，这并没有什么本质困难。

有监督模型

现在我们来观察有监督学习中是如何应用上述内容的。假设输入为 X，标签为 Y，那么 (X,Y) 就构成了一个事件，于是我们根据 (4) 就有：

这里已经注明了是对 X,Y 整体求数学期望，然而该式却是不够实用的。

分类问题

以分类问题为例，我们通常建模的是 p(Y|X) 而不是 p(X,Y)，也就是我们要根据输入确定输出的分布，而不是它们的联合分布。所以我们还是要从 (5) 式出发，利用 p(X,Y)=p(X)p(Y|X)，先得到：

因为我们只对 p(Y|X) 建模，因此 pθ(X) 我们认为就是 p̃(X)，那么这相当于让优化目标多了一个常数项，因此 (7) 等价于：

然后，我们还有 p̃(X,Y)=p̃(X)p̃θ(Y|X)，于是 (8) 式还可以再变化成：

最后别忘了，我们是处理有监督学习中的分类问题，一般而言在训练数据中对于确定的输入 X 就只有一个类别，所以 p̃(Yt|X)=1，其余为 0，Yt 就是 X 的目标标签，所以：

这就是最常见的分类问题的最大似然函数了：

变变变

事实上，上述的内容只是一些恒等变换，应该说没有特别重要的价值，而它的结果（也就是分类问题的交叉熵损失）也早就被我们用得滚瓜烂熟了。

因此，这一节仅仅是展示了如何将最大似然函数从最原始的形式出发，最终落实到一个具体的问题中，让读者熟悉一下这种逐步推进的变换过程。

隐变量

现在就是展示它的价值的时候了，我们要将用它来给出一个 EM 算法的直接推导。对于 EM 算法，一般将它分为 M 步和 E 步，应当说，M 步是比较好理解的，难就难在 E 步的那个 Q 函数为什么要这样构造。

很多教程并没有给出这个 Q 函数的解释，有一些教程给出了基于詹森不等式的理解，但我认为这些做法都没有很好凸显出 EM 算法的精髓。

一般来说，EM 算法用于存在隐变量的概率问题优化。什么是隐变量？很简单，还是以刚才的分类问题为例，分类问题要建模的是 p(Y|X)，当然也等价于 p(X,Y)，我们说过要用最大似然函数为目标，得到 (6) 式：

如果给出 (X,Y) 的标签数据对，那就是一个普通的有监督学习问题了，然而如果只给出 X 不给出 Y 呢？这时候 Y 就称为隐变量，它存在，但我们看不见，所以“隐”。

GMM模型

等等，没有标签数据你也想做分类问题？当然有可能，GMM 模型不就是这样的一个模型了吗？在 GMM 中假设了：

注意，是 pθ(Y)pθ(X|Y) 而不是 pθ(X)pθ(Y|X)，两者区别在于我们难以直接估计 p(X)，也比较难直接猜测 p(Y|X) 的形式。

而 p(Y) 和 p(X|Y) 就相对容易了，因为我们通常假设 Y 的意义是类别，所以 p(Y) 只是一个有限向量，而 p(X|Y) 表示每个类内的对象的分布。

既然这些对象都属于同一个类，同一个类应该都长得差不多吧，所以 GMM 假设它为正态分布，这时候做的假设就有依据了，不然将所有数据混合在一起，谁知道假设什么分布好呢？

pLSA模型

当然，并不只有无监督学习才有隐变量，有监督学习也可以有，比如我们可以设：

这时候多出了一个变量 Z，就算给出 (X,Y) 这样的标签数据对，但 Z 仍然是没有数据的，是我们假想的一个变量，它也就是隐变量，pLSA 就是这样的一个问题。这时候它的最大似然估计是：

联合最大似然

再等等，你这个好像跟我之前看到的 pLSA 的目标函数不大一样呀？还有 (6) 式也跟 GMM 的目标函数不一样呀？你是不是弄错了？ 

我觉得并没有弄错，最大似然函数应该要考虑的是整体联合分布，也就是得把 Z 也考虑进去。而教程一般是这样处理的：由于隐变量不可观测，因此一般改用边缘分布（也就是显变量的分布）的最大似然为目标函数，即：

为最大化的目标。

事实上这种做法我认为是不大妥当的，隐变量虽然“隐”了，但既然我们假设它存在，那么它就是真的存在了，既然真的存在，最大似然函数当然要考虑上它，这才是真正的“存在就是最合理的”，是连同隐变量一起最合理才对：

而事实上这种处理不仅具有理论意义，它还极大简化了 EM 算法的推导，而如果采用边缘分布最大似然的做法，我们就无法直观地理解那个 Q 函数的来源了。

最后，可能有读者“异想天开”：那么参数 θ 是不是也可以看作一个隐变量呢？恭喜你，如果你有这层领悟，那你已经进入贝叶斯学派的思维范畴了。

贝叶斯学派认为，一切都是随机的，一切都服从某个概率分布，参数 θ 也不例外。不过很遗憾，贝叶斯学派的概率理论很艰深，我们这里还没法派上用场。

EM算法

好了，不再废话了，还是正式进入对 EM 算法的讨论吧。 

再变变变

以式 (6) 的模型为例，假设我们只有 X 的数据，没有对应的标签 Y，这时候 Y 是隐变量，但我们还是要算整体的最大似然，也就是前面的 (16) 式：

这时候我们依然没有解决的问题是：我们不知道 p̃(X,Y)，甚至 p̃(X) 我们也可能不知道（但我们可以算关于它的期望）。那好吧，将式子做一下变换：

这里的 𝔼 是对 X 求的期望。现在好像有点意思了，然而并没有什么用，因为 p̃(Y|X) 还是未知的。

EM大佬来了

这时候，大佬就发话了：先当它已知的吧，那么我们就可以算参数 θ 了：

然后根据算出来的结果再去更新 p̃(Y|X) 就是了，根据定义：

所以：

就让它们交替更新吧。现在来看看 (18) 式，有个 E（求期望），又有个 M（argmax），就叫它 EM 算法吧，那个被 E 的式子，我们就叫它 Q 函数好了。于是 EM 大佬就这样出来了，Q 函数也出来了，就这么任性。

当然，EM 算法中的 E 的本意是将：

看成是对隐变量 Y 求期望，这里我们就随意一点的，结论没错就行。

是不是感觉很突然？感觉啥也没做，EM 算法就这么两句话说清楚了？还包括了推导？

究竟在做啥

对于 pLSA 或者其他含有因变量的模型的 EM 算法，也可以类似地推导。对比目前我能找到的 EM 算法的推导，我相信上面的过程已经是相当简洁了。尽管前面很多铺垫，但其实都是基础知识而已。 

那这是如何实现的呢？回顾整个过程，其实我们也没做什么，只是坚持使用联合隐变量的整体分布的最大似然，然后该化简的就化简，最终关于隐变量部分没法化简，那就迭代吧，迭着迭着就出来了。

这样子得到的推导，比从边缘分布的最大自然出发，居然直接快捷了很多，也是个惊喜。

一致的理解

本文是作者对最大似然原理的一番思考，整体思路是从最大似然的原理和形式出发，来诱导出有监督/无监督学习的一些结果，希望能用一个统一的思想将各种相关内容都串起来。

最后发现结果也挺让人满意的，尤其是 EM 算法部分，以后只需要记住一切的根本都是（联合）分布的最大似然，再也不用死记 EM 算法中的 Q 函数形式了。

当然，文章有些观点都是“我认为”的，因此可能有不当之处，请读者甄别。不过可以保证的是结果跟现有的都是一样的。

点击以下标题查看相关内容： 

#榜 单 公 布 #

 我是彩蛋

 解锁新功能：热门职位推荐！

PaperWeekly小程序升级啦

今日arXiv√猜你喜欢√热门职位√

找全职找实习都不是问题

 解锁方式 

1. 识别下方二维码打开小程序

2. 用PaperWeekly社区账号进行登陆

3. 登陆后即可解锁所有功能

 职位发布 

请添加小助手微信（pwbot01）进行咨询

长按识别二维码，使用小程序

*点击阅读原文即可注册

关于PaperWeekly

PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击「交流群」，小助手将把你带入 PaperWeekly 的交流群里。

▽ 点击 | 阅读原文 | 进入作者博客