什么是概率图模型：表示、推理与学习 | 集智百科 | 集智百科

“集智百科精选”是一个长期专栏，持续为大家推送复杂性科学相关的基本概念和资源信息。作为集智俱乐部的开源科学项目，集智百科希望打造复杂性科学领域最全面的百科全书，欢迎对复杂性科学感兴趣、热爱知识整理和分享的朋友加入！

本文是对集智百科中“概率图模型”词条的摘录，参考资料及相关词条请参阅百科词条原文。

本词条由集智俱乐部众包生产，难免存在纰漏和问题，欢迎大家留言反馈或者前往对应的百科词条页面进行修改，一经修改，可以获得对应的积分奖励噢！

本词条由集智俱乐部众包生产，难免存在纰漏和问题，欢迎大家留言反馈或者前往对应的百科词条页面进行修改，一经修改，可以获得对应的积分奖励噢！

目录

一、图模型的表示二、图模型的推理三、图模型的学习
四、应用
五、编者推荐六、集智百科词条志愿者招募

参考文献等请扫码查看词条原文

图模型 Graphical Model，亦称概率图模型 Probabilistic Graphical Model（PGM）或结构化概率模型 structured probabilistic model，是一种用图表示随机变量之间条件依赖关系的概率模型。它们通常用于概率论、统计学，尤其是贝叶斯统计学和机器学习。

这是一个图模型的例子。每个箭头表示一个依赖关系。在这个例子中: D 依赖于 A、 B 和 C; C 依赖于 B 和 D; 而 A 和 B 相互独立。

常用的概率图模型大致分为两类：贝叶斯网络（Bayesian network, BN）和马尔可夫网络（Markovnetwork, MN）或者称为马尔可夫随机场。概率图理论共分为三个部分，分别为概率图模型表示理论，概率图模型推理理论和概率图模型学习理论。

其中：

• 图模型的表示representation是指：如何用图模型来将概率分布进行表示；
• 图模型的推理inference是指：在已知图模型的情况下，如何计算某一未知节点的概率；
• 图模型的学习learning是指：对图的结构和参数的学习。

图模型的表示

一般来说，概率图模型中图的表示方法常常作为对多维空间上的分布进行编码的基础，主要由参数和结构两个部分组成。

常用的概率图模型大致分为两类：贝叶斯网络（Bayesian network, BN）和马尔可夫网络（Markov network, MN）或者称为马尔可夫随机场（Markov Random Field, MRF）。这两种模型的主要思想都是利用条件独立性假设来对联合概率分布进行因式分解，从而达到降维的目的。概率图模型的好处是提供了一种简单的可视化概率模型的方法，有利于设计和开发新模型，并且简化数学表示，提高推理运算能力。

贝叶斯网络一般是指有向图模型，使用有向无环图来表示变量之间的关系；

马尔可夫随机场一般是指在无向图模型，使用无向图来表示变量之间的关系。

贝叶斯网络

如果模型的网络结构是有向无环图，则模型表示所有随机变量的联合概率的因式分解。更确切地说，如果事件是X1，，Xn，那么联合概率满足：

其中 pa(Xi)，是节点Xi的父节点集（节点的边际指向Xi）。换句话说，联合分布因子可以表示为条件分布的乘积。例如，上图中的图模型（实际上不是有向无环图，而是原始图）是由随机变量Ａ，Ｂ，Ｃ，Ｄ联合概率密度因子为

任何两个节点都是和其父节点的值是条件独立的。一般来说，如果 d-分离准则在图中成立，那么任意两组节点和给定第三个节点集都是条件独立的。在贝叶斯网络中，局部独立性和全局独立性是等价的。

这种类型的图形模型被称为有向图模型、贝氏网路或信念网络。经典的机器学习模型：隐马尔可夫模型、神经网络和更新的模型如可变阶马尔可夫模型都可以看作是贝叶斯网络的特殊情况。

马尔可夫随机场

如果模型的网络结构是无向图，则模型表示所有团的联合概率的因式分解。更确切地说，如果X{k}是随机变量X 在第k个团的状态（|Ck|是在第k个团中包含的节点数），那么联合概率满足：

图模型的推理

概率图模型的推理方法主要分精确推理和近似推理两大类，而根据网络结构和查询问题的不同，概率图模型的推理方法可以分为三大类，分别是BN和MN的推理、混合网络的推理和DBN的推理，然后再根据查询问题的形式对每一类推理方法继续细分，下图着重介绍BN和MN的推理。

其中概率查询是计算后验概率分布P（Y|E=e），其中Y是查询变量集，E为证据变量集；MAP表示最大后验概率查询，也称最有可能解释查询，即求出非证据变量集的最有可能取值。

图模型的学习

由于概率图模型的表示分参数表示和结构表示两个部分, 因此学习算法也分为参数学习与结构学习两大类。

贝叶斯网络模型学习

贝叶斯网络模型模型的参数学习，一般会假设结构一致，然后从样本数据中学习每个变量的概率分布。概率分布的形式一般会预先设定，如多项式分布、高斯分布和泊松分布等。贝叶斯网络模型的结构学习是贝叶斯网络学习的最主要的部分，此时贝叶斯网络的参数和结构都未知，需要从样本数据中找到与数据匹配度最好的网络结构。当确定网络结构之后，参数学习知识相对简单的参数估计问题。结构学习的算法主要分为三类：基于约束 (Constraint based, CB) 的学习算法、基于评分搜索(Scoring and searching, SS) 的学习算法和混合学习算法。

马尔可夫随机场模型学习

马尔可夫随机场模型的学习任务比贝叶斯网络模型的学习更加复杂。在马尔可夫随机场模型的参数学习中, 其配分函数耦合了结构中的所有参数，使得参数学习问题不能分解，不能分别独立估计每个局部参数。而且马尔可夫随机场的最优参数没有解析解，所以一般使用迭代方法求解最优参数，如梯度下降法。庆幸的是，迭代中的似然目标函数为凹函数，迭代方法能保证收敛至全局最优解。但是迭代中的每一步都需要在网络中进行推理，使得计算成本相当高。MN 的结构学习也需要计算划分函数，所以其参数学习存在的问题对结构学习有很大的影响。

其他类别

• 朴素贝叶斯分类器 Naive Bayes classifier，其中会使用单根树。
• 依赖性网络 Dependency network中会出现环。
• 树增广朴素贝叶斯分类器 Tree-augmented classifier 或简称为TAN模型。
• 因子图 factor graph是连接变量和因子的无向二分图。每个因子代表与其连接的变量有关的函数。这对于理解和实现信念传播算法很有帮助。
• 团树 clique tree或者联合树，是指基于团的树，一般是将有向图转化为树，减少计算难度，一般会使用联合树算法来求解。
• 链式图 chain graph 是既可以有向也可以无向的边，但是没有任何有向环（即，如果我们从任意一个顶点开始并依据任何箭头的方向沿该图形移动，则只要我们沿着箭头走了一步我们将无法返回到该顶点）。有向无环图和无向图都是链式图的特例，因此可以提供一种统一和泛化贝叶斯网络和马尔可夫网络的方法。
• 祖先图是既有有向边，也有双向边和无向边的图。
• 随机场方法
• 马尔可夫随机场也称为马尔可夫网络，是一个基于无向图的模型，图模型中很多重复的子单元可以用 “盘子表示法”（plate notation） 来进行表示。
  
• 条件随机场是基于无向图上的判别模型。
• 受限玻尔兹曼机是一个基于无向图上的二分生成模型。

应用

该模型的框架为发现和分析复杂分布中的结构、简洁地描述结构和提取非结构化信息提供了算法，使模型得到有效的构建和利用。图形模型的应用包括因果推理、信息抽取、语音识别、l计算机视觉、低密度奇偶校验码的解码、基因调控网络的建模、基因发现和疾病诊断，以及蛋白质结构的图形模型。

编者推荐

因果科学与 Causal AI 读书会

因果推断与机器学习领域的结合已经吸引了越来越多来自学界业界的关注，为深入探讨、普及推广因果科学议题，智源社区携手集智俱乐部将举办第二期「因果科学与CausalAI读书会」。本期读书会着力于实操性、基础性，将带领大家精读因果科学方向两本非常受广泛认可的入门教材。

1. Pearl, Judea, Madelyn Glymour, and Nicholas P. Jewell. Causal inference in statistics: A primer. John Wiley & Sons, 2016.（本书中译版《统计因果推理入门（翻译版）》已由高等教育出版社出版）

2. Peters, Jonas, Dominik Janzing, and Bernhard Schölkopf. Elements of causal inference: foundations and learning algorithms. The MIT Press, 2017.

读书会每周将进行直播讨论，进行问题交流、重点概念分享、阅读概览和编程实践内容分析。非常适合有机器学习背景，希望深入学习因果科学基础知识和重要模型方法，寻求解决相关研究问题的朋友参加。详情参见：连接统计学、机器学习与自动推理的新兴交叉领域——因果科学读书会再启航。

百科项目志愿者招募

作为集智百科项目团队的成员，本文内容由HaoZHAN，Yuling，薄荷参与贡献。我们也为每位作者和志愿者准备了专属简介和个人集智百科主页，更多信息可以访问其集智百科个人主页。

以上内容都是我们做这项目的起点，作为来自不同学科和领域的志愿者，我们建立起一个有效的百科团队，分配有审校、翻译、编辑、宣传等工作。我们秉持：知识从我而来，问题到我为止的信念，认真负责编撰每一个词条。

在这里从复杂性知识出发与伙伴同行，同时我们希望有更多志愿者加入这个团队，使百科词条内容得到扩充，并为每位志愿者提供相应奖励与资源，建立个人主页与贡献记录，使其能够继续探索复杂世界。

如果你有意参与更加系统精细的分工，扫描二维码填写报名表，我们期待你的加入！

集智百科报名表

来源：集智百科

编辑：王建萍

推荐阅读

点击“阅读原文”，阅读概率图模型相关内容与参考文献