什么是联合熵 | 集智百科

“集智百科精选”是一个长期专栏，持续为大家推送复杂性科学相关的基本概念和资源信息。作为集智俱乐部的开源科学项目，集智百科希望打造复杂性科学领域最全面的百科全书，欢迎对复杂性科学感兴趣、热爱知识整理和分享的朋友加入！

本文是对集智百科中“联合熵”词条的摘录，参考资料及相关词条请参阅百科词条原文。

本词条由集智俱乐部众包生产，难免存在纰漏和问题，欢迎大家留言反馈或者前往对应的百科词条页面进行修改，一经修改，可以获得对应的积分奖励噢！

目录

一、定义二、属性三、与其他熵测度的关系四、联合微分熵
五、编者推荐六、百科项目志愿者招募

该图表示在变量X、Y相关联的各种信息量之间，进行加减关系的维恩图。两个圆重合的区域是联合熵H(X,Y)。左侧的圆（红色和紫色）是单个熵H（X），红色是条件熵H（X ǀ Y）。右侧的圆（蓝色和紫色）为H（Y），蓝色为H（Y ǀ X）。中间紫色的是相互信息i（X; Y）。

在信息论中， 联合熵是用于对与一组变量相关的不确定性进行度量。

定义

联合熵 的定义是：以比特为单位，对于具有x和y的两个离散随机变量函数X和Y有

其中x和y分别是X和Y的特定值，P(x,y)是这些值产生交集时的联合概率，如果P(x,y)=0那么P(x,y)log2[P(x,y)]定义为0。对于两个以上的随机变量X₁X₂,,,,X_n，它扩展为

其中x₁,x₂,,,,x_n分别是X₁X₂,,,,,X_n的特定值，P(x₁,x₂,,,,x_n)是这些值产生交集的概率，如果P(x₁,x₂,,,,x_n)=0那么P(x,y)log2[P(x,y)]定义为0。

属性

非负性

一组随机变量的联合熵是一个非负数。

高值性/最值性/大于或等于单个熵的最大值

一组变量的联合熵大于或等于该组变量的所有单个熵的最大值。

低值性/小于或等于单个熵的总和

一组变量的联合熵小于或等于该组变量各个熵的总和，这是次可加性的一个运用实例。即当且仅当X和Y独立统计时，该不等式才是等式。

与其他熵测度的关系

联合熵被用于定义条件熵：

它也被用于定义交互信息：

在量子信息论中，使用的是广义化的联合熵，即联合量子熵。

应用

在这里我们提供了一个python软件包，可用于计算n个变量的数据集中的所有多元联合熵、交互信息、条件交互信息、总相关性以及信息距离。

联合微分熵

定义

上文中的定义是针对离散随机变量的，而其实对于连续随机变量，联合熵同样成立。离散联合熵的连续形式称为联合微分（或连续）熵。令X和Y分别为具有联合概率密度函数f(x,y)的连续随机变量，那么微分联合熵h(X,Y)定义为：

对于两个以上的连续随机变量X₁X₂,,,,X_n，其定义可概括为：

这里可以用积分处理表达 f。当然，如果微分熵没有定义，那么积分也可能不存在。

属性

与离散条件下的联合熵相似，联合微分熵也具有同样的属性，即：一组随机变量的联合微分熵小于或等于各个随机变量的熵之和：

以下链式法则适用于两个随机变量：

对于两个以上的随机变量，一般可归纳为：

联合微分熵也用于定义连续随机变量之间的交互信息：

编者推荐

集智课程

信息熵和编码

https://campus.swarma.org/course/308

本课程对常见的编码方法进行了解析，对编码的特点与性质，以及编码的相关证明方法进行了说明。

熵

https://campus.swarma.org/course/3155

在本课程中，程帆老师讲解了熵的简史及定义，介绍了相对熵、相关熵、条件熵以及链式法则。

百科项目志愿者招募

作为集智百科项目团队的成员，本文内容由Jie翻译，CecileLi审校，不是海绵宝宝编辑。我们也为每位作者和志愿者准备了专属简介和个人集智百科主页，更多信息可以访问其集智百科个人主页。

以上内容都是我们做这项目的起点，作为来自不同学科和领域的志愿者，我们建立起一个有效的百科团队，分配有审校、翻译、编辑、宣传等工作。我们秉持：知识从我而来，问题到我为止的信念，认真负责编撰每一个词条。

在这里从复杂性知识出发与伙伴同行，同时我们希望有更多志愿者加入这个团队，使百科词条内容得到扩充，并为每位志愿者提供相应奖励与资源，建立个人主页与贡献记录，使其能够继续探索复杂世界。

如果你有意参与更加系统精细的分工，扫描二维码填写报名表，我们期待你的加入！

集智百科报名表

来源：集智百科

编辑：王建萍

推荐阅读

点击“阅读原文”，阅读词条联合熵原文与参考文献