查看原文
其他

什么是熵 | 集智百科

集智百科 集智俱乐部 2021-02-24

“集智百科精选”是一个长期专栏,持续为大家推送复杂性科学相关的基本概念和资源信息。作为集智俱乐部的开源科学项目,集智百科希望打造复杂性科学领域最全面的百科全书,欢迎对复杂性科学感兴趣、热爱知识整理和分享的朋友加入!

今天分享物理学领域里面熵这一主题。大家都知道热力学第二定律,熵也在各个领域有着不同的应用。本文将介绍熵的基本概念,有哪些好玩的案例,知名的研究者、一些入门的学习资源。


目录


一、什么是熵?

二、熵增原理

三、熵与信息论

四、知名学者推介

五、相关资源推介

六、集智百科词条志愿者招募


一、什么是熵?

我们小时候玩玩具,如果没有家长管着,一定是搅得屋子里天翻地覆、无从下脚,并且乐此不疲。如果把玩具看作元素,所有的玩具看作一个系统,则系统从整齐变成了混乱。这时候,要想找到某个心爱的玩具就变得非常困难,因为它可能出现在任何角落。这个场景就蕴含了熵增加的原理。


通俗地来讲,熵表示一个系统内所有元素的状态总和。对于同一个系统来说,“有序”反映了各元素所处的状态相对简单,容易被掌握,熵较低。反之,“无序”则反映了各元素所处的状态复杂,不易掌握,熵较高。


下图体现了类似“玩玩具”的过程:当分子排列整齐时,能够轻松定位每个分子。而他们散得越开,越难把握分子的位置和运动状态。这是个熵增加的过程。

 

图1:熵增加的过程,分子排列从有序变成无序


熵最初在热力学中被提出,其概念来源于克劳修斯对卡诺热机的研究。后来,熵在信息论、天体物理、生命科学、计算机科学等领域均有重要应用。在不同的学科中,根据具体情境,引申出了相适应的定义。可以说,在各个领域,熵都是一个必备知识点。


二、熵增原理

 

现实生活中,为了能喝到温水,我们会把开水兑到凉白开里,这样整杯水都是温的。但是,为什么不会发生“热者更热,凉者更凉”的现象呢?这不违反热力学第一定律——能量守恒,因为热量只是从凉的地方转移到热的地方,并无增减。如果能够自发地“热者更热,凉者更凉”,我们完全可以使海水变凉一小点儿,然后得到用之不竭的能量。


图2:热量从温度高的地方转移到温度低的地方


理想很丰满,现实很骨感。热力学第二定律堵死了这条路。该定律指出:热量无法自发地从低温物体转移到高温物体。这是为什么呢?玻尔兹曼从微观分子层面给出了解释:高温物体分子动能较大,低温物体分子动能较小。他们相互接触时产生碰撞,在所有碰撞后产生的可能结果中,绝大部分是分子间动能趋向一致,极少数是分子间动能差异性更大。所以理论上来说,是存在“热者更热,凉者更凉”的可能性的,但是发生的概率小到完全可以忽略不计,现实生活中无法发生。


上述过程经简单物理推导可知,系统的熵是增加的。由此引出热力学第二定律的另一表述:孤立系统(不与外界进行能量交换,例如“保温杯”)的熵永远不会自发减少。熵在可逆过程中不变,在不可逆过程中增加。这就是“熵增原理”。根据熵增原理,宇宙作为一个孤立系统,随着时间推移,熵会增加。即宇宙中所有元素的状态总体上会更加复杂。


图3:宇宙中的熵不断增加


注:热力学第三定律——绝对零度不可达到


三、熵与信息论 


1948年,香农将热力学中的熵引入到信息论。在信息论中,熵用来测量事件结果的不确定性。例如,抛一枚正反面相同的硬币,那么结果是确定的,熵为零。抛一枚正常硬币,结果可能为正或为负,具有不确定性,熵大于零。如果将硬币正反面当做信息比特 (bit) “1”和“0”的话,那么比特位数越大,包含信息量越大,不确定性越高,熵越大。


图4:抛两枚硬币所产生结果的熵


四、知名学者简介

 鲁道夫·尤利乌斯·埃马努埃尔·克劳修斯 Rudolf Julius Emanuel Clausius


图5:Rudolf Julius Emanuel Clausius


德国物理学家和数学家,热力学的主要奠基人之一。他重新陈述了萨迪·卡诺的定律(卡诺循环),把热理论推至一个更真实更健全的基础。他最重要的论文于1850年发表,该论文首次明确指出热力学第二定律的基本概念。他还于1865年引进了熵的概念。

路德维希·玻尔兹曼 Ludwig Edward Boltzmann


图6:Boltzmann


奥地利物理学家、哲学家,热力学和统计物理学的奠基人之一。他最伟大的功绩是发展了统计力学——通过原子的性质(原子量,电荷量等)来解释和预测物质的物理性质(热传导,扩散等),并且从统计意义对热力学第二定律进行了阐释。

克劳德·艾尔伍德·香农 Claude Elwood Shannon


图6:Claude Elwood Shannon


美国数学家、电子工程师和密码学家,信息论的创始人,提出了信息熵的概念。1948年发表了划时代的论文——通信的数学原理,奠定了现代信息论的基础。不仅如此,香农还被认为是数字计算机理论和数字电路设计理论的创始人。

五、相关资源推荐


文章:

信息熵常被用来作为一个系统的信息含量的量化指标,从而可以进一步用来作为系统方程优化的目标或者参数选择的判据。该文章用通俗易懂的语言系统地梳理一下有关熵的概念,有助于初学者入门。

信息熵及其相关概念http://33s.co/mwxW
熵被认为一种悲观主义的世界观,而熵增定律也被认为是令全宇宙都绝望的定律。该文章介绍了其令人绝望的原因。
最令人绝望物理定律“熵增原理”:生命以负熵为食,最终走向消亡 https://xw.qq.com/amphtml/20190810A03VE1/20190810A03VE100


科普 | 用绵羊解释熵——从冰块融化到时间箭头之谜


究竟什么又是熵?为什么它总是增加的?为什么蛋壳或者酒杯会破碎?宇宙的起源如何,又将如何结束?为什么我们的过去与未来如此不同?本文作者用农场中的绵羊,对这些问题一一做了有趣的解答。


课程

张江老师详解热力学第二定律,揭示“熵”的来龙去脉:

复杂性思维2020课程目录下,见第10章-热力学第二定律与耗散结构

复杂性思维2020https://campus.swarma.org/course/1112/study


六、百科项目志愿者招募


作为集智百科项目团队的成员,本文内容由张祺、刘佩佩、刘世康、李媛翯参与贡献。我们也为每位作者和志愿者准备了专属简介和个人集智百科主页,更多信息可以访问其集智百科个人主页:



以上内容都是我们做这项目的起点,作为来自不同学科和领域的志愿者,我们建立起一个有效的百科团队,分配有审校、翻译、编辑、宣传等工作。我们秉持:知识从我而来,问题到我为止的信念,认真负责编撰每一个词条。


在这里从复杂性知识出发与伙伴同行,同时我们希望有更多志愿者加入这个团队,使百科词条内容得到扩充,并为每位志愿者提供相应奖励与资源,建立个人主页与贡献记录,使其能够继续探索复杂世界。


欢迎扫描下方二维码添加负责人加入集智百科团队!



参考资料:

[1]熵 集智百科 :

https://wiki.swarma.org/index.php?title=熵

[2]熵 维基百科:

https://en.wikipedia.org/wiki/Entropy

[3]熵 百度百科 :

https://baike.baidu.com/item/熵/101181?fr=aladdin

[4]热力学第二定律 百度百科

https://baike.baidu.com/item/热力学第二定律/473407?fr=aladdin

[5]热力学第二定律 维基百科

https://en.wikipedia.org/wiki/Second_law_of_thermodynamics

[6]信息熵 维基百科

https://en.wikipedia.org/wiki/Entropy_(information_theory)

[7]时间之箭(熵) 维基百科

https://en.wikipedia.org/wiki/Entropy_(arrow_of_time)

来源:集智百科编辑:曾祥轩



推荐阅读


混沌理论 | 集智百科
什么是PageRank算法 | 集智百科
什么是社团检测中的模块度 | 集智百科
城市熵的秘密:你的诗和远方,都有人在负重前行
反转时间之箭,量子力学如何挑战热力学第二定律?
加入集智,一起复杂!







集智俱乐部QQ群|877391004

商务合作及投稿转载|swarma@swarma.org

◆ ◆ ◆

搜索公众号:集智俱乐部


加入“没有围墙的研究所”

让苹果砸得更猛烈些吧!



👇点击“阅读原文”,阅读集智百科更多关于熵内容

    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存