查看原文
其他

香农:无缘诺奖的信息论之父,却在不同时空与22位科学家相遇

陈关荣 集智俱乐部 2021-02-09



导语

克劳德·埃尔伍德·香农(Claude Elwood Shannon),美国数学家,提出了信息熵的概念,奠定了信息论和数字通信的基础。虽然无缘诺贝尔奖,但香农的研究却与各个领域的顶尖学者产生过交集。陈关荣教授在本文中整理了22位科学家与香农跨时空的“meet”。


美国科学家香农(Claude Elwood Shannon,1916年4月30日-2001年2月26日)以创立信息论而著名。


香农出生于密歇根(Michigan)的湖滨小镇佩托斯基(Petoskey),该地名来自当地印第安人语,意为“旭日之光”。



建立现代信息论


1936年,香农在密歇根大学获得数学与电气工程学士学位,然后进入麻省理工学院(MIT)读研究生。1938年香农在MIT获得电气工程硕士学位,学位论文题目是“继电器与开关电路的符号分析”(A symbolic analysis of relay and switching circuits)。他把布尔代数的“真”与“假”和电路系统的“开”与“关”对应起来,分别用1和0表示。


他的数学分析为数字电路打下了理论基础,把计算机科学引上了数字化的道路,为今天形形色色的数字技术铺垫了牢固的基石。


1940年,香农因这一成果获得了美国工程师学会颁发的Alfred Noble奖。同年,香农在MIT获得数学博士学位,学位论文题目是“理论遗传学的代数学”(An algebra for theoretical genetics)。


在科学史上被公认为有奠基性成果的博士论文并不多见,广为人知的当然有爱因斯坦、居里夫人、德布罗意、费曼,数学方面还包括黎曼和纳什,而香农的博士论文被认为是二十世纪最优秀的一篇。


1940-41年间,香农在普林斯顿高等研究院工作,期间开始思考信息理论和数字通信问题。1941年,他加入AT&T电话电报公司的贝尔实验室(Bell Labs)数学部,工作至1956年。其后被MIT聘为客座教授,1958年成为讲座教授,1978年退休成为名誉教授。


在贝尔实验室期间,除了火炮控制系统之外,信息保密和隐藏技术是香农的主要工作内容。1945年,香农向实验室提交了一份机密文件“密码学的数学理论”(A mathematical theory of cryptography)。该研究成果在二战结束后于1949年以“保密系统的通信理论”(Communication theory of secrecy systems)为题正式发表,为现代公钥密码和分组密码设计提供了启发和指导。他随即被美国政府聘为密码事务顾问。


在贝尔实验室,信息理论和数字通信一直是香农的重点科学研究内容。1948年,香农在实验室主办的杂志《Bell System Technical Journal》上分两期发表了一篇论文“通信的数学原理”(A mathematical theory of communication),研究了如何最好地为发送信息编码,引进了量度不确定性的信息熵,还设计了稍后和范诺(Robert Fano)一起完成的“香农-范诺编码”。1949年,他又在该杂志上发表了“噪声下的通信”一文,其中建立了著名的香农采样定理(Shannon sampling theorem)。


香农这期间的一系列工作,建立了现代信息论


他后来回忆道:“我的第一个想法,就是如何在噪声信道中最好地改善信息传输”。香农在文章中定义了信息的基本单位,采取了贝尔实验室同事John Tukey的建议,定为“比特”。当年,据说是冯·诺尔曼(John von Neumann)说服香农借用热力学的“熵”这个词。冯·诺尔曼认为,当时没有人知道这个“信息熵”是什么,这在学术界关于信息理论辩论中会给香农带来优势。此外,香农说过他的通信理论在数学和哲学原理方面颇多受益于MIT 的同事维纳(Norbert Wiener)。维纳则强调,引入信息熵及数字技术作为该理论的基础是香农个人的功劳。


逼近香农极限


香农在1948年的论文中还引进了通信信道的香农极限(Shannon limit),也称为香农容量(Shannon capacity),就是针对特定噪声水平的信道的最大理论信息传输速率。后来著名的香农定理(噪声信道编码定理)指出:  信息传输速率即信道容量,是带宽,是平均信号功率,是平均噪声功率,为信噪比。香农极限就是其最大值。香农在该论文中解释了如何计算这个极限,但他当时并不知道如何逼近它。多年以后,香农和其他科学家不断地挑战这个重要而棘手的技术问题。现代通信系统从1G、2G、3G、4G到5G的整个发展过程中,全世界的科学家、通信运营商和生厂商们一直在追逐着逼近香农极限。2018年初,NOKIA在新闻发布会上宣称,他们的第三代光子业务引擎PSE-3芯片达到了目前逼近香农极限的最佳值。


兴趣驱动研究


1951年,香农发表了“书面英语的预测和熵”(Prediction and entropy of printed English)一文,说明信息论不但可以应用于计算机语言,而且可以应用于自然语言,他还计算了英语的熵,主张从数理统计的角度去分析人类语言。


香农是一个典型的兴趣驱动型的科学家,他并不考虑自己的研究成果有无商业价值,甚至不关心最后成果是否有用。他说:“我在完全无用的事情上花了大量的时间”。


事实上,香农对各种创新尝试的喜好甚至让他迷恋上智能游戏机。1949年,他发表了论文“为下棋计算机编程”(Programming a computer for playing chess),勾画了关于人工智能的一项开创性工作。次年,他亲手制造了一只名为“忒修斯”(Theseus)的机器老鼠,让机械鼠通过反复试探后自己找到迷宫的出路。忒修斯是希腊神话中的英雄,他为了解救希腊的童男童女,自告奋勇到克里特岛除掉了人头牛身的恶怪“弥诺陶洛斯”(Minotaur),并在可怕的迷宫里成功地找到了出口。





©  http://history-computer.com


1951年,香农发表了论文“介绍一个走迷宫的机器”(Presentation of a maze solving machine),解释了这一任务是通过密集继电器系列的运作完成的,取材于贝尔电话系统的交换机元件。那个巧妙的机电设计被视为现代计算机芯片的雏型。1953年,他又设计了一个“心灵阅读”(mind reading)机器,它通过观察和分析弈棋对手过去所做各种选择的样本,能够相当准确地猜测到对手下一步棋的走法。那个成功的逻辑设计被视为现代机器学习和人工智能发展的前奏。香农当年说过:“我认为,几十年后机器智能超越人类是完全可以预期的”。


1960年代,年方半百的香农逐渐消失在公众的视野中。他甚至不再出席由他创办的信息领域专业会议。香农曾经说过:“许多伟大数学家在年轻的时候就已经完成了生命中最重要的研究”。也许是他自认为江郎才尽了?旁人和后人都不得而知。只是到了1985年,有一次他出乎意料地出现在英国布莱顿举行的国际信息论研讨会上,当时很多与会者甚至不知道他仍然在世。事实上到了1980年代,香农的记忆力开始严重衰退,后来患上了老年痴呆症。香农在与疾病抗争了很长一段时间后于2001年2月24日辞世,享年84岁。




©  http://history-computer.com


回顾香农辉煌的一生,他年轻时开始已经在世界上被逐渐公认推崇,获得过10个荣誉博士学位(先后依次为密歇根大学、普林斯顿大学、爱丁堡大学、匹兹堡大学、美国西北大学、牛津大学、东英格伦大学、卡内基梅隆大学、塔夫斯大学和宾夕法尼亚大学),成为美国科学院和工程院院士以及英国皇家学会院士。他获得的主要奖项包括1985年的日本京都奖(Kyoto Prize)、1966年的IEEE 荣誉奖章(IEEE Medal of Honor)、1972年IEEE第一届香农奖(Shannon Award)和1996年的美国国家科学奖(National Medal of Science)。遗憾的是,香农研究工作的领域和本质决定了他无缘于诺贝尔奖。



22位科学家 “Meets Shannon”


在香农的生前身后,许多科学家和数学家都遇见过他(“Meets Shannon”)。除了与他同时代或稍后的知名数学家和科学家卡诺(Carnot,1796-1832)、菲克(Fick,1829-1901)、李雅普诺夫(Lyapunov,1857-1918)、马可尼(Marconi,1874-1937)、奈奎斯特(Nyquist,1889-1976)、维纳(Wiener,1894-1964)、冯·诺尔曼(von Neumann,1903-1957)、波德(Bode,1905-1982)、列昂季耶夫(Leontief,1906-1999)、图灵(Turing,1912-1954)、布莱克韦(Blackwell,1919-2010)、贝尔曼(Bellamn,1920-1984)、纳什(Nash,1928-2015)、列康(LeCam,1924-2000)、摩尔(Moore,1929-)、卡尔曼(Kalman,1930-2016)、斯特朗(Strang,1934-)、索兹(Shortz,1952-)之外,还有他的前辈傅里叶(Fourier,1768-1830)、麦克斯韦(Maxwell,1831-1879)、瓦尔拉斯(Walras,1834-1890)、特斯拉(Tesla,1856-1943),他们都遇见过香农(见[附录])。


香农如此敬业乐群,你也遇见过他么?



附录:Who meets Shannon or Shannon meets whom?


  1. 卡诺(Carnot): O Shental and I Kanter, Shannon meets Carnot: Generalized second thermo-dynamic law, Europhysics Letters, 85(1): 10006, 2009.

  2. 卡诺(Carnot): H Li, Information efficiency of communications for networked control in cyber physical systems: When Carnot meets Shannon, 55th IEEE Conference on Decision and Control, Dec. 12-14, 2016, Las Vegas, NV, USA

  3. 菲克(Fick): AO Bicen, JJ Lehtomäki, and IF Akyildiz, Shannon meets Fick on the microfluidic channel: Diffusion limit to sum broadcast capacity for molecular communication, IEEE Transactions on NanoBioscience, 17(1): 88-94, 2018.

  4. 李雅普诺夫(Lyapunov): T Holliday, P Glynn and A Goldsmith, Shannon meets Lyapunov: Connections between information theory and dynamical systems, 44th IEEE Conference on Decision and Control, Dec. 12-16, 2005, Seville, Spain, 2005.

  5. 马可尼(Marconi): D Tse, Modern wireless communication: When Shannon meets Marconi, 2006 IEEE International Conference on Acoustics, Speech and Signal Processing, May 14-19, 2006, Toulouse, France, 2006.

  6. 奈奎斯特(Nyquist): YX Chen, AJ Goldsmith and YC Eldar, Shannon meets Nyquist: The interplay between capacity and sampling, 49th Annual Allerton Conference on Communication, Control, and Computing, Sept. 28-30, Monticello, IL, USA, 2011.

  7. 奈奎斯特(Nyquist): YX Chen, YC Eldar, and AJ Goldsmith, Shannon meets Nyquist: Capacity of sampled Gaussian channels, IEEE Transactions on Information Theory, 39(8): 4889-4914, 2013.

  8. 维纳(Wiener): GD Forney, On the role of MMSE estimation in approaching the information-theoretic limits of linear Gaussian channels: Shannon meets Wiener, 41st Annual Allerton Conference on Communication, Control and Computing, Oct. 1-3, 2003,  Monticello, IL, USA, 2003; and Shannon meets Wiener II: On MMSE estimation in successive decoding schemes, 2004.

  9. 冯·诺尔曼(von Neumann): ST Jose and AA Kulkarni, Shannon meets von Neumann: A minimax theorem for channel coding in the presence of a jammer, arXiv:1811.07358, 2018.

  10. 波德(Bode): N Elia, When Bode meets Shannon: Control-oriented feedback communication schemes, IEEE Transactions on Automatic Control, 49(9): 1477-1488, 2004.

  11. 列昂季耶夫(Leontief): D Zachariah and P Cockshott, Leontief meets Shannon - Measuring the complexity of the economic system, arXiv:1705.02154, 2017.

  12. 图灵(Turing): JP Giannini and T Bowen, Life in code and digits: When Shannon met Turing, Electronic Visualisation and the Arts, July 11-13, 2017, London, UK, 2017.

  13. 图灵(Turing): W Szpankowski and A Grama, Frontiers of science of information: Shannon meets Turing, Computer, 51(1): 28-38, 2018.

  14. 布莱克韦(Blackwell)和列康(LeCam): M Raginsky, Shannon meets Blackwell and LeCam : Channels, codes, and statistical experiments, IEEE International Symposium on Information Theory, July 31 - Aug. 5, 2011, St. Petersburg, Russia, 2011.

  15. 贝尔曼(Bellamn): S Meyn and G Mathew, Shannon meets Bellman: Feature based Markovian models for detection and optimization, 47th IEEE Conference on Decision and Control, Dec. 9-11, 2008, Cancun, Mexico, 2008.

  16. 纳什(Nash): RA Berry and DNC Tse, Shannon meets Nash on the interference channel, IEEE Transactions on Information Theory, 57(5): 2821-2836, 2011.

  17. 摩尔(Moore): L Harrison, Moore’s law meets Shannon’s law: The evolution of the communication's industry, IEEE International Conference on Computer Design: VLSI in Computers and Processors, Sept. 23-26, 2001, Austin, TX, USA, 2001.

  18. 摩尔(Moore): S Scholl, S Weithoffer and N When, Advanced iterative channel coding schemes: When Shannon meets Moore, 9th International Symposium on Turbo Codes and Iterative Information, Sept. 5-9, 2016, Brest, France, 2016.

  19. 卡尔曼(Kalman): A Gattami, Kalman meets Shannon, arXiv:1404.4350, 2014.

  20. 斯特朗(Strang): PL Dragotti, M Vetterli, and T Blu, Sampling moments and reconstructing signals of finite rate of innovation: Shannon meets Strang–Fix, IEEE Transactions on Signal Processing, 55(5): 1741-1757, 2007.

  21. 索兹(Shortz): M Efron, Shannon meets Shortz: A probabilistic model of crossword puzzle difficulty, Journal of the American Society for Information Science and Technology, 59(6): 875-886, 2008.

  22. 傅里叶(Fourier): ZD Wang and GB Giannakis, Wireless multicarrier communications: Where Fourier meets Shannon, IEEE Signal Processing Magazine, 17(3): 29-48, 2000.

  23. 麦克斯韦(Maxwell): K Chakraborty and M Franceschetti, Maxwell meets Shannon: Space-time duality in multiple antenna channels, 44th Annual Allerton Conference on Communication, Control, and Computing, Sept. 27-29, 2006, Monticello, IL, USA, 2006. 

  24. 麦克斯韦(Maxwell): SH Lee and SY Chung, Capacity scaling of wireless ad hoc networks: Shannon meets Maxwell, IEEE Transactions on Information Theory, 58(3): 1702-1715, 2012.

  25. 瓦尔拉斯(Walras): E Jorswieck and R Mochaourab, Shannon meets Walras on interference networks, International Workshop on Information Theory and Applications, Feb. 10-15, 2013, San Diego, CA, USA, 2013.

  26. 特斯拉(Tesla): P Grover and A Sahai, Shannon meets Tesla: Wireless information and power transfer, International Symposium on Information Theory, June 13-18 2010, Austin, TX, USA, 2010.


作者:陈关荣

编辑:王怡蔺



推荐阅读


3.14:神奇的 π 日背后的神奇数学

命名博弈:研究语言的形成与演化 | 新书推荐

信息论视角下的生命起源与进化

从角落的阴影中重建完整场景信息

加入集智,一起复杂!





集智俱乐部QQ群|877391004

商务合作及投稿转载|swarma@swarma.org

◆ ◆ ◆

搜索公众号:集智俱乐部


加入“没有围墙的研究所”

让苹果砸得更猛烈些吧!

    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存