其他
“信息论之父”香农
数学算法俱乐部
日期:2020年05月12日
正文共:2135字0图
预计阅读时间:6分钟
来源:算法与数学之美
“通信的基本问题就是在一点重新准确地或近似地再现另一点所选择的消息”。
这是数学家香农(Claude E.Shanon)在他的惊世之著《通信的数学理论》中的一句名言。
克劳德•香农诞生于美国密西根州的Petoskey。在Gaylord小镇长大,当时镇里只有三千居民。父 亲是该镇的法官,他们父子的姓名完全相同,都是Claude Elwood Shannon。母亲是镇里的中学校长,姓名是Mabel Wolf Shannon。他生长在一个有良好教育的环境,不过父母给他的科学影响好像还不如祖父的影响大。香农的祖父是一位农场主兼发明家,发明过洗衣机和许多农业机械,这对香农的影响比较直接。此外,香农的家庭与大发明家爱迪生(Thomas Alva Edison,1847-1931)还有远亲关系。
香农的大部分时间是在贝尔实验室和MIT(麻省理工学院) 度过的。在“功成名就”后,香农与玛丽(Mary Elizabeth Moore)1949年3月27日结婚,他们是在贝尔实验室相识的,玛丽当时是数据分析员。他们共有四个孩子:三个儿子Robert、James、 Andrew Moore和一个女儿Margarita Catherine。后来身边还有两个可爱的孙女。
1936年香农在密西根大学获得数学与电气工程学士学位,然后进入MIT念研究生。
1938年香农在MIT获得电气工程硕士学位,硕士论文题目是《A Symbolic Analysis of Relay and Switching Circuits》(继电器与开关电路的符号分析)。这是首次用布尔代数进行开关电路分析,并证明布尔代数的逻辑运算,可以通过继电器电路来实现,明确地给出了实现加,减,乘,除等运算的电子电路的设计方法。这篇论文成为开关电路理论的开端。
哈佛大学的Howard Gardner教授说,“这可能是本世纪最重要、最著名的一篇硕士论文。”
1940年香农在MIT获得数学博士学位,而他的博士论文却是关于人类遗传学的,题目是《An Algebra for Theoretical Genetics》(理论遗传学的代数学)。这说明香农的科学兴趣十分广泛,后来他在不同的学科方面发表过许多有影响的文章。
在读学位的同时,他还用部分时间跟温尼法•布什(Vannevar Bush)教授进行微分分析器的研究。这种分析器是早期的机械模拟计算机,用于获得常微分方程的数值解。1941年香农发表了《Mathematical theory of the differential analyzer》(微分分析器的数学理论)。
1941年香农以数学研究员的身份进入新泽西州的AT&T贝尔电话公司,并在贝尔实验室工作到1972年,从24岁到55岁,整整31年。1956年他当了MIT的访问教授,1958年成为正式教授,1978年退休。
人们描述香农的生活,白天他总是关起门来工作,晚上则骑着他的独轮车来到贝尔实验室。他的同事D. Slepian写到:“我们大家都带着午饭来上班,饭后在黑板上玩玩数学游戏,但克劳德很少过来。他总是关起门来工作。但是,如果你要找他,他会非常耐心 地帮助你。他能立刻抓住问题的本质。他真是一位天才,在我认识的人中,我只对他一人使用这个词。”
香农与John Riordan一起工作,1942年发表了一篇关于串并联网络的双终端数的论文。这篇论文扩展了麦克马洪(Percy A. MacMahon,1854-1929)1892年在Electrician上发表的论文理论。1948年则创立了信息论(information theory)。
1948年香农在Bell System Technical Journal上发表了《A Mathematical Theory of Communication 》。论文由香农和威沃共同署名。前辈威沃(Warren Weaver,1894-1978)当时是洛克菲勒基金会自然科学部的主任,他为文章写了序言。后来,香农仍然从事技术工作,而威沃则研究信息论的哲学问题。顺便提一句,该论文刚发表时,使用的是不定冠词A,收入论文集时改为定冠词The。
麻省理工关于香农的讣告
香农对于现代通信的主要两大贡献:一是信息理论、信息熵的概念;另一是符号逻辑和开关理论。
------------------------
香农的主要著作及相关理论
《通信的数学理论》
《继电器和开关电路的符号分析》
《微分分析器的数学理论》
《噪声下的通信》
香农-费诺编码
香农-哈特雷定律
奈奎斯特-香农采样定理
香农容量
香农对局
Rate distortion theory
信息学原理
混淆和扩散
一次活页加密算法
-----------------------------
香农的荣誉
美国科学院院士 伦敦皇家科学院院士 利奥波第那科学院院士(德国)
美国Alfred Noble协会美国工程师奖 1940年
Morris Liebmann 无线电工程师协会Memorial奖章 1949年
耶鲁大学 (首席科学家) 1954年
Stuart Ballantine弗兰克林协会奖章 1955年
研究合作奖 1956年
密歇根大学, 荣誉博士 1961年
莱斯大学 荣誉奖章1962年
普林斯顿大学, 荣誉博士 1962年
Marvin J. Kelly Award 1962年
爱丁堡大学 荣誉博士 1964年
匹兹堡大学 荣誉博士 1964年
电子电气工程师协会 荣誉奖章 1966年
美国国家科学奖章 1966年, 由前总统Lyndon B. 约翰逊颁发
Golden Plate Award 1967年
美国西北大学, 荣誉博士 1970年
Harvey Prize, the Technion of Haifa, 以色列 1972年
牛津大学 荣誉博士 1978年
Joseph Jacquard奖 1978年
Harold Pender奖 1978年
东英格伦大学, 荣誉博士 1982年
卡内基梅隆大学 荣誉博士 1984年
美国声频技术协会 金奖 1985年
Kyoto Prize 1985年
塔夫斯大学 荣誉博士 1987年
宾西法尼亚大学 荣誉博士 1991年
Eduard Rhein Prize 1991年
— THE END —
☞本硕皆数学专业,博士转行生物后,他发表了学校首篇Nature☞强大的矩阵奇异值分解(SVD)及其应用☞82岁江泽民在2008年发表论文指出:发展智能化,机器学习将有所作为……☞圆脸比瓜子脸好看的证据,不得不服!☞为什么数学是理解世界的最佳方式