天才程序员：25 岁进贝尔实验室，32 岁创建信息论

整理 | 琥珀

出品 | AI科技大本营（ID:rgznai100）

有人说：现在的创新主要是把几十年前的理论成果，通过技术和工程来实现。如今产业发展遇到了瓶颈，需要新的理论突破和基础技术的发明。人类的文明和技术不断推进，旧的不去，新的不来，如何才能剔除那些阻碍我们进步的绊脚石，为人类提供新的发展空间呢？

1956 年达特茅斯会议被广泛认为是 “人工智能（Artificial Intelligence）” 概念诞生的标志性事件，会议的主要发起四人组分别是：约翰 · 麦卡锡（John McCarthy）、马文 · 闵斯基（Marvin L. Minsky）、Nathaniel Rochester、克劳德 · 艾尔伍德 · 香农（Claude Elwood Shannon）。

然而，就是这样“一小群”科学家发起的会议催生了后来为人们所认知的人工智能革命，其中讨论的关于自动计算机、如何为计算机编程使其能够使用、语言神经网络、计算规模理论、自我改造、抽象、随机性与创造性等议题，直到如今都是人工智能领域致力于积极解决的难题。

今天，我们就来讲讲会议发起人之一的克劳德 · 艾尔伍德 · 香农（Claude Elwood Shannon）。

大家都知道计算领域最高奖项是图灵奖， 从 1966 年起，由美国计算机学会（ACM）为了纪念图灵的卓越贡献而设立。不久前颁给深度学习三巨头 Yoshua Bengio、Yann LeCun、Geoffrey Hinton 的奖项正是图灵奖。

同样，在信息领域，为表彰做出卓越贡献的科学家和工程师，香农奖的地位同样重要。

在首届 IEEE 学会设立的香农奖项颁奖典礼上，香农领取了以自己名字命名的香农奖。

美国数学家、电子工程师和密码学家，被誉为信息论的创始人……

1937 年，21 岁的香农在其硕士论文中提出，将布尔代数应用于电子领域，能构建并解决任何逻辑和数值关系，被誉为有史以来最具水平的硕士论文之一。1948 年，香农发表了《通信的数学理论》论文，提出了信息熵的概念，并创建了信息论。

现在天才这个词用的太随意，实际上天才是很少见的，真正配得上这个词的人不多。实际上，香农的学术贡献已经不需要世人再多赘言了。

除了是信息论之父外，香农还是一位投资人、发明爱好者、解谜爱好者和爱搞恶作剧的人。

还有一则故事是，香农竟然是托马斯 · 爱迪生的远方亲戚。

再回到 1956 年，麦卡锡邀请他一同发起达特茅斯会议时，香农已是贝尔实验室的顶尖级大佬了。

有人总结道：“由香农所开创的信息论，不单单是信息通信科学的基石，直至今日，仍然是是深度学习的重要理论依据。信息论综合运用了微积分、概率论和统计学等诸多学科，在深度学习中，也起到了非常重要的作用：如常见的交叉熵损失函数；在最大信息增益的基础上构建决策树；在 NLP 和演讲中广泛使用的 Viterbi 算法；在机器翻译中常用的 RNN 和各种类型的模型中普遍使用的编码器和解码器等。”

近日出版的《香农传》一书，全面回顾了香农精彩的一生。从 0 到 1 开创信息时代，将一切信息完全抽象为比特，将一切信号都用 0 和 1 进行编码，一个非常了不起的突破。

试想：如何将一段视频压缩至 50% 以上，同时不损失任何信息，但压缩也是有限度的，更高的压缩会使文件下载和分享更为方便，但压缩后的文件质量会永久受损？

毫不过誉地讲，如果没有这个理论，也就没有了标准压缩图片、或是压缩文件、高清电影、数字通讯等。但它的影响远不止此，尽管信息的数学理论无法说明任何关于数据的意义，但是它打开了一种新的可能，关乎我们如何理解自身，使得我们都能够用数据测量和编码。

或许，会有人追问谁才是真正的人工智能奠基者？是约翰 · 冯 · 诺依曼？还是艾伦 · 图灵？说实话，缺了谁都不行。

1916 年 4 月 30 日，香农出生于美国密歇根州一个叫做 Gaylord 的小镇，1936 年获得密歇根大学的数学与电气工程学士学位 ，1940 年获得 MIT 数学硕士和博士学位，1941 年进入贝尔实验室工作。

晚年，香农患上阿尔兹海默症，在与病魔抗争了很长一段时间后，2001 年 2 月 26 日，香农逝世，享年 84 岁。

忘了说一句，今天是 4 月 30 日，也是信息科学之父香农的 103 周年诞辰。

生日快乐，香农！

 热 文 推 荐 

你点的每个“在看”，我都认真当成了喜欢