他 25 岁进贝尔实验室,32 岁创建信息论,40 岁办达特茅斯会议 | 人物志
整理 | 琥珀
出品 | AI科技大本营(ID:rgznai100)
有人说:现在的创新主要是把几十年前的理论成果,通过技术和工程来实现。如今产业发展遇到了瓶颈,需要新的理论突破和基础技术的发明。人类的文明和技术不断推进,旧的不去,新的不来,如何才能剔除那些阻碍我们进步的绊脚石,为人类提供新的发展空间呢?
1956 年达特茅斯会议被广泛认为是 “人工智能(Artificial Intelligence)” 概念诞生的标志性事件,会议的主要发起四人组分别是:约翰 · 麦卡锡(John McCarthy)、马文 · 闵斯基(Marvin L. Minsky)、Nathaniel Rochester、克劳德 · 艾尔伍德 · 香农(Claude Elwood Shannon)。
然而,就是这样“一小群”科学家发起的会议催生了后来为人们所认知的人工智能革命,其中讨论的关于自动计算机、如何为计算机编程使其能够使用、语言神经网络、计算规模理论、自我改造、抽象、随机性与创造性等议题,直到如今都是人工智能领域致力于积极解决的难题。
今天,我们就来讲讲会议发起人之一的克劳德 · 艾尔伍德 · 香农(Claude Elwood Shannon)。
大家都知道计算领域最高奖项是图灵奖, 从 1966 年起,由美国计算机学会(ACM)为了纪念图灵的卓越贡献而设立。不久前颁给深度学习三巨头 Yoshua Bengio、Yann LeCun、Geoffrey Hinton 的奖项正是图灵奖。
同样,在信息领域,为表彰做出卓越贡献的科学家和工程师,香农奖的地位同样重要。
在首届 IEEE 学会设立的香农奖项颁奖典礼上,香农领取了以自己名字命名的香农奖。
美国数学家、电子工程师和密码学家,被誉为信息论的创始人……
1937 年,21 岁的香农在其硕士论文中提出,将布尔代数应用于电子领域,能构建并解决任何逻辑和数值关系,被誉为有史以来最具水平的硕士论文之一。1948 年,香农发表了《通信的数学理论》论文,提出了信息熵的概念,并创建了信息论。
现在天才这个词用的太随意,实际上天才是很少见的,真正配得上这个词的人不多。实际上,香农的学术贡献已经不需要世人再多赘言了。
除了是信息论之父外,香农还是一位投资人、发明爱好者、解谜爱好者和爱搞恶作剧的人。
还有一则故事是,香农竟然是托马斯 · 爱迪生的远方亲戚。
再回到 1956 年,麦卡锡邀请他一同发起达特茅斯会议时,香农已是贝尔实验室的顶尖级大佬了。
有人总结道:“由香农所开创的信息论,不单单是信息通信科学的基石,直至今日,仍然是是深度学习的重要理论依据。信息论综合运用了微积分、概率论和统计学等诸多学科,在深度学习中,也起到了非常重要的作用:如常见的交叉熵损失函数;在最大信息增益的基础上构建决策树;在 NLP 和演讲中广泛使用的 Viterbi 算法;在机器翻译中常用的 RNN 和各种类型的模型中普遍使用的编码器和解码器等。”
近日出版的《香农传》一书,全面回顾了香农精彩的一生。从 0 到 1 开创信息时代,将一切信息完全抽象为比特,将一切信号都用 0 和 1 进行编码,一个非常了不起的突破。
试想:如何将一段视频压缩至 50% 以上,同时不损失任何信息,但压缩也是有限度的,更高的压缩会使文件下载和分享更为方便,但压缩后的文件质量会永久受损?
毫不过誉地讲,如果没有这个理论,也就没有了标准压缩图片、或是压缩文件、高清电影、数字通讯等。但它的影响远不止此,尽管信息的数学理论无法说明任何关于数据的意义,但是它打开了一种新的可能,关乎我们如何理解自身,使得我们都能够用数据测量和编码。
或许,会有人追问谁才是真正的人工智能奠基者?是约翰 · 冯 · 诺依曼?还是艾伦 · 图灵?说实话,缺了谁都不行。
1916 年 4 月 30 日,香农出生于美国密歇根州一个叫做 Gaylord 的小镇,1936 年获得密歇根大学的数学与电气工程学士学位 ,1940 年获得 MIT 数学硕士和博士学位,1941 年进入贝尔实验室工作。
晚年,香农患上阿尔兹海默症,在与病魔抗争了很长一段时间后,2001 年 2 月 26 日,香农逝世,享年 84 岁。
忘了说一句,今天是 4 月 30 日,也是信息科学之父香农的 103 周年诞辰。
生日快乐,香农!
(本文为AI科技大本营整理文章,转载请微信联系 1092722531)
【END】
作为码一代,想教码二代却无从下手:
听说少儿编程很火,可它有哪些好处呢?
孩子多大开始学习比较好呢?又该如何学习呢?
最新的编程教育政策又有哪些呢?
下面给大家介绍CSDN新成员:极客宝宝(ID:geek_baby)
戳他了解更多↓↓↓
热 文 推 荐
☞ 微软推出新逆天开源语言,告别 for 循环,提高开发效率!
☞ Python 爬取 50,000 条数据,告诉你五一哪里没有人人人人!(内附折扣景点列表)
☞ 阿里半跪过,任正非差点跳楼,京东被骗光钱:成年人的生活哪有容易二字?
☞强推!盘点阿里巴巴 15 款开发者工具 | 程序员硬核评测
☞17篇论文入选CVPR 2019,百度AI都在关注什么?(附论文地址)
☞ 她说:为啥程序员都特想要机械键盘?这答案我服!
System.out.println("点个在看吧!");
console.log("点个在看吧!");
print("点个在看吧!");
printf("点个在看吧!\n");
cout << "点个在看吧!" << endl;
Console.WriteLine("点个在看吧!");
Response.Write("点个在看吧!");
alert("点个在看吧!")
echo "点个在看吧!"