查看原文
其他

【新智元专访】Bengio 团队获一亿美元政府资助,用于深度学习知识革命

2016-09-19 新智元 新智元

1 新智元原创  


【新智元导读】日前,加拿大政府经过两轮评选,从 51 所高校提交的 30 项研究提案中选出了 29 项,颁发了 23.8 亿美元的政府资助。其中,蒙特利尔大学的深度学习项目“Data Serving Canadians: Deep Learning and Optimization for the Knowledge Revolution”,获得了近 1 亿美元的补助。蒙特利尔大学深度学习研究小组的负责人 Yosha Bengio 下次吃饭时可以负责买单了:)



由中国自动化学会和新智元联合主办的世界人工智能大会将于10 月 18 日召开,Bengio 作为本次大会的特邀嘉宾,将在会上发表视频讲话。


本次采访是新智元特派记者朱丽洁前往加拿大进行的前期访谈,在他位于加拿大蒙特利尔的办公室中,深度学习权威 Bengio 大神回顾了人工智能 60 年发展,谈了深度学习技术的重大突破,他对谷歌、Facebook 等智能市场大玩家的看法,以及他对中国人工智能及市场的展望。本文摘选采访内容,让大家先睹为快。


距离大会开幕已近不到一个月,现在门票销售已进入奇点期,余票不多,先到先得。





【人物介绍】Yoshua Bengio 从 20 世纪 80 年代开始研究神经网络。他 1991 年在麦吉尔大学获得博士学位,此后在麻省理工学院跟从 Michael Jordan 做博士后研究,之后在贝尔实验室与 Yann LeCun、Patrice Simard、Léon Bottou、Vladimir Vapnik 等人一起工作。后来他回到蒙特利尔大学,现在是该校计算机科学与运筹学系机器学习实验室(MILA)主任,他也是加拿大的统计学学习算法研究主席。在这些年间,除了促进无监督学习,Bengio 的研究小组还对自然语言理解、递归神经网络的发展做出了贡献。


学术研究:获得发现就是最好的奖励


新智元:机器学习里面会涉及“奖励机制”,当你在生活中做决策时,什么对你来说是奖励呢?


Bengio:对于研究者来说,奖励就是理解的花火。这种灵感的迸发实际上经常发生,比如说每天我们想一些事情,突然之间打通了思路(click),也即所谓的“Eureka”时刻,豁然开朗,这种感觉是一种非常强烈的奖励,在我这么多年的研究生涯中体尝过几次这样的感觉,也始终在追求这样的感觉。我必须说,这种刺激比感官上的刺激,比如美食等其他物质感受来得还要强烈。能够体验这样的感觉是一件十分美好的事情,我希望每天都能有这样的感受,我也因此规划我的日程安排,能够让我自己持续进行研究、持续有机会获得发现,从而体验这样的感觉。


新智元:过去的研究中有什么让你自豪的吗?


Bengio:说一个比较新的例子吧,最近在机器翻译方面取得了一些进展,其中有很大部分是得益于我们研究小组的成果,神经机器翻译(Neural Machine Translation),这是大约两年前做出来的,现在全世界的实验室都在使用,是最先进的机器翻译技术,也是神经网络首次在机器翻译领域取得重大突破——之前,神经网络在语音识别、计算机视觉这些领域都取得了巨大的突破,但是机器翻译、自然语言处理还尚处于起步阶段。因此,这是我认为我们可以自豪的一项成果。当然,2006 年最初在深度学习算法上的突破,以及 2011 年提出 Deep Rectifier Networks,也都是让我们取得现有成就的基础,也很重要。


新智元:加拿大有很多人工智能学者,加拿大在推动人工智能发展方面起了很大的作用。你认为是什么促成了这一优势?


Bengio:在加拿大我们很幸运,有政府和个人的资金愿意去资助一些基础的长期研究。有 CIFAR 这样的研究机构,可以去做一些冒险的决定。事实上人工智能研究才刚刚开始,有很多工作都是未完成的,因此你必须愿意在长远的项目上投资。在十多年前,我们开始现在这个项目的时候,人工智能并不是一件很流行的事情。如果你只在流行、受欢迎的项目上投资,你永远都不可能取得突破。当然,强大的高等教育体制是很重要。遵循研究伦理,进行严谨的学术工作,致力成为领域第一。


不希望人工智能被用于军事和广告


新智元:你在以前的采访中曾经提到过,希望见到人工智能在医疗健康领域得到更多的应用。但你不希望军事、广告领域使用人工智能去操纵人们的思想。能更具体地谈一谈,你对于人工智能应用的展望吗?


Bengio:人工智能在健康医疗领域有很多的应用,健康医疗是一个非常有潜力的方向,重视人工智能在医疗领域的发展,能够为每个人都带来巨大的回报,不仅是经济上的,也能影响几十亿人的生活福祉。一个非常好的例子就是所谓的个性化医疗。现在,医生之所以要开这种药给你,或者对你采用这种治疗方式,是基于很少的数据,根据几千人、几万人的临床试验,从统计学上说,或者更具体的,从机器学习的角度说,现在的医疗是非常原始的。我们可以提取更多的数据,比如你的基因数据、疾病史……很多很多的数据,都有可能对你的健康产生影响,从而关乎到医生决定什么治疗方案才是最适合你的。近年来,医学研究者发现,有时候一种药对有这种性状的人群有用,但对有着另一些性状的人来说却是致命的。如果能够查明这其中的原因,意义必然十分重大。


要做到这一点有很多的困难,比如数据共享。要共享数据是一件难度很高的事情,不仅仅是法律上的原因,还有道德上的考虑:个人医疗信息不是你能随便拿来使用的东西。因此,我们需要一个社会和法律上的框架,保护数据隐私,确保这些数据不会遭到滥用。


新智元:那另一方面,我们能够阻止人们不在军事、广告方面滥用人工智能吗?


Bengio:对于人工智能在军事方面的应用,这还涉及国家法律和国际政治,就跟我们针对核武器、化学武器制定国际公约一样。希望在将来,当然越快越好,负责任的政府相关负责人会坐到一起,针对人工智能的使用范畴划定限制,尤其是那些会直接威胁生命的武器。话说回来,如果你是美国,能在技术方面强过别人肯定是一件诱惑力很大的事情,但这就是军备竞赛的问题所在。我们应该尽可能消减这种军备竞赛的欲望。


新智元:对于普通人而言,有办法知道我们被人工智能操纵了吗?


Bengio:没有办法知道,这也是麻烦的地方——我们没有办法知道幕后面发生了什么。同时,还有一种心理上的认知偏差,那就是人们觉得我没有被操纵,是别人受影响了,但广告没有影响我,我很清楚自己的意识和决定。但事实并非如此。很简单,如果我们没有被广告操纵,公司就不会做广告了。而从公司的立场说,我不做广告,别的公司也会做,因此公司不得不做广告。所以,一种解决的办法就是制定政策。比如说在加拿大,我们就有法律规定不能针对儿童做广告,因为儿童容易被操纵。实际上,每个人都是能够被操纵的,有了人工智能在背后,这样的操纵就会变得更加难以察觉。


新智元:近年来人工智能飞速发展,让人产生了很多期望。你认为人工智能领域接下来最大的突破会是什么?


Bengio:显然,没有人知道人工智能领域接下来最大的突破是什么。我不相信“奇点”,我相信未来很难预测,因为发展太快了。人工智能将以很多种方式改变这个世界,其中一个就是改变人与机器互动的方式。当然,在想象力的帮助下,人工智能可能有很多很多的应用。每个研究者对于需要解决的问题、面临的挑战,都有他们自己心目中的答案。在我的研究小组,以及其他世界顶尖的机器学习或人工智能实验室,要解决的其中一个问题就是无监督学习。现在我们所拥有的机器学习系统就像小孩子一样,你必须在它踏出每一步的时候都牵着它的手,告诉它这是一支笔、这是一辆车、这是一本书……,机器自己能够学习的东西很少,我们必须修建更加自动化的机器。


无监督学习领域十分活跃,有很多研究正在进行。但是,我们不知道确切的突破会在什么时候出现,一年、6 年、600 年……?我们不知道。但我们必须继续研究,因为我们知道,人类的孩子能够做到这一点。孩子不需要父母告诉他 F=ma,她只需要通过观察就能学会现实世界的物理知识,比如放开手,笔会往下落。我们的目标是让机器也能够实现那样自动化学习。现在有很多的学习算法,但表现距离人类还差得很远。


另一个方面,也是我确信会有突破的方面,是自然语言理解。自然语言理解现在已经得到了飞速发展,但距离计算机真正理解语言还很远,我们现在还远远没有真正通过图灵测试。不过,很显然,如果能让计算机不仅能够翻译你说的话,还能够理解你话的含义,帮助你做事情、回答你的问题,这个影响将是非常深远的,其价值将难以估量,将会彻底改变人与计算机交互的方式。总之,以上就是两个有代表性的例子。


新智元:你谈到了无监督学习,无监督学习接下来会有什么突破?


Bengio:要把无监督学习做好很难,涉及到对我们所观察的事物有透彻的理解。在很大程度上,现在机器学习的进步是由对大规模数据进行训练所带来的利益驱动的,这些数据集带有数以百万计的标记实例,而对这些标记实例的解释是由人来完成的。这样的方法无法规模化,在现实中我们不可能为每一件东西做标记,并且向计算机解释所有的细节。而且,人类在学习大多数东西的时候也不是这样学的。若要机器以类似的方式学习,我们需要在无监督学习方面取得更多进步。目前,一个很好的情况是,不同的研究者在用不同的方式、从不同的侧面攻克无监督学习我个人选择借助脑科学的启发,研究大脑是如何进行无监督学习的。


未来 5 到 10 年,我认为与语言相关,以及与健康相关的领域,当然这些也是我个人很感兴趣的领域,人工智能会取得突破,产生巨大的产业影响。当然,在机器人、无人车方面也有很多令人兴奋的进展。不过,我对这些领域不太熟悉。


关于人工智能的应用,有很多创意。我现在正在做的事情是修建对话系统,也就是聊天机器人。我认为在聊天机器人这方面,我们将会看到很大的进展。或许最开始是为了娱乐,但对话系统的商业应用潜力将是巨大的。


创业者和投资人都需要多学习


新智元:开源如今越来越流行,谷歌等大公司可以说掀起了一股开源的潮流。


Bengio:用开源、开放的方式对待人工智能是一件十分重要的事情。无论是公开发表论文,开放程序源代码,去参加会议、把你的工作与其他人讨论和共享,都是十分重要的。现在,大公司想要招人,想要招揽一流的人才,他们明白只有给予这些人充分的自由,让这些人享有在学术界享有的自由,他们才能吸引这些一流的研究人员。所以,现在我们可以看见,这些大公司里的产业研究团队就像是一个个小的学术组织,他们也以非常开放的方式对领域做出贡献。这对行业发展是好事,我希望这种情况能够一直持续下去。但是,没有人知道未来会怎样。


新智元:现在中国掀起了人工智能创业和投资的热潮,接下来哪些方面会有比较好的发展,能谈谈你的看法吗?


Bengio:相信有很多人都在投资人工智能和深度学习在金融方面的应用。这一点应该多加注意,因为人工智能在金融方面的问题在于,事情都是关起门来发生的,我们不知道里面的过程究竟是什么。相比之下,像是人工智能在处理自然语言或图像方面的应用,都是公开的,大家都在发表论文,我们可以看见这些企业都在做什么。对于我来说,选择开发什么应用更多是个人品味的问题,不同的人会有不同的选择。


新智元:对于投身AI事业的创业者的投资人,你有什么想说的吗?


Bengio:很显然,目前在人工智能领域有很多的机会,随着技术的发展,这样的机会将会越来越多。我鼓励创业者——事实上我鼓励每一个人——尽可能花时间深挖技术、了解知识,阅读我和 Ian Goodfellow、Aaron Courville 写的书《深度学习》(Deep Learning),预计在今年 12 月出版,现在就可以从 MIT 出版社预定了。关于深度学习,现在可以找到很多的资料,对于创业者来说,如果不把精力花在了解公司内部的技术上面,在创新方面就会处于劣势。对于想要从事人工智能行业的人来说,都应该花时间学习、理解算法这些内容。


《深度学习》给读者的话


这本书对很多读者都有用,但是在我们脑海里,这本书主要针对两类受众:


一类受众是学习机器学习的学生(无论是毕业的还是没毕业的),包括那些在深度学习和人工智能领域刚开始职业生涯的。


另一类受众是软件工程师,他们没有机器学习和统计学的背景,但需要快速掌握,并且在他们的平台和产品中使用深度学习。深度学习已经证明了在很多软件方面,例如计算机视觉、语音、自然语言理解、机器人、复杂生物学、化学、视频、游戏、搜索引擎、在线广告和金融有很好的效果。


这本书的内容组织有三个方面,以更好的适应不同的读者。


第一部分介绍了基本的数学工具和机器学习概念。


第二部分描述了最常用的深度学习算法和技术。


第三部分描述了更多探索性的想法,这些想法普遍被认为对未来的深度学习研究很重要。


读者们可以跳过那些不感兴趣,或者和自己无关的章节。如果读者熟悉线性代数、概率论和基础的机器学习概念,那么可以跳过第一部分。例如如果读者只是想部署一个可以工作的系统,那么他就应该只读第二部分。为了帮助读者选择哪个章节以学习,Fig.1.6 提供了一个流程图,显示了这本书高度概括结构。


我们假设所有的读者都拥有计算机的背景。我们假设读者们都熟悉编程,也对计算性能、复杂理论、微积分和图理论有基本的了解。




目录

致谢

符号

1 引言

第一部分:应用数学和机器学习基础知识

2 线性代数

3 概率论与信息论

4 数值计算

5 机器学习基础知识

第二部分:现代实用深层网络

6 深层前馈网络

7 深度学习里的正则化

8 训练深度模型的优化

9 卷积网络

10 序列建模:循环和递归网络

11 实用方法

12 应用

第三部分:深度学习研究

13 线性因子模型

14 自编程器

15 表征学习

16 深度学习结构化概率模型

17 蒙特卡洛方法

18 面对分区函数

19 近似推理

20 深度生成模型

参考书目

索引


请进入新智元微信公众号,回复 0410 下载电子书全文(802页)。


想与 Bengio 进行更加深度的交流?


在本次的采访中,Bengio 还谈到了他对谷歌、Facebook 等人工智能巨头的看法,以及对中国人工智能技术与市场的展望


10 月 18 日,中国自动化学会和新智元联合主办的世界人工智能大会在北京国家会议中心举行,欢迎到现场观看 Bengio 对本次大会的寄语,以及更多精彩内容。


世界人工智能大会得以邀请和采访 Bengio 实属不易,经过两个多月的联系和执行,这些宝贵的影响资料才得以到达我们手中在此特别感谢胡郁、丁险峰、颜苑、江辉、朱丽洁、Dijun Huang 等新智元专家与朋友所做的贡献!




由中国自动化学会和新智元联合主办的AI全球年度盛典『AI WORLD 2016世界人工智能大会』即将盛大开幕。大会官网:http://aiworld2016.com/



AI WORLD 抢先看
新智元特派记者前往蒙特利尔大学视频采访深度学习三大缔造者一Yoshua Bengio教授,这也是Bengio教授第一次接受中国媒体的独家专访。想看他对中国人工智能的看法?

『AI WORLD 2016 世界人工智能大会』10月18日·北京·国家会议中心我们不见不散!

点击阅读原文,抢票参会


您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存