查看原文
其他

字节跳动李航入选ACL Fellow,他曾这样看待机器学习

以下文章来源于CSDN ,作者CSDN App



整理 | 夕颜
出品 | AI科技大本营(ID:rgznai100)


【导读】11 月 25 日,ACL Fellow 官网公布了 2019 ACL Fellow 5 位入选名单,其中来自中国的字节跳动人工智能实验室总监李航入选,成为 ACL 第五位华人 Fellow。

 

评选结果:https://www.aclweb.org/portal/content/acl-fellows-2019


 

ACL Fellow 是对 NLP 领域从业者的最高认可。据 ACL 官网信息,ACL 会士评选委员会对李航博士的评语为:         

他对信息检索,特别是排序学习做出了基础性贡献,在深度学习和对话生成方面做出了突出贡献,并且促进了中国自然语言处理(NLP)的发展和商业化 


值得注意的是,今年与李航一起入选的其他 5 位 ACL Fellow 还包括:

 

Barbara Grosz:哈佛大学工程与应用科学学院自然科学家希金斯教授,曾于 2017 年在 ACL 获得终身成就奖。
 
Graeme Hirst:多伦多大学计算机科学教授。
 
Mirella Lapata:爱丁堡大学信息学院自然语言处理教授。
 
Paola Merlo:日内瓦大学计算学习与计算语言学教授。
 
Michael Strube:德国海德堡理论研究所、海德堡大学计算语言学系荣誉教授

 

可以看到,除了 Barbara Grosz 之外,其他三位教授的专业都与计算机科学相关。

             

              

第五位入选ACL Fellow的华人


除了担任字节跳动人工智能实验室总监之外,本次入选 ACL Fellow 的李航还有很多的身份,比如北京大学、南京大学客座教授、IEEE 会士、ACM 杰出科学家、CCF 高级会员等。

 

在机器学习领域从事三十多年,李航的研究方向仍然聚焦在信息检索、自然语言处理、统计机器学习及数据挖掘。

 

回头来看,李航的求学、从业经历可谓精彩纷呈,这里我们来简单回顾一下:

 

1988 年,李航从日本京都大学电气工程系毕业,1998 年获得日本东京大学计算机科学博士。他 1990 年至 2001 年就职于日本 NEC 公司中央研究所,任研究员,2001 年至 2012 年就职于微软亚洲研究院,任高级研究员与主任研究员。2012 年至 2017 年就职于华为技术有限公司诺亚方舟实验室,任首席科学家、主任。

 

在此期间及以后,李航一直活跃在相关学术领域,曽出版过三部学术专著,并在顶级国际学 术会议和顶级国际学术期刊上发表过 120 多篇学术论文,包括 SIGIR, WWW, WSDM 等。李航参与了多项产品开发,包括 Microsoft SQL Server 2005, Microsoft Office 2007, Microsoft Live Search 2008, Microsoft Bing 2009, Bing 2010, Office 2010, Office 2012。

 

此外,他拥有 42 项授权美国专利,还在顶级国际学术会议和顶级国际学术期刊担任大会程序委员会主席、资深委员、委员、期刊编委,包括 SIGIR、WWW 等。

 

直到今天,他的学术和职业生涯中又多了一个闪闪发光的 title——ACL Fellow。


据悉,自 2011 年开始评选 ACL Fellow 以来,ACL 学会共入选了 57 位会士,但包括今年入选的李航博士在内仅有 5 位华人学者。在李航之前,其余 4 位入选 ACL Fellow 的华人分别是香港科技大学吴德恺教授、新加坡国立大学黄伟道教授、谷歌高级研究科学家林德康和百度首席技术官王海峰博士。

 

  1. 2011 ACL Fellow 吴德恺,香港科技大学计算机科学与工程系教授,当选理由:
对机器学习和反向转换文法做出的突出贡献,将句法和语义模型整合到统计机器翻译范式中。
  1. 2012 ACL Fellow 黄伟道,新加坡国立大学计算机科学系教授。黄伟道教授系德克萨斯大学奥斯汀分校博士,研究重点是自然语言处理和信息检索,精通于语义处理和语义语料库的开发。他曾获得过 SIGIR 1997 和 EMNLP 2011 最佳论文奖,并担任过 EMNLP 2008、ACL 2005 和 CoNLL 2004 大会的程序共同主席。2012 年当选为 ACL Fellow。
  2. 2013 ACL Fellow 林德康,曾任加拿大 Alberta 大学计算机教授、Google 研究院高级管理科学家、Google 搜索问答系统创始人及技术负责人,奇点机智联合创始人兼 CTO,现任谷歌担高级研究科学家。林德康作为主要发明人申请了多项美国专利,在自然语言处理及理解领域发表 90 余篇论文,被引用 14000 余次,并多次担任计算语言最高学术机构国际计算语言学协会 ACL 的领导职务。
  3. 2016 ACL Fellow 王海峰,百度 CTO,首位入选 ACL Fellow 的大陆科学家。入选理由:
王海峰在机器翻译、自然语言处理和搜索引擎技术领域,在学术界和工业界都取得了杰出成就,对于 ACL 在亚洲的发展也做出了卓越贡献。
 

关于新书、机器学习、学术界VS工业界,他这样看


当然,即使是对于刚进入机器学习领域的新人,也会对李航非常熟悉,因为入门机器学习时一定不会错过一本书——《统计学习方法》,而这本被很多人亲切地称作“蓝宝书”的读物,作者正是李航。
 
最近,李航的《统计学习方法》第二版即将发布。这一消息甫出,AI 科技大本营就对李航进行过一次采访,他就新书的内容、深度学习、人工智能洞察等话题展开了探讨,这里将这些内容再次分享给大家。


新书再版计划,增加深度学习和强化学习


接着,我们的话题转到了李航最近的《统计学习方法》第二版。这一次,作者在新版本中加入了无监督学习相关内容。为什么要增加这一部分内容?未来这本书还会有哪些变动?

李航指出,无监督学习有若干个不同的定义,《统计学习方法》第二版新增的无监督学习内容主要是传统机器学习中的无监督学习,与Hinton等人最近说的深度学习中的无监督学习不尽相同。他认为无监督学习确实是深度学习未来发展的重要方向,有望让机器变得更加智能化,像人一样使用语言,比如,自然语言处理领域的BERT 之所以可以发挥巨大的威力,根本原因在于它做了很好的预训练,就是无监督学习。Hinton 所谓的无监督学习是深度学习的未来,是指类似于 BERT这样的预训练方法。从这个意义上来说,无监督学习非常重要。

李航表示,因为这本书是在业余时间写作的,因此耗费时间较长,第一版花了七年,第二版花了六年时间。2012 年《统计学习方法》第一版出版时正值深度学习初火,当时他曾有意加入一些神经网络的内容,但是担心时间拖得太久故作罢,所以第一版只对传统机器学习中的监督学习的主要方法做了介绍。

本来,李航计划再加上无监督学习的内容就结束本书,但是出版之后受到读者的欢迎,这使他备受鼓舞,很多人希望再加上深度学习和强化学习,可以看到全新的,沿袭本书简洁和重点突出风格的内容。所以,李航计划为这本书增加深度学习和强化学习,希望可以覆盖所有机器学习常用的方法,帮助读者更好更快地掌握机器学习技术。然而,再出新版的时间不能确定,也许要几年之后。

李航特别指出,这本书的定位并非入门书籍,不一定适合入门者,因为虽然该书的内容都是最基本的,没有一定的统计概率知识和其他相关基础知识,学起来可能有点吃力。他希望,这本书能成为一本字典一样的书籍,让大家能够反复研读,经常使用。

对人工智能的洞察与前瞻

回顾人工智能的发展历史,每一个阶段都有会因为一些技术突破使得领域的发展曲线升向新的高峰,取得巨大进展。近年来,人工智能领域的的一些新技术,或者新思路,比如深度强化学习、图神经网络、通用人工智能、神经符号处理等引起了业界的瞩目,大家对这些新词汇或新技术寄予厚望,希望能让这个领域发生更多的奇迹。然而,每每被冠以“突破性”的技术,产生的影响果真的有这么大吗?李航凭借 多年的研究经验,给出了他的看法。

▌强化学习比监督学习更需要数据

李航曾表示,构建一个复杂的智能系统,原理上需要从“身体“入手,让智能系统在与环境的互动中进行学习,而强化学习是实现这一目标的有效手段。深度强化学习应用到真实环境中有什么样的优势?深度强化学习在智能系统的学习过程中会起到什么样的作用?

深度强化学习是把深度学习和强化学习结合起来,用深度学习学习强化学习模型,所以深度强化学习本质上还是强化学习。

李航表示,当智能系统学习做一些相对简单任务时,可以使用监督学习,监督学习技术已经比较成熟和实用,但代价是要用很多标注数据。相比,强化学习可以适用于让智能系统学习做更加复杂的任务。所以,从这种意义上来说,强化学习未来很有前景。

强化学习未来发展前景广大,但当前却面临着一个巨大的挑战,即强化学习从某种意义上比监督学习更需要大数据,数据成为当前强化学习发展的最大瓶颈。可以想象,未来5G、物联网等技术的发展会带来更多的数据,可能强化学习之后会获得更大的发展。所以,强化学习是大家都很看好的一个方向。

▌机器学习做不到和人一样触类旁通

目前,统计学习是机器学习的主流,但是统计学习还做不到和人一样的触类旁通,自学知识,达到人的学习能力。统计学习在机器学习中起到什么作用?机器如何才能获得人的学习能力?

对于机器学习和深度学习目前取得的一些成果,李航认为应理性看待,“这让大家有一种错觉,认为机器已经非常接近人,但实际上差得还很远,这是因为人类学习和机器学习具有完全不同的机制。人天然具有三个最重要的学习能力,即记忆能力、泛化能力、联想能力,在机器上实现同样的学习能力还有很多困难。特别是现在人的学习的具体机理还不是很清楚。”

▌人的思考机制与机器本质上不同

那么,有没有一种方法能够让机器做到和人一样触类旁通呢?李航认为还看不到这种可能,要想机器学习做到像人类一样触类旁通非常难,做到这一点还需要漫长的时间,至于是多久,他也无法给出准确的估计。

为什么机器无法和人一样触类旁通?这要从人的学习机制来看。一言以蔽之:人与机器的学习在本质上是完全不同的。

李航讲到,人和动物天然具有记忆和泛化能力,这其实是在做概念的存储和抽象。比如,老鼠吃了一次让它中毒的食物,就能认识到这种食物不能吃,下次看到同样的有毒食物就不会再去碰它。也就是说,只用了一个样本就把有毒食物的特点,如颜色和气味学到了(记忆了)。在这个过程中,老鼠做了抽象,因为食物的个体都不是完全一样的,老鼠能区分哪些东西属于同类。这些能力都是老鼠生来具有的,有很充分理由相信,人也具有同样的能力。

此外,人还具有一项重要的能力,它在人的学习或概念形成、推理、语言使用中起到最根本的作用,那就是联想。联想是什么?李航用一个简单的例子来做了说明,比如现在你看到一瓶水,你可能会联想到你昨晚也喝过这种水,或者它的生产厂家等。人的经历不同、场景不同,联想的内容也不同。人时时刻刻都会做联想,所以人的思考其实很大部分都是在找到相关的记忆。计算机做检索的过程其实也是在联想。我们产生新的概念、做创造发明、学习新知识等常常也是在做联想。即记忆的机制就是联想,发明创造的机制也是联想。

所以,人的这种最基本的思考机制是记忆、泛化、联想→学到知识。

但是,机器学习目前完全是基于统计,即依靠数据。李航表示,他的书之所以命名为《统计机器学习方法》,是为了强调理论和统计的重要性,因为在他的认知里,机器学习基本上约等于统计机器学习或统计学习,这也是目前业界的共识。未来也有可能出现其他的机器学习方法,但至少目前来说机器学习就是约等于统计学习。

统计机器学习最核心的想法,就是从大量数据中找到统计规律。即使是深度学习,本质上也是统计学习,用复杂的训练神经网络,表示找到的复杂的统计规律,去做一些看似智能,但本质上和人的智能机制不同的事情。
因此,机器学习与人类学习的本质完全不同,所以让机器达到与人一样触类旁通非常难。

▌图神经网络重要,但其作用不应被夸大

近年,图神经网络(GNN)的研究火了起来。这是因为深度学习虽然进展迅猛,但是却有着无法进行推理的缺陷,而基于图的深度学习将端到端学习和归纳推理结合起来,使模型兼有表示能力和推理能力,被有些人视为未来智能技术突破的关键。

对此,李航表示,图神经网络是很重要的技术,但其作用不应该被夸大。

深度学习,从最基本的深度神经网络 ,发展到CNN,之后又出现了几次重大突破,如 GAN、自然语言处理领域的 BERT 等,图神经网络也属于这样的重大突破。从这个意义上来说,图神经网络,GNN是一个重要方向,也是一个大的突破口,很多人在做相关研究,包括字节跳动。

然而,李航认为,GNN 的特点在于通常以图数据为输入,利用图上各个节点之间的关系,学习更加复杂的模式,做智能性的判断和简单推理。这种意义上它是一个强大的工具,目前在很多应用中已经得到了很好的结果,未来还有很大的发展前景,值得深入研究。但是实现智能的一些关键问题,仅靠GNN还不能解决。它是未来重要的研究方向,但并非唯一方向。

“人类研究人工智能这么多年,苦于不知道如何把自己的知识告诉计算机,以实现人类智能,GNN并没有本质解决这个问题 ,单靠GNN实现人类智能,我认为不现实。”李航说道。

▌符号处理+神经处理、多模态让机器更加智能

上面讨论了一些机器学习领域很重要的技术,但是显然每一项技术单独来看都有局限性,无法单纯依靠某种技术实现人的智能。那么问题来了,如何才能让机器变得更加智能呢?我们至少需要一些思路。

李航认为,要实现人工智能,需要解决的一个重要问题是把符号处理与神经处理结合起来。

他首先解释了大脑的思考机制。人类的智能有两个层面,一个层面是人的大脑,是一个包含 1000 亿神经元,1000万亿联接的复杂神经网络。这个网络每个时刻都处于不同的状态,信号在网络中传输,网络状态发生变化。人工神经网络一定程度上与人脑神经网络相似,比如两者都是在网络结构中引入一些输入,做各种变换,之后产生一些输出。现在,深度学习中是用向量、矩阵或张量进行神经表示。但是,人工神经网络比人脑简单得多。

另外一个是意识层面,即人类做推理、理解语言、使用知识的层面,意识层面的东西大致可以用符号表示,对应着计算机的符号处理。但这方面的机制,我们并不十分清楚,脑科学和认知科学有一些假说。人脑中,意识层面的符号处理和脑层面(下意识层面)的神经处理是如何结合的还完全不清楚。

但是,看来要推进机器使用人类语言的能力,即自然语言处理能力,可能需要神经符号处理,就是把神经处理和符号处理两者结合起来,这样才能使机器更接近人。

另一个重要问题,多模态技术也是实现人工智能的关键技术。近年来也引起了大家广泛关注。

李航对此表示认同,他讲道,人的智能中的模态其实并没有明确的划分,人思考时大部分情况下都是在进行一种多模态“处理”,结合了视觉、听觉、触觉、味觉等各种模态。未来,相信随着数据的增多,计算能力的增大,多模态技术将能够做到更多,有望成为AI技术的一个突破口。

另一个重要问题是Hinton等所说的无监督学习,这里不在重复。

通用人工智能展望

实现通用人工智能,是人工智能领域的终极目标。李航在 2016 年的一次采访中曾预测,通用人工智能可能要 500 年才能实现,但或许永远都不可能实现。时隔三年,随着人工智能领域的进一步发展,李航的观点有改变吗?

“我不太喜欢用强人工智能、弱人工智能、通用人工智能的说法,因为这几个概念都没有严格的定义,很多时候大家说的并不是同一个东西。但是AI领域会不断发展,机器智能的水平会不断提高,这一点是不容置疑的。当时,被记者要求一定要说个数字,就随便说需要500年才能实现通用人工智能,其实没有科学的依据。”李航说道。

所谓的通用人工智能还是很遥远的。比如,机器很难具备常识和情感,即使是简单的常识性推理对于机器来说也是一道很难跨越的门槛,更不用说具有情感的机器。而这些都是人类智能的一部分。

面向未来,李航预测,从功能主义的角度来说,今后有相当长一段时间,瞄着实现合理行动的机器、合理思考的机器,把符号处理和神经处理结合起来,加上无监督学习、多模态等技术,可以让系统的智能程度上升好几个台阶,但是它最核心的可能还是机器学习,未来 50年,我们仍在使用这些最基本的技术,看来这个概率最大。

从另外的思路来看,常识推理、因果推断等也是一些重要的研究方向,希望它们能和机器学习结合起来。可以预见,合理行动、合理思考的机器会根据不同的场景需求,组合衍生出各种各样的智能系统和智能工具。

▌未来若干年,很有可能AI发展将会慢一些,突破会少一些

当然,李航谈论了他对于机器学习发展的看法。他说道,就像人的智能发育是一个漫长的过程一样,机器智能的构建也需要漫长的积累。人虽然自出生的那一刻起就具备了基本的认知和感知的能力,但是后天成长中也需要漫长的学习过程,不断积累才拥有了各种知识,具备了各种能力。

虽然李航认为机器学习的发展距离人的智能还有相当大的距离,但有几件事情是可以预见的:机器最强大能力就是计算和存储,过去 30 年,计算的速度、存储的容量、通讯的速度都提升了 100 万倍,未来 30 年、100年、500 年以后仍会飞速增长。如果我们能让机器很好地利用大数据和大算力,进行自主学习,这在将来带来革命性的变化。

“我的感受是人工智能研究其实需要长时间的积累,2012 年到 2018 年这段时间有很大的突破, 大家的期待特别高,以为今后一直会同样高歌猛进。然而事实并不是这样,大部分研究实际上都是需要不断积累,缓慢进步,不断发展的。包括深度学习大师 Yoshua Bengio 最近也在说,人工智能技术研究需要长期积累,我对他这句话的解读是,人工智能的发展也是有高峰和低谷的,我们不会永远处于高峰。未来若干年,概率最大的可能性是,人工智能相对前几年发展会缓慢一些,新的突破会少一些,但是还是会不断进步。未来还有更多有挑战性的问题,需要大家不断克服,持续积累,对于 AI,我们要有一个正确的期待。”
 

(*本文为AI科技大本营整理文章,转载请微信联系 1092722531)



精彩推荐




开幕倒计时7天|2019 中国大数据技术大会(BDTC)即将震撼来袭!豪华主席阵容及百位技术专家齐聚,十余场精选专题技术和行业论坛,超强干货+技术剖析+行业实践立体解读。6.6 折票限时特惠(立减1400元)倒计时 3 天,学生票仅 599 元!



推荐阅读


    你点的每个“在看”,我都认真当成了AI

    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存