查看原文
其他

如何生物转CS,并在斯坦福大学三年拿到PhD:独家专访李纪为博士

2017-07-29 李泽南 机器之心

机器之心原创

参与:李泽南


在人工智能逐渐成为热点的今天,各家科技公司与机构对于相关人才的需求也在不断增大。然而,机器学习目前仍是一个门槛很高的领域,很多计算机相关学科(甚至其他专业)的毕业生都会思考这样一些问题:我是否应该投身人工智能?我是否需要读博?


最近,斯坦福大学的一名博士毕业生引起了人们的注意: 在七月初的博士毕业论文答辩通过后,他成为第一位仅用三年时间就获得了斯坦福大学计算机科学(CS)博士学位的人。不仅如此,在近日由剑桥大学研究员 Marek Rei 发布的一项统计中,李纪为博士在最近三年世界所有人工智能研究者中,以第一作者发表的顶级会议文章数量高居第一位。


李纪为的研究方向是人工智能的一个重要分支——自然语言处理(NLP),在三年的博士生涯中,他的多篇论文被各类顶级会议接收。在四月底结束的 ICLR 2017 上,李纪为有三篇论文被大会接收,其中两篇为第一作者;而在即将于 9 月份举行的 EMNLP 2017 上,他有两篇论文被大会接收,均为第一作者。


在李博士毕业之后,机器之心第一时间联系到了他,并对其进行了独家专访。在本次采访中,我们谈到了李博士求学期间的心路历程、在斯坦福大学阶段的自然语言处理研究和生活,以及他对于未来事业的展望。


李纪为(左)近日接受了机器之心的专访


生物与计算机科学


机器之心:恭喜你顺利博士毕业,在斯坦福大学三年 CS 博士毕业,这是一个前无古人的成就。


李纪为:谢谢你。这么说过奖了,实在不敢当。读博士而言,产出比时间更重要,这几年里斯坦福、CMU、Facebook AI Research 和 MSR 的同事和导师,就像一个巨大的宝库,有无穷无尽的东西可以像大家学习。博士虽然读完了,但是学无止境。如果说做出了点什么东西,那也是向大家学习而得的结果。


机器之心:你是如何做到仅用三年时间就从斯坦福大学毕业的?要知道,在美国的大学里,博士毕业通常需要 5-6 年(甚至更长时间)。


李纪为:从斯坦福大学三年毕业的过程实际上是一系列因素共同促成的结果。首先,我得感谢自己的导师 Dan Jurafsky,他对我的帮助非常大,他总是能够理解我的诉求,并尽力帮助我,他是一个永远为他人着想的好导师。


同时,我得说这实际上并不是一个非常特别的成就,更像一种个人选择。其实朋友同学中很多人都非常非常优秀的,比如斯坦福大学的 Danqi Chen、Sida Wang、曾经 CMU 的博士生 William Wang 等等。他们或是寻求完成更多的研究,或是倾向于毕业参与教职工作而没有选择提前毕业。


若想博士毕业,你需要有一篇足够完美的毕业论文,在其中叙述你博士期间所做的一切工作。另外,还有一系列任务是必须要完成的:你需要修完足够的课程,通过博士生资格考试,完成毕业论文的开题、结题。


机器之心:你有着有趣的学术背景:在 2012 年从北京大学生物学毕业,是什么原因让你选择去斯坦福大学读计算机科学的博士?


李纪为:我在北大生科的时候,做毕业设计的时候去了计算机系的李素建老师组里。当时想了解一点人工智能的东西,用在生物信息处理上,所以就去旁听了李老师的组会。发现了大家在探讨很多很有趣的问题,于是在李老师的指导下动手做了一些实验。兴趣就慢慢转移到人工智能,特别是自然语言处理这方面。斯坦福大学在自然语言处理上有深厚的积淀,老师和学生们都是领域内的佼佼者,而且因为毗邻硅谷,创业氛围浓厚,与工业界关系密切,产学研紧密结合,是个难得的平台。


机器之心:我们得知你在本科期间曾经参加过「分子模拟与计算课题组」,这个领域算是生物和计算的交叉领域(分子模拟,是指利用理论方法与计算技术,模拟或仿真分子运动的微观行为,广泛的应用于计算化学,计算生物学,材料科学领域,小至单个化学分子,大至复杂生物体系或材料体系都可以是它用来研究的对象。),这个经历对其后选择读计算机科学有什么影响吗?


李纪为:不同领域的思维方式差别很大,即便是类似的问题,出发点和解决方案都不一样。所以机遇和挑战是并存的。在挑战上,你需要适应新的学科在研究手段的不同,这种不同的领域的训练可能会避免思维上的固化。机遇当然也很多,新的思维方式也能带来新的突破。


机器之心:生物和计算机科学,两个专业的研究氛围有哪些异同?


李纪为:生物和计算机都是非常有前景的方向,也都发展很快。在生物领域中,例如基因测序,有大量的大小创业公司正如雨后春笋一般地涌现。同时,AI 与生物如今的结合也愈发地紧密,比如大量的基于医疗的人工智能公司的出现。


二者比较起来,在计算机领域,学术界和工业界的关系更密切,新的问题也在不断涌现,新的理论和方法不断被采纳并得到实践的检验。大家对新生的观点和方法接受更快,比如深度学习,短短几年就横扫整个领域,在学术界和工业界中获得了广泛应用。这种紧密结合对促进技术进步和新技术普及很有帮助。另外一点就是在计算机领域里,大家更愿意分享自己的研究结果,推动技术共同进步。很多作者不光把自己的代码开源,还写出很详细的教程耐心指导大家如何重现实验结果。这对于新人的成长和知识的分享都有很大的帮助。


机器之心:在计算机科学中,你为什么会选择自然语言处理(NLP)领域?


李纪为:语言是一种非常奇妙的现象,到现在我们都很难洞察其本质。自然语言处理上的一点点的进展都能对我们的生活,以及我们对自身和世界的认识产生巨大的推动。比如语言识别、搜索、对话系统等,让我们的日常生活便利很多。我喜欢迎接这种挑战,同时也想为我们的生活作出一点小贡献。


选择


机器之心:有关选择的问题,对于希望在机器学习方向发展的人来说,如何判断自己适合去读一个博士学位?


李纪为:首先你要对自己研究的领域有很大的热情。读博从整体来看是一个艰辛的过程,其中有很多起起伏伏。在做科研的历程中,大约八成时间的工作是没有结果的——你做出努力但没有得到相应的回报,这样的失败相信每个研究者都经历过很多。这要求你对自己参与的领域非常有兴趣,保持热情,这样才适合读博士。


另外,读博期间,让你分心的事情有很多。用金钱来衡量的话,读博在很多情况下得到的收益要比读完硕士出来工作要小。但读博让你可以攀上这个领域的最前沿,去做别人没做过的事情,你要和未知的事物打交道,探索没人走过的天地。


最后,在选择读博之前,需要审视一下自己的性格。就像你眼前一条河,旁边其实有一座桥,但你依然愿意选择摸着石头过河。这样一来,当你下次遇见没有桥的河时,你依然可以从容地渡河。另外一个比方,读博就像置身一个荒岛之中——很多时候你需要在一点线索都没有的情况下学习从零开始如何生存:怎么砍柴、如何打猎、怎样生活……做研究也是这样,你需要学会自己摸索。当你拿到了一个问题时,你要学会如何找到相关研究者交流,如何查找文献,如何辨别你自己的哪些 idea 是靠谱的可行的。你也需要知道别人做到了什么程度,你的研究是否可以在此基础上提高等等。这其实是一个从无到有的过程。大多数时间,当你在做一个 project 时(这大概需要三个月的时间),你会发现在前一两个月自己都会处于挠头阶段——你会一点思路也没有。然后在无意间,你突然有了思路,你的研究就随之豁然开朗了。


这就引出了有关读博的意义的问题。大多数人在博士毕业之后实际上是不会继续纯研究工作的(如在大学里当教授)。读博的最大意义也不在于你在学习和研究的过程中发表了多少篇论文,解决了多少特定的问题。更重要的是,你可以在这个过程中学会一种解决问题的方法。如果希望在探索中寻求自我实现,那么你就是适合读博的。


机器之心:把时间回放到读博之前,一名临近毕业的学生应该怎样选择读博的学校与适合自己的导师?


李纪为:选择学校与导师需要考虑很多方面,我认为其中最重要的就是导师。


选择导师要比选择学校更加重要。在美国有很多计算机科学很强的学校,但它们的排名并非很高——即使是在排名六七十的学校里仍然有非常厉害的导师,甚至图灵奖得主。在选导师的时候,我认为:善解人意是第一位的,它的意义要甚至高于导师的学术水平。在读博过程中,你会发现比较艰辛,因为大多数的科研项目是以失败告终的,所以保持健康的心态是很重要的。最近有一个调查显示,很大一部分的在读博士都有抑郁、情绪低落的问题。在这种情况下,老师 nice 的程度就变得更加重要了,他/她最好是一个可以支持你的人。保持身心健康愉悦是能够完成更多研究的最近本前提条件。我很幸运遇见了 Dan Jurafsky 这样的导师。


好的导师并不意味着他/她能够轻松帮你解决代码中的 bug,而是意味着他可以会帮助你设计自己的学术生涯,在选择工作时能够为你进行把关。在我读博的第一年时,我去了微软研究院。而在第二年时,我的导师 Dan Jurafsky 告诉我:「微软当然很好,但你最好去另外一个地方,感受另一种氛围,去学更多的东西。」于是我去了 Facebook。导师对你学术生涯的方向会比你看得更清楚一些。


你也需要关注你所感兴趣的组里面的学术氛围。有很多时候,导师是处于忙碌状态中的,你无法苛责他/她能够帮你把关研究中的所有细节。但一个好的导师可以让研究组里呈现一种健康的环境,大家互相学习、互相讨论,主动分享自己的观点。想想高年级的博士生,他们每天都在做这样的工作,他们肯定对前沿问题的原因、技术细节有很深刻的见解,研究组中融洽的氛围可以让你更好地向他们学习。


在斯坦福大学,我很幸运地可以在这样的环境中成长。在这里,可以从老师同学身上学到无数的东西,小到代码调 bug,大到科研方向。当我在低年级遇到了问题向一个学长求助时,他可以立刻放下手里的工作和我探讨一个下午。


一个好的导师要有足够的管理能力,可以让自己的研究组和谐地向前发展。


机器之心:能否谈谈你在斯坦福期间的导师 Dan Jurafsky?


李纪为:Dan 不仅是我的导师,也是我的偶像。他学术水平很高,我刚入门自然语言处理时候就读过他的那本经典著作,《Speech and Language Processing》。他还写了本很有趣的《食物语言学》。Dan 早年有过工业界经历,在上世纪九十年代初,他就开始在语音方面运用神经网络模型。他很善于把研究和实际问题结合起来。在他指导下,我的研究往往从实际任务出发,从小问题出发,而后归纳总结到一般性、本质性的问题上。Dan 的这一点对我影响很大,科研要和实践相结合,要专注于解决问题。


在研究上,他对于学生的支持几乎是全方位的,我现在回想有曾经很多不靠谱的科研课题,他也会鼓励你去探索。在失败中也获得宝贵的经验,这一点在科研上我受益真的非常大。


机器之心:在研究中,是导师推动你,还是你推动导师?


李纪为:这应该是一个互相推动的过程,导师在你的研究中会为你定下一个大方向。如果你走入了错误的方向,他会站出来告诉你及时脱身。


在我的研究过程中有这样一个例子。我曾经试图从语音入手设计情感分析模型,希望从人们的语调中分析人的话语中包含了正能量还是负能量。以往,大多数研究通常是先进行语音-文字转录,然后通过机器学习对文字进行情感分析。Dan Jurafsky 很早就知道这个思路难以实现,但他给了我一个多月的时间进行自由探索。在这个过程中,我学会了很多 speech 方面的工具和模型,也了解了这个方向的困难程度。后来,他及时告诉了我应该寻找其他方向的研究。这就是一个好的导师应该做到的事:给你足够的自由探索空间,同时帮助你把握大体方向。


Dan Jurafsky 有一句话给我的印象很深:「我当了这么多年的教授,从自己的学生身上学到的东西是最多的。」因为不同的学生会有各自不同的方向,并在研究过程中成为不同领域的专家。在这个过程中,导师也会获得很多新的知识。Dan 在看到一些学生的研究时,会深入了解其中的技术细节,他是一个非常谦逊的人,我非常崇敬他。


研究心得


机器之心:你认为自然语言处理(NLP)领域的研究目前面临的最大挑战是什么?


李纪为:说实话,挑战很多,但发展同样很快,这才是这个领域让人着迷的地方。我觉得有一点是无结构的知识如何结构化。比如人们的 common sense 知识,事件背景等,很难用统一的方式表示出来,distributed representations 给了一个全新的表述方式,但还有很多很多方面需要提高。另外如何找到有用的信息,难度也很大。不过无限风光在险峰,这也是这个领域让人着迷的原因之一。


机器之心:你有哪一篇/哪几篇论文称得上「最」呢?比如写作过程最艰难、成就感最强、最令你满意?


李纪为:我最喜欢的是 Dialogue Learning With Human-in-the-Loop。这是我在 Facebook 研究院工作时候所做的一个工作。这篇论文里的工作,科研和实践结合非常紧密,里面提出的算法在 facebook 产品中得到了一定程度的应用。这个过程中,我也体会到了学术界和业界的相通和不同之处。比如开发产品时候要从用户考虑,分析使用场景等等,这是学术研究里面遇不到的挑战,这样的经历十分有趣。


机器之心:你最近的研究方向是?


李纪为:最近研究的是对话系统以及跟对话相关的交互问答系统。对话系统难度很大,但是很有意思,如何让自然语言处理能够理解人的意思,像人一样和人交流,这是个极大的挑战,也是自然语言处理的终极目的之一。现在的研究提出了很多的让人耳目一新的理论假设,以及设计了很多新颖的机器学习模型,发展非常快,同时又有很多的新的问题涌现,需要解决。我最近在研究垂直领域的对话系统,比如智能客服上实现高水平的应用,让人感受到这种智能的切实存在,感受到自然语言处理领域的巨大进步。


机器之心:在 arXiv 上和 Google Scolar 上我们可以看到你在博士期间发表了多篇论文,其中一些被各类机器学习顶级会议接收,而且很多篇论文都是第一作者。在研究时,你是如何同时处理多项不同工作的?


李纪为:开展多项工作虽然时间上比较紧张,但是很有好处,一个问题上卡住了,可以切换到另一个问题上继续研究,而一个问题上的进展很可能可以带动另一个问题的解决。另外我认为很重要的一点就是,科研题目上还是失败的例子更多一些。如果工作并行进行,当一个工作失败的时候,不会特别的沮丧。


机器之心:如何平衡生活与工作呢?


李纪为:读博士更像一个马拉松,而不是百米冲刺。协调好生活和工作很重要。生活里面,运动和娱乐也占了很大比例,假期的时候也会出去玩儿或者度假。另外我也经常和研究者多多沟通交流,并且常常能聊出一些很好的 idea。


机器之心:谈谈给后辈的建议。作为一名在读博士,应该如何参加学术会议?


李纪为:我认为最重要的事情就是经常把自己从 comfort zone 推出来。要不断探索新的技术和方向。学术会议上要多关注那些自己不熟悉的领域。比如你是做问答系统的,要多多与机器翻译或者句法分析的人交流,这样会常常有意想不到的收获。除此之外,也多和不同背景,比如工业界的研究人员沟通,这样有助于开拓自己的视野。另外就计算机领域而言,在工业界的实习我认为也很重要。


机器之心:在此前的 GMIS 2017 大会中,我们现场感受了来自 UC Berkeley 的 Stuart Russel 和吴翼的精彩演讲。美国的顶级大学是否非常注重学生和老师的演讲能力,是否在学习期间也有相应的培养体系?


李纪为:吴翼是我的好朋友,NIPS best paper 得主,各方面能力非常优秀(笑),我从他身上也学到了很多。在斯坦福大学,教授们非常重视培养学生的演讲能力。我的导师 Dan Jurafsky 在每次我去大会作报告之前都会先和我预演一遍,即使他每天的工作都很忙。当然,这也和个人性格有关。


机器之心:如何写好一篇研究论文?


李纪为:我以前都是在实验做完以后再开始写论文的——在 Deadline 之前几天开始奋战,其实这样效果并不是很好。我曾经合作过的一名学者——现任俄亥俄州立大学助理教授的 Alan Ritter——他给我的建议是:在做 Project 之前要先开始动笔写。你所写的内容可以是一个简述,你需要查找相关工作并事先写好,把模型的形式介绍一下。在 NLP 领域中,会议的论文通常需要 8 页,在你真正动手之前最好写出三页来。


这是一件非常有意义的事,首先,它督促你寻找类似方向的工作,以免做到一半才发现已经有同样的工作被别人完成了。第二,它可以帮助你缕清思路:这篇论文的创新之处在哪里?它和前人的研究有哪些不同?在这个思考过程中,随后实验的思路就非常清晰了。


当然,这种写了三页的草稿我也放弃了很多,有的是因为写了一半,你会发觉无法说服自己;有的则是因为你发现自己设计的模型并不好用。


在做实验的过程中,可以对之前的三页内容不断修改。在这个过程中,论文就逐渐成型了(5-6 页)。在实验结束后,将数据和图表加入到文章中,再进行一些修改,论文就完成了。


除此之外,我们的导师常说:在写论文的时候,你要经常问 why?而不是 how?不要试图向读者解释你是如何做到的,要向他们展示你是为什么要这样做的。学者要时时刻刻把这种思路放在脑中。很多时候,你会发现不同的人会发表类似的研究,但强调动机(motivation)的那一篇通常影响力会更大。


机器之心:你在研究期间和很多其他公司、大学的学者有过交流,你认为斯坦福大学的风格和 CMU 等其他学府有什么不同?


李纪为:斯坦福和 CMU 学术上都很强。斯坦福背靠硅谷,有极其浓厚的工业以及创业环境。在这里更好地提高自己的眼界以及认识人们的需求。当然,与此同时,分心的事情也比较多。要把握好这种 trade off。CMU 的环境相对更单纯一点,更加专注于研究。


机器之心:你认为私人公司或私人设立的研究机构(比如 OpenAI)做 AI 研究的优势和劣势是什么?大学的优势和劣势又在哪里?


李纪为:企业里面有很好的资源,有大量的数据和优秀的研究员,研究和实际应用结合紧密。大学也有自己的优势,科研活动更纯粹一点,有利于一些基础性的研究的开展。现在企业和大学的沟通交流非常频繁顺畅,这也给我们提供了更广阔的视野和平台。两者相辅相成,更加进步。这样在计算机乃至很多行业的发展史上似乎是绝无仅有的,所以我感觉,我们有幸赶上了一个好时代。


市场与创业


机器之心:说到毕业后的方向,你会投入学界还是业界?据说,现在的人才都愿意影响世界,如果投身业界的话,你想去公司的研究机构还是产品部门?


李纪为:去业界的可能性大一些。读博士的几年,我真真切切地感受到技术如何改变世界,如果自己的工作能给人们带来看得见摸得着的便利,哪怕是一点点,自己的内心也会得到很大的满足。


斯坦福大学有一种创业的氛围,由于靠近硅谷,所以很多同学们都倾向于创业(如果倾向于投身业界,人们会倾向于更早毕业;如果希望做成更多的研究,或毕业任教职,则会倾向于保持足够长的博士生涯),或许这也潜移默化地影响了我的选择。


机器之心:你会倾向于在国内还是国外发展?


李纪为:回国的可能性更大一些。出国几年,发现国内的变化真是日新月异。每一次回国,都感觉自己落后了。置身于这样的大潮中,每个人都有想要做点事情的冲动。国内有人工智能这方面的需求,如果能够切身地给他人的生活带来哪怕一点点的便利,那真的再好不过了。


机器之心:在亚马逊 Alxea 开创了新市场之后,最近阿里也推出了自己的智能音箱,你是如何看待智能语音市场激烈角逐的?


李纪为:我觉得这可能是下一个的互联网入口,有可能将引领新一代的交互方式。我们已经切身地体会到这些为生活带来的便利。不从技术层面来讲这又是一个很难的问题,有很多问题急需解决。这是一片广阔的天地,需要无数研究者的共同投入,开启下一个智能交互的新时代。


机器之心:如何看待目前科技界的人才流动,比如 AI 大神被国内外科技巨头疯抢?学习期间有公司接触过你吗?


李纪为:工业界和学术界这种互动能促进双方的交流,有助于业界和科研界双方的进步。当下读博士阶段在企业里面实习早已是一个非常非常普遍的现象。我和美国以及国内的一些企业都有接触,包括与曾经实习过的公司保持着学术上的沟通,也探讨了在业界展开合作的可能。


机器之心:也有一些非常棒的人才,执意选择创业(比如 Clarifai 的 Matthew Zeiler),你会有创业的打算吗?如果创业,你会考虑哪些因素?最吸引你的应用场景是什么?


李纪为:如果有合适的机会,创业当然非常有可能。我觉得智能会话系统,语音交互系统,问答系统等等都是很好的的方向,也有很广泛的应用,而且技术上也有着极大的挑战性。 



本文为机器之心原创,转载请联系本公众号获得授权。

✄------------------------------------------------

加入机器之心(全职记者/实习生):hr@jiqizhixin.com

投稿或寻求报道:editor@jiqizhixin.com

广告&商务合作:bd@jiqizhixin.com

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存