Sean Welleck：上纽大首位博士毕业生，机器学习领域研究新秀

Scroll down for English

在成功递交毕业论文并完成答辩考核后，上海纽约大学计算机科学博士项目学生Sean Welleck于去年12月成功毕业，成为学校首位博士毕业生。

Sean Welleck来自美国得克萨斯州奥斯汀，2016年被录取成为上纽大计算机科学博士项目的首届学生。该项目由上纽大与纽约大学柯朗数学科学研究所、纽约大学文理研究生院合作设立。四年半的博士学习期间，Sean Welleck在上海和纽约两地深钻机器学习，最终以在顶级学术会议发表九篇论文的优异成绩毕业，并将在华盛顿大学开启博士后研究。

“祝贺Sean！他是上海纽约大学的骄傲，学校也很高兴迎来了发展史上又一个里程碑，”童世骏校长说，“对于一所国际化综合性研究型大学，这只是一个开始。期待能在未来几年见证更多优秀博士生的成就与发展。”

上海纽约大学成立于2012年，目前设有数据科学、神经科学、社会学等10个博士项目，现有35名博士生，今年还将有4名博士生参加答辩。学校预计将在未来陆续开设更多的硕博项目。

出类拔萃的研究员

入学博士项目之前，Welleck在宾夕法尼亚大学获得了计算机科学学士与硕士学位。毕业后曾在IBM工作两年，担任软件工程师。“这段从业经历让我意识到，我真正的人生理想是从事科研，而非做一名工程师。于是，我决定继续深造攻读博士学位。因为对张峥教授在深度学习领域的研究很感兴趣，我最后决定选择上纽大的博士项目。”Welleck说。

上纽大计算机科学教授张峥现任亚马逊AWS上海人工智能研究院院长（点击了解详情）。他表示，Welleck具备很强的综合素质。“在我们的第一次视频通话中，他话虽不多但句句抓住重点，”张教授回忆说，“Welleck有较强的编程能力，我也很欣赏他对马拉松运动的热爱，这表明他具备一位优秀研究人员所需的韧性与毅力。我们都觉得他很有潜力。”

上纽大的博士项目为学生提供了许多与来自纽约大学全球教育体系的研究人员交流合作的机会。得益于此，Welleck和纽约大学计算机科学与数据科学副教授Kyunghyun Cho展开了密切合作。2017年和2018年，Welleck和张峥教授、Cho教授等在机器学习和计算神经科学领域顶尖会议“神经信息处理系统大会”（NeurIPS）上发表了关于多重集预测的研究发现。作为两篇文章的第一作者，Welleck被授予了“英伟达人工智能实验室先锋研究奖”（NVIDIA AI Labs Pioneering Research Award）。

“张峥教授在计算机系统和机器学习方面见闻广博，总能提出创新独到的见解，其他深耕某个单一领域的学者很少能做到这点，”Welleck说，“NeurIPS大会期间，经他引见，我认识了许多机器学习领域的‘大咖’。纽约大学心理学和神经科学教授Marisa Carrasco就是其中之一，她从神经科学角度给我提出了非常有用的反馈。”

自2018年张峥教授就任亚马逊AWS上海人工智能研究院院长后，Welleck开始与Cho教授以及他实习所在的Facebook AI研究团队（FAIR）的研究人员展开更为密切的合作。

“Sean在机器学习和自然语言处理的顶级会议上发表了9篇论文，文章累计被引用200多次，”Cho教授说，“每次回想Sean硕果累累的博士学习生涯，我都会想起2016年初应招生办要求面试他的经历。我们很幸运能招到像他这样出色的学生，也很高兴他最终选择了我们的博士项目。”张峥教授也表示，Welleck取得的成就远远超过了他的预期。

训练机器书写语句

去年，受疫情影响，Welleck取消了暑期的实习计划。他利用这段时间完成了毕业论文，提前一学期顺利毕业。

在毕业论文中，Welleck重点关注机器生成文本的过程，尤其是书写语句时机器出现故障或行为异常的情形。“例如在某些情况下，机器会开始自我重复，或者语言变得平淡无趣，”Welleck说，“它们也可能会自相矛盾。例如，当你和一个聊天机器人交流时，它一开始说：‘嗨，我是一名律师。’可当你再次询问它的职业时，它却回答说：‘我是一名医生。’”机器学习模型的传统训练模式是告诉机器应该做什么，而Welleck采取了一种新型的“非似然训练”（Unlikelihood Training）方法，即同时告诉该模型不应该做什么。该方法可以提高机器学习训练模型的效率。

Welleck还在研究中探索如何创建自然语言处理模型，学习生成语句的不同顺序。这是机器学习领域内的一个新概念，名叫“非单调生成”（Non-monotonic Generation）。“人们在书写文字时总是会沿着特定的方向，如中英文的书写习惯都是从左往右，但这对机器来说不一定是最理想的书写顺序，也许从中间或任意位置开始效果会更好。因此，我们应该不断探索这些提升机器文本生成能力的可能性。”Welleck说道。

马拉松爱好者与播客主播

研究之外，Welleck最喜欢的就是跑马拉松和做播客。“我每天早晨都会跑步。不论是在上海还是纽约，跑步都能让我感到平静、踏实。我真的很怀念边沿着黄浦江奔跑，边欣赏沿途城市风景的那段时光。”Welleck说道。在上海读书期间，他还专程赶去日本参加了几场马拉松比赛。

去年六月，Welleck开始制作一档播客节目《论文评论》（The Thesis Review），邀请机器学习领域的研究人员一同探讨他们的博士论文，并分享研究的进展情况。

Welleck在博客中采访的部分机器学习研究人员

今年二月，Welleck将在华盛顿大学开启博士后研究，继续他在机器学习领域的探索之旅。

Click "Read More" (阅读原文) below for the English version