机器学习泰斗Michael I. Jordan与张宏江共话青年成长之路:研究者要对复杂时代有所贡献
“我喜欢放慢脚步,并不喜欢盲目参与到竞争中。我建议你们在一定程度上避免追逐热点。”
“你可能需要在某个问题上耕耘5年甚至更久,不要想着在一两年内就做出著名的工作。”
——这些是当今最有影响力的计算机科学家之一、机器学习奠基人、美国三院院士Michael I. Jordan对青年学者发自肺腑的寄语。他的脚踏实地、专注沉稳的治学风格在此次对话中可见一斑。在此前的人生中,他的重要贡献包括指出了机器学习与统计学之间的联系,并推动机器学习界广泛认识到贝叶斯网络的重要性。
2022年6月1日,Michael I. Jordan、智源研究院理事长张宏江,以及两位青源会会员宾夕法尼亚大学副教授苏炜杰和斯坦福大学助理教授雷理骅在“2022北京智源大会|青源学术年会”上展开了一场对话。在讨论中,Michael I. Jordan和张宏江博士在研究趋势、科研心态、学生培养等方面为青年科学家们给出了自己的建议,并讨论了如何开展跨学科研究、如何看待当下的晋升和评价体系、如何提升研究「品味」等问题,对青年科学家在人格修炼、学术修养、社会责任感等方面提出了期望。
Michael I. Jordan(后文简称MJ):我们并不能未卜先知。我认为盲目追逐热点也并不明智。我经常试图做些与别人差异甚远的事。有些热点是大家共同关注的,这非常有利于这些问题的解决。但也许有一些非常有趣的问题被忽视了。我喜欢放慢脚步,与我的学生按照自己的节奏开展工作,并不喜欢盲目参与到竞争中。
甚至,我会建议你们在一定程度上避免追逐热点。深度神经网络固然很好,但研究者甚众,想要在此领域脱颖而出也并非易事,很难寻找到新的问题。此外,大公司在这一领域也具有一定优势。
无论是否会成为热点,但我确实认为应该思考决策、不确定性量化、分布变化、对数据收集和分享的经济激励、多方决策场景下的竞争机制。这些都是现实世界中客观存在的重要问题,有深远的影响,目前的研究工作也相对较少。
张宏江:盲目追逐热点往往会误导你的注意力,青年学者应该专注于自己热爱的领域。同时,当大的浪潮到来之后,也要理解产生这些热点问题的原因,这样才能做出更有影响力的工作。
苏炜杰:据我的经验,对于初级研究者而言,只想追逐热点问题会让你的研究十分艰难,因为在同一方向上始终有人领先于你。我们应该跟从内心的指引,而不是盲目追逐热点。况且,我们也很难预测下一个热点问题是什么。
Q2(苏炜杰):生活是多变的。有时我们可能不得不改变自己的研究计划,甚至是研究领域。可能是因为出现了一些激动人心的新问题,也可能是因为旧的问题已经被解决。我们应该如何应对研究计划的改变?应该避免哪些困境?如何保持兴趣和热情?
MJ:研究者们需要考虑自己终生追求的事业,但也需要明白:你不可能只做一件事情。在我的生涯中,至少花费了30%的时间学习新事物,它们可能在未来与我有关。我看过很多视频,甚至读过一些有趣的本科生水平的书籍。我并不期望它们能立刻让我产生研究思路。可能过了5年、10年,我才会看到它们与我现在思考问题的联系。
我是一名统计学家,而大多数从事机器学习的人并非如此,他们认为统计学过时了,无关紧要。但我投入了数十年的时间研究缺失变量模型、因果推断、不确定性量化、高维回归和稀疏等问题。这些课题后来都流行了起来,由机器学习研究者发扬光大。我时刻准备着从事这些研究,对它们有一定的了解,有浓厚的研究兴趣。
更重要的是,我们还要学会跳出学术界,始终记得自己不仅仅是「数学家」,也是解决现实社会中涌现出的现实问题的「问题解决者」。我们可能要构建预测、分配、经济、交通、商业、法律、娱乐等领域的系统,解决其中的优化、经济、计算、平台等问题。
目前,有很多人工智能学者从事脑科学、心理学等方面的研究,这些从科学角度出发的研究非常棒!但是对于包括我在内的该领域90%的从业者来说,我们更多地扮演工程师的角色,我们要明确有哪些重要的现实问题有待解决。高斯、冯·诺依曼等伟大的数学家也致力于解决现实问题。
此外,人工智能技术往往并不是放之四海皆准的,需要针对不同的场景、约束条件、数据量、数据类型、目标等情况进行设计。我们不能简单粗暴地应用技术,需要更加了解要解决的问题本身,有的放矢。因此,我从事过应用数学、控制论、统计学、优化、经济学的相关工作,对这些领域都有一定的了解。
张宏江:「问题解决者」这个说法很好。有的问题来源于课本,有的问题来源于科学论文,而有的问题则来源于现实应用。在我的职业生涯中,我热衷于从应用的角度看问题,并试图定义问题。在新一代的华人研究者群体中,不乏很优秀的「数学家」,他们可以很好地解决已经被定义好的问题,提升准确率和性能。
然而,发现问题和定义问题才是更重要的。我们可以通过观察、阅读、与人交流,根据当前解决的问题、交互的应用来定义新的问题。切记,不要轻视「简单」的应用,在没有了解其背后的奥秘时就忽略它们。如今,注意力模型大行其道,而视觉领域的人早在20年前就开始研究注意力机制,当时却只有很少的人认为它会成功。
苏炜杰:这与我个人的研究经历也相符。我的一些重要工作的灵感偶然来源于两个不同的领域甚至学科。历史上,一些重要的思想也是由此产生的。
Q5(雷理骅):我们经常讨论跨学科的研究,但是目前跨学科研究的效率足够高吗?两位对人工智能、统计学、计算机科学、经济学等领域的跨学科研究者有何建议?
MJ:我认为目前跨学科研取得了巨大的成功。机器学习在医疗健康、计算化学等领域得到了广泛应用,在交通等商业领域也具有应用前景。学界和工业界的人士都参与到了合作研究中,其中一部分是机器学习从业者,另一部分是领域专家。在我的学生时代,机器学习还只是计算机领域的事,当时的算法也相对简单。因果推理、马尔科夫模型、图模型、非确定性量化等技术都是统计学和计算机科学专家合作的结晶。
经济学也融入到了跨学科研究中,目前研究者们已经用到了一些经济学度量方法。博弈论、拍卖设计都是经济学和统计学结合的经典范例,如果再加上计算机科学,将迸发出巨大的能量。在收集数据、构建模型的过程中,我们有时需要考虑激励和竞争,设计拍卖、合约机制。在大规模的商业匹配市场中,商人和消费者构成了二部图。
经济学、计算机科学、统计学的结合取得了巨大成功,我们很高兴看到相关应用技术的诞生。在不确定性量化方面,雷理骅和我针对共形推理和共形预测做了一些工作。这一技术很早就已经被提出,但当时鲜为人知。直到最近,人们猛然间意识到这一技术的作用,它可以根据神经网络或其它大型复杂系统的输出进行不确定性量化。
合作的关键之处在于,当计算机科学家看到一些统计学文献时,会发现这些方法有很好的证明,可以解决一些小规模的任务,但很难应用到大规模场景。此时,就需要与新一代的统计学家合作,让他们严谨地拓展这些方法,使其适用于大规模任务。从某种意义上说,市场天然地具有扩展性,它们是去中心化的,市场之间共享的信息量较为有限,目前用到的算法还很简单,需要引入计算机科学从而更好地利用其中的数据和不确定性。
我目前与阿里巴巴蚂蚁金服、亚马逊等公司开展了合作。这些公司面对的最困难的问题例如:如何根据用户的偏好、政府规定等数据设计有效的定价机制。解决此类问题需要计算科学家、经济学家、统计学家、运筹学家、控制论学家、律师等人的通力合作。尽管这种例子在学术界可能还不多,但是这种跨学科合作切实解决了公司的实际问题。
张宏江:2022北京智源大会设有「AI for Science」专题论坛,这也是智源研究院重点发力的领域。我们有从事新药研发、患者预后跟踪、材料设计等应用研究的团队。这些研究具有巨大潜力,需要科学家、数据分析师、领域专家的协作。近年来,这些领域取得了一些突破,催生了一些新的公司。经典的微分方程方法需要耗费巨大的计算资源,深度学习在这些领域的作用日益凸显。正如 Michael所说,工业场景下自然需要科学家和特定学科的应用专家合作。
对于青年学者而言,跨学科研究是建功立业的好课题。但需要注意的是,将两个二流的研究结合在一起无法得到一流的成果,研究者需要精通一到两个领域。仅仅对两个领域都略懂皮毛并简单地做加法是无法取得成功的。
Q6(雷理骅):无论是在学术界还是工业界,研究的「品味」都十分重要,这可能指的是解决问题的思维模式,或者从不同领域寻找灵感。如何提升研究品味?
苏炜杰:每个人都有自己的「品味」。从长远来看,只有时间会告诉你怎样的品味才是最棒的。对于我来说,我本科阶段接受了代数、几何、拓扑学等方面的纯数学训练,这对我的研究「品味」有很大的影响。我起初认为自己应该成为一个数学家,但在本科的最后一年开始做一些偏应用的工作。然而,时至今日,我的研究兴趣在很大程度上仍受到数学的驱动,我喜欢尽可能简单的思路,看到事物背后最本质的原理。
雷理骅:我曾经在Michael的组里从事研究工作,我经常思考未来的研究方向以及如何对某些事务做出改进,这很有趣也有一定的影响。我的研究背景偏应用,起初我对医学统计感兴趣,后来接触到了市场、贸易、经济学,在本科阶段从事微观经济学研究。在我攻读统计学博士的过程中,我与各种领域的科学家、社会学家、工业界的人士交流,他们能提出很具体的好的研究问题。这样一来,科学家们就可以发现现有的解决方案还存在哪些不足,需要研发怎样的方法来提升。
关键之处在于,如何根据科学家们具有的模糊的先验知识转化为实际改进统计推理的方法。而且,我们同时还不能牺牲数据科学自由探索的特性。我认为,跟上科学家们的脚步,是提升研究品味的好方法。
MJ:我也认为数学会让你在一生中具有很好的研究「品味」,具有很好的数学上的洞察力。假设有充分条件「若 x 则 y」,这有助于我们理解y。但好的数学家会进一步追问:如果z成立时y也成立呢?x是唯一能够得到y的方式吗?使y成立的最大集合是什么?通过回答上述问题,你就可以构建相对抽象的概念。因此,我非常欣赏出色的数学家,当且仅当接受了大量训练才能做到这些。
学习数学不是为了「炫技」,而是为了将复杂的问题独立成相对简单的问题。找出某些问题成立的条件,从而保证将问题尽可能简化。计算机科学和统计学领域中的很多工作都是如此。值得一提的是,「缺失成分分析」是非常有用的,这些成分可能与人类行为、物理现象有关,该方向还有很大的研究空间。经济学家很擅长找到这样的原理,例如供需关系,定价策略。此外,机制设计也是十分复杂的问题,该方向与计算机科学和机器学习的关系十分密切。
张宏江:要想拥有好的研究「品味」,要学会将问题适度简化,寻找到问题的核心因素。此外,我们还要具有更加开放和包容的心态。在疫情爆发之前,我经常在全世界旅游,每当人们问我是否想念中国菜,我都会说只要是可口的食物我都喜欢。开放的心态对于养成良好的研究「品味」十分重要。
Q8(雷理骅):研究者都想做出突破性的贡献,但是这也意味着我们要应对非常具有挑战性的问题,例如:深度学习理论。冒险解决这些问题是否明智?
MJ:我们不仅要将自己定位为「问题解决者」,还要尽力为社会做出贡献,成为有用的人。许多学者沉醉于小的学术社交圈,享受科研的思路,享受我们对学生带来的影响。但实际上,我们都希望这些努力都会对社会有所影响。
正如蒸汽机、现代医学为人类带来了巨大的帮助,计算机也在某种程度上帮助了很多人。但同时,计算机科学也带来了一些麻烦,很多人在解决问题时并没有使用统计学知识,他们仅仅使用了一些很简单的公式,只为了让论文得以发表,这样并不好。
我们的目标应该是做出与社会相关的工作,解决真正有意义的问题。有的研究者并没有发表很多成果,但他们的工作影响了医疗、教育、气候等关键问题,那么他们的人生和职业生涯也很有价值。
我们不能故步自封。我花费30%的时间阅读新书,获得新知。其余还有一半的时间在思考可以做出什么对社会有贡献的事情。研究者们不应只计较自己的得失,更应该对现代生活、对社会、对复杂的时代有所贡献,让世界变得更好。
张宏江:大约两年前,我受邀与清华的青年教师座谈。会上,他们向我提出了同样的问题。纵观中国的计算机科学发展史,目前你们身处于最好的时代。不要为自己的研究生涯过度担心,环境一直在改善。青年科学家要对社会产生积极的影响,这对你们所处的研究领域也是大有助益的,有助于学生的成长和制度的构建。
推荐阅读
智源大会自然语言处理论坛精华观点
梅宏院士:如何构造人工群体智能?| 智源大会特邀报告回顾
图灵奖得主Adi Shamir最新理论,揭秘对抗性样本奥秘 | 智源大会特邀报告回顾