CCCF精选｜做有工匠精神的创新

唐杰，清华大学计算机系教授、系副主任，获国家杰青，ACM/IEEE Fellow。他的研究领域为人工智能、认知图谱、数据挖掘、社交网络和机器学习。他联合多个团队研发了超大规模预训练模型“悟道”，参数规模超过1.75万亿。他还主持研发了研究者社会网络挖掘系统AMiner，服务了全球220个国家/地区3000多万用户。他是CCF杰出会员，CCF学术工委主任，CCF公共政策委员会执行委员，曾担任CCCF动态栏目主编、YOCSEF(2018—2019)学术委员会主席。

在CCCF出刊200期之际，唐杰接受了CCCF的专访，分享了他在研究历程中面临的抉择、机遇与挑战，并解读了未来人工智能行业的研究前景，表达了对青年科研工作者的期许。

问：回顾您的科研历程，您是何时开始对社交网络数据的分析和智能应用领域感兴趣的，当初为什么选择这个方向，后续又如何应用于大模型的研发？

唐杰：我最初在博士阶段的研究领域是语义网。2006年毕业留校，基本确定了数据挖掘和知识网络相结合的研究方向。初出茅庐，科研压力很大，但仍然感觉科研就是要做出真正有用的系统，让世界更加有机会看到中国的研究。于是决定，工作的第一年全身心地写系统代码，这个系统就是ArnetMiner，即现在的AMiner。当时还没有博士生，就带着一两个硕士和本科生一起没日没夜地干了一年。正赶上社交网络迅速发展，ArnetMiner是用图数据做分析的，包括作者和作者的关系、作者和机构的关系，其中隐含着社交关系。接着我们开始从网络科学的角度对ArnetMiner中的作者和作者关系、作者和机构关系进行分析，关注点从数据分析上升到了网络科学。当时，计算机与社会学的结合才刚刚兴起，我隐约感觉到这可能是一个能取得突破的研究方向，便相继访问了约翰·霍普克洛夫特(John Hopcroft)、乔恩·克莱因伯格(Jon Kleinberg)等该领域的顶尖学者，与他们一同探讨计算社会科学的研究，逐渐在计算社会学中取得了一定进展。2008年，我们的论文“ArnetMiner: extraction and mining of academic social networks”历经几次大幅度修改，终于被KDD 2008接收，在国际上的多次系统展示也获得了同行认可，后来有幸获得了ACM SIGKDD 2020年度的Test-of-Time Award，即十年最佳论文。

到2015年，大数据研究已经基本上有了一定的范式，一批大数据、网络科学的公司迅速成立，但对于更深层次的人工智能，尤其是人工智能(AI)，认知机理还很不清楚。张钹院士对我们提到，应该结合数据和知识做双轮驱动的人工智能。于是2019年，我们提出了“认知图谱”的概念(ACL’19)，核心想法是把知识推理和数据的向量表示结合起来，类似人的左右大脑，左脑做直觉识别(我们用基于Transformers的双向编码器表示模型(BERT)实现），右脑做推理（我们用了图神经网络(GNN)）。这在当时引起了很大关注，当年还与加拿大Mila研究院的图灵奖获得者约书亚·本吉奥(Yoshua Bengio)进行了深度交流。但很快我们发现这里面有一些局限性：模型无论在数据表示、模型记忆还是在推理等方面都还需要进一步提升。因此，也是在这一年，我们投入大量精力做预训练大模型，目标是运用超大规模的参数模型，探索里面蕴含的记忆、推理和生成能力。2020年，我们取得了一些初步成果，比如长文本记忆的BERT模型(NeurIPS’20)；次年和团队一起发布了“悟道2.0”超大规模万亿模型。在这个过程中，我们发现大模型具有很强的记忆能力和一定的推理能力，可以实现文字、图像生成等多种应用。今年，我们又设计了全新算法GLM，开源了高精度的双语千亿模型GLM-130B，在多个英文基准测试上效果超过GPT-3，在中文基准测试上也取得当前最好的效果。为了打造大家都能用得上的大模型，我们花了大量时间把代码从英伟达适配到国内主流芯片，包括华为升腾、海光DCU、神威超算；我们还实现了模型量化压缩，支持在一台4张3090卡的服务器上运行千亿模型，大大降低了大模型的研究和使用成本。

我经常会想到张钹院士对我们的提醒：只做数据驱动的预训练模型还远远不够，必须把知识融合进去。最近我回顾了2005年做的语义网研究，开始思考如何把语义网与大模型整合在一起，将知识和数据融合到大模型里面，实现更具有推理性的生成。这也是我们目前主要专注的方向。

问：您在未来20年内，您认为计算机领域存在哪些机遇和挑战？

唐杰：我觉得未来最大的挑战是，当计算机领域进入大融合时代时我们该如何应对，这包括横向融合和纵向融合两方面。横向融合是指各个应用领域原来各自独立的研究，比如自然语言处理、信息检索、数据挖掘、图像处理，未来会实现领域间的横向融合。比如我们在做的预训练模型，通过对图片做分词，就可以使用自然语言处理的相关算法做图像处理。未来不同模态数据之间的分析挖掘必然会实现融合。纵向融合可以理解为，现在很多人工智能的项目都是偏上层应用的，但向下看，比如操作系统高性能处理，以及面向芯片级的应用，都会实现上下融合。我们最近发布的千亿模型GLM-130B，里面涉及大量的并行优化、通信优化、底层算子优化。从学科发展的大方向来看，我觉得这两种融合未来会在计算机领域变成一个趋势。

另一个挑战是，未来如何让计算机具有超越感知能力的认知能力，这包括基本原理、技术路线和应用落地三方面。首先是如何理解认知本身的机理，这本身就是一个很大的挑战。其次是相关的算法如何选择，目前选择较多的一些方案如类脑，即以模拟人脑的方式来做计算机认知。例如美国近年兴起的Conscious AI（意识AI）研究。在意识AI中，所谓的有意识学习可以简化地看作有目标的机器学习，给定数据，训练一个模型，通过模型进行分类，其输出可以看作一个短期记忆模型，模型比较简单：数据有限、无背景知识。而意识AI中的无意识学习就可以看作人脑的长期记忆模型，可以类比当下比较流行的预训练和自监督学习。无意识模型和有意识模型之间的连接可以通过基于外界反馈的强化学习来实现。这是心理学家博纳德·巴尔斯(Bernard Baars)提出的全局工作空间理论(Global Workspace Theory，GWT)的一个计算实现方法。也有很多科学家参考人脑的工作机理来设计适合计算机的算法；甚至还有通过量子计算来实现认知智能的研究，但哪个范式能最终胜出还是个未知数，这是个机会，但需要不断进行创新性的思考，也需要脚踏实地的实践，更需要时间来检验。另一个方面是在技术和算法方面，日新月异，这既有机遇也存在巨大挑战。举一个例子，前两年我们采用VQVAE方法实现文本到图片的生成，第一个版本的CogView性能甚至超过了早期的DALL.E，但技术变化非常快，近年Imagen和DALL.E2都使用了扩散(diffusion)技术，取得了令人惊艳的效果，几乎到了AI作画的可实用阶段。未来人工智能在可解释性机器学习、数据与知识融合方面一定会有突破性进展，在机器人、自然语言处理、视觉、语音、交互等关键技术上也会有颠覆性的创新，但建立真正安全、可靠、可信及可扩展的人工智能技术体系，还要求我们既紧跟全球技术变革又不断创新，挑战巨大。

最后是在应用侧，如何让计算机尤其是智能技术在更大范围落地，体现其能力并实现具体应用，也存在很大挑战。这又涉及到交叉融合，计算机领域的专家可能不愿意走出去，而其他领域的专家又可能对计算机的理解不够深入。大学科范畴的学科交叉让计算机逐渐成为很多学科的重要支撑，例如AlphaFold2利用机器学习算法将蛋白结构的预测精度大大提高，可能为生命科学整个领域的研究都带来巨大变化。未来计算机如何密切结合认知科学、生物材料、仿生学等领域的最新进展，在医疗、交通、机器人、国防、航天、工业等领域开展前瞻性、基础性的创新研究，用计算机支撑各大学科发展是一个重大机遇。

问：有一种说法是“基础科学是人工智能海平面下的冰山”，您如何看待基础科学和人工智能的关系？

唐杰：基础科学对人工智能的发展非常重要。对照历年的诺贝尔奖和ACM图灵奖就会发现，计算机方面的长足进步，很多都是得益于基础科学上获得的长足进步。比如说我们首先知道了神经元的工作机理，后来才慢慢地看到计算机领域有很多关于神经网络的研究。基础科学的进步对人工智能乃至计算机领域的进步有着举足轻重的意义。

人工智能发展到今天，需要进行革命性的创新，实现自我的认知能力，甚至是未来的自我意识（国际上已经有不少关于意识AI的研究）。目前，人工智能已经有了一些变革，比如从最开始的感知AI，到如今的认知AI，以及未来的意识AI。要让计算机变得更聪明，具有自我认知、自我意识，需要计算机体系结构和计算范式的同时变革。

问：您加入CCF会员已十几年，曾担任CCCF动态栏目主编、YOCSEF主席等职务，长期活跃于CCF平台，您参加CCF活动和阅读CCCF的最大收获是什么？

唐杰：CCF给人最大的感受是，它是一个非常有情怀的组织。我从2018年开始担任YOCSEF的主席，当时全国有27个分论坛，2000多个委员，我也去了10多个分论坛，跟全国的科研工作者、工业界的同行一起交流、一起成长，一起致力于中国科学技术的进步，这令人心潮澎湃。我觉得CCF对中国中青年科技工作者，以及学术界、产业界的推动作用是巨大的。还记得和张钹院士一起访问牛津大学，那里诞生了很多诺贝尔奖，很多大师级人物都曾经在那里进行学术辩论，大胆质疑，当时就想到国内太缺少这种质疑的学术辩论了。CCF YOCSEF就是这样一个年轻人聚在一起组织的富有激情的活动，也希望大家带着自己的研究特色和更多新的科学思想，到这里一起质疑科学、辩论科学。CCCF则为我们提供了一个平台，发表比较成熟的学术观点。这对于人工智能行业的所有学者和从业人员理解计算机发展的规律和阶段性的进步，都有很大的帮助。

问：对青年科研工作者，您有什么寄语或者期望？

唐杰：2015年，YOCSEF组织我们去参观王选先生的纪念馆，对我影响非常大。他在中国技术相对落后的情况下，奋发图强，从0到1研发激光照排，最后形成引领中国甚至全世界的技术革新。我深切感受到了王选先生当年的雄心壮志，同时也被他取得的伟大成就所震撼。

最近我又去参观了一次，才发现其实在他的成功背后也有很多挫折。比如激光照排的第一个版本在《光明日报》应用时问题重重，但他坚持一点点地改进，坚持到第二年的时候，整个技术就能够全面取代铅字印刷了。这令我印象非常深刻，王选先生既有顶尖的技术功底，又有坚持不懈和精益求精的工匠精神，以及站在巨人肩膀上的格局，并且能够坚定不移地执行，我觉得这是非常值得我们学习的。

这不仅是对青年科研工作者的寄语，更是对我自己的期望：希望可以追随王选先生的精神，锲而不舍地做一些开拓创新的研究。

唐杰

CCF杰出会员，CCF学术工委主任， CCF公共政策委员会执行委员，曾担任CCCF动态栏目主编、YOCSEF(2018— 2019)学术委员会主席。清华大学计算机系教授、系副主任。

特别声明：中国计算机学会(CCF)拥有《中国计算机学会通讯》(CCCF)所刊登内容的所有版权，未经CCF允许，不得转载本刊文字及照片，否则被视为侵权。对于侵权行为，CCF将追究其法律责任

CCF推荐

【精品文章】

点击“阅读原文”，查看更多CCCF文章。