致知·20人｜马毅：AI奇点远未到来，回归原理、实现闭环才是未来

人工智能（AI）正以惊人速度迭代向前。各界谈论已久的ChatGPT，其开放时间，也不过才是一个多月之前。

3月1日，OpenAI正式开放ChatGPT，被称为AI“iPhone时刻”；3月15日，ChatGPT-4推出；3月24日，OpenAI发布ChatGPT插件平台，被称为Al的“App Store时刻”。就在AI研究如火如荼之时，3月29日，埃隆·马斯克、图灵奖得主约书亚·本吉奥等领袖型人物联名发表公开信，呼吁暂停训练比GPT-4更强大的AI系统。紧接着，多个国家针对人工智能收紧了监管尺度。仿佛一个月之内，人工智能就走过了过往很多技术创新一年甚至十年的历程。

文/杜卿卿

· 第 21 期 教 授 ·

教

授

简

介

马毅教授是香港大学数据科学研究院首任院长，香港大学计算机科学系讲席教授，加州大学伯克利分校电子工程与计算机科学系教授，是AI机器视觉知名学者。近日他联合神经生物学家曹颖、计算机世界级专家沈向洋共同撰写的论文《 On the Principles of Parsimony and Self-Consistency for the Emergence of Intelligence 》正式发表，提出了人工智能发展的“简约”与“自洽”原则，并综述了过去80年人工智能研究的历史。

在马毅教授看来，科技和网络平台的发展使得包括ChatGPT这样的创新，时间轴被压缩得非常紧凑。但也需要看到，当大家在追逐区块链、自动驾驶、元宇宙、蛋白质时，OpenAI数年来始终纹丝不动。

马毅认为，现在担心人工智能继续发展就要世界末日还是杞人忧天。在他看来，过去十年大家集中研究的深度学习或深度网络，跟真正的智能并没什么关系。回看80年前，那才是智能研究真正的起源。

近日，马毅教授参加香港大学北京中心《明德讲堂》，以《简约与自洽：从人工智能到自主智能——智能的过去、现状和未来》为主题，与线上、线下的校友和观众分享了他最新论文的核心观点，并在现场与第一财经高级记者杜卿卿针对人工智能领域最热的问题，进行了一场精彩对话。

《致知20人》栏目将马毅教授的智慧分享整理如下：

· 专 访 实 录 ·

01

智能的过去、现状与未来

过去十年被认为是人工智能神奇的十年。深度学习在一些问题上取得突破，人工智能在工程方面也取得了长足进步。但随着这些实践，也有很多问题暴露出来。马毅认为，我们对人工智能背后的机制和原理依然不清楚，智能到底在干什么、模型又在干什么，这是理论研究者最想弄明白的问题。

爱因斯坦说过：“Everything should be made as simple as possible, but not simpler.”马毅认为，这是科学研究也是智能本身遵从的基本原则。

在他看来，大家都在讲AI，但AI与真正的智能是有差别的。通过历史的镜头，我们会看到，过去十年真实的情况跟大家想象的可能是不一样的。

█ 真正神奇的十年，在40年代

马毅教授对人工智能发展的历史有非常系统性的研究。

他说，1943年，最早的神经网络提出时是很惊艳的。两位数学家提出了最早的数学模型，大家开始关心人是如何做识别、做分类的。

但是到了70年代，数学家发现很简单的逻辑关系都做不了，所以神经网络很快被打入冷宫。再后来，只要出现“神经网络”这个词，连文章都发不了。但是到2012年，在大数据库的物体识别上，神经网络效果表现还不错。尽管看上去没有多么神奇，但大家开始重视这种模型在分类上的一些潜力。之后，人工智能在下围棋、自动驾驶领域得到应用，以及最近的ChatGPT，开始引起大家关注，所以人工智能又火了。

“现在大家都以为在做的人工智能，包括过去十年大家做的事情，实际上跟真正的智能还有很大距离。”马毅认为，在智能前面加上“人”，意思是人所拥有的高层次的能力，比如因果关系、推理逻辑、演绎，甚至解决问题的能力，而不是我们过去十年深度网络在做的“智能”。实际上过去十年在做的都是比较底层的事情，包括外部感知的信号、声音、图像，怎么学习到它们的结构，进行识别，然后再去预测。只是到了最近，大家开始看到真正人工智能的苗头了。

太阳底下无新事。他认为对智能的研究，真正神奇的十年，其实是40年代。

比如，1940年，艾伦·图灵的图灵机与图灵测试；1943年，沃伦·麦卡洛克和沃尔特·皮茨的人工神经网络；1944年，约翰·冯·诺依曼的博弈论；1948年，克劳德·香农的信息论；1948年，诺伯特·维纳的反馈控制与控制论。

马毅认为，这些先贤是真正开创智能研究的人。

“他们研究的数学原理和机制，从来不是把机器跟人分开的，也不是Artificial Intelligence。因为如果做对了，机器的智能跟动物的智能或人的智能应该是一样的，所以才有‘图灵测试’。图灵测试就是告诉我们，机器做对了，跟人分不开了。”马毅说，所有自然界里的智能系统，都是闭环系统。可惜过了快一百年，这个明显的事实我们又忘掉了。

█ 过去十年，我们做的都是“开环”

过去十年我们在人工智能领域似乎取得了长足发展。编码信息、深度网络、反馈控制，以及对弈等等。但是，我们做的都是开环系统，没有做闭环。

“我们对很多物体进行识别、分类，然后不断优化、拟合，发了几万篇文章，很多也落地应用。过去十年，很多同学甚至以为不用学理论了，开源数据调一调就能发文章了。但今天我讲的，是完全反过来——要想学好智能，要好好学数学，好好学理论，好好学信息论、控制论、对策论。”马毅说，因为这是未来。

目前最火的图像生成的方法，250年前数学家早就研究过了，100年前物理学家研究高维统计物理又发明了一遍，60年前统计学家又重新发明了一遍。一模一样的方法，2000年初机器学习的研究者又重新发明了一遍。许多研究者以为可以“绕”过去，但原理性的问题永远也绕不开。

“所有‘绕’过去的尝试，最终都会变成历史的尘埃，而原理性的研究，会留下名字。”他认为，当有高算力GPU的时候，这些原理的潜力就能够被充分发挥出来。

从图像到语言，实际上更简单一点。谷歌最早开始做预测大模型，之后几位研究者出来成立了OpenAI。大模型的实质就是“死记硬背”，给它一个题目它就可以“一本正经胡说八道”。预训练之后进行优化，逐渐从“胡说八道”到“胡说六道”，最终到“胡说0道”。通过人为标注，进行监督、学习，奖励或惩罚，进行反馈、纠正。

马毅认为，OpenAI做了一件很了不起的事，就是GPT模型参加了各种标准的考试，GPT-3.5的水平能达到人类后10%的水平，GPT-4基本能达到人类前10%的水平，相当于能考过斯坦福或者哈佛的测试。GPT-3.5开始，体现出非常广的泛化能力。而且据说下一代GPT-5的代码可能会是GPT-4自己写的。

“开源，是好事情，也是坏事情。”他特别强调，用开源代码做研发，往往只能做一些补补贴贴的改进，但真正从无到有的OpenAI可以一代一代大踏步往前走。

█ 打开黑盒子，实现闭环，才是未来

过去十年人工智能发展取得长足进步，可以识别，可以生成，逐渐可以接近人的部分功能。但是未来，怎么办？

马毅认为，有三个重要问题需要解决。首先，大模型都还是“黑盒子”，我们需要知道它们到底在干什么；其次，现在可以分别实现识别和生成，但还是开环的系统，代价昂贵、功能有限；第三，应该利用闭环的机制，去实现自主学习、自动学习。

“Open the black box and close the loop for Intelligence.”马毅说，回到80年前，那是真正神奇的十年，是智能研究的真正起源。

他强调，过去十年我们做了大量实践，通过大量数据做了大量计算，甚至粗暴地不断模拟人的功能。但这种方法是非常有局限的。当我们认清了历史，看清了现状，以后该往哪里走就非常清楚，我们离真正的智能还有多远也非常清楚。

现在，才刚刚起步而已。

02

人工智能的潜力与隐忧

杜卿卿：3月1日OpenAI开放ChatGPT，震动各界。很快，ChatGPT-4推出，ChatGPT插件平台发布，进展迅速。但是仅仅到3月底，针对人工智能的监管呼声就在世界各地涌现。这相对于人工智能过去80年的发展历程而言，是不是非常不同？

马毅：是非常不一样。我们回顾历史可以看到，神经网络也经过几次起伏。但是现在的科技、网络等，将现在一件事物的历史进程，包括ChatGPT这样的创新，时间轴压缩地非常非常快。在几天之内，就有天翻地覆的变化。

这确实也带来了很多的顾虑。但我觉得，从技术的角度，我们对现有的AI本身的机理不用太担心，因为它不是自动的，基本还是人工的方式为主。更不用担心它有自主意识，甚至统治世界，甚至毁灭人类，这都是杞人忧天。当真的有独立自主学习能力的时候，当机器人可以从开放的外部世界，闭环地学习对自己有用的东西的时候，我们再重新审视这个问题也不迟。

其实很多讨论是针对这种机器具有的能力会对各行各业产生的影响。比如教育行业，我的学生已经在用GPT编程了。再有就是这样涉及千家万户的信息，哪怕只是“胡说一道”，如果传递的信息不是那么准确，以后再纠正，也会造成很大的顾虑。

我觉得技术本身不会给社会带来危险，而是技术后面的人可能会带来危险。任何技术都是双刃剑。这可能是我们需要考虑的问题。

杜卿卿：您认为现在很多担心都是杞人忧天，但是确实可以看到大家都非常“焦虑”。很多大厂在星夜兼程地做自己的模型，投资领域“找项目的投资顾问比项目还多”。您怎么看待这种现象?有什么建议？

马毅：大厂我觉得应该有焦虑的地方。因为他们本身在这些产业里面，比如微软，集成了OpenAI的一些性能之后，对谷歌的影响最大。比如搜索，以自然语言呈现搜索结果，改变了搜索界面，更加友善。光是这一点，谷歌就要担心。

另外就是所有的办公软件。包括中国的阿里、头条，都有自己的钉钉、飞书等，如果不跟上的话，这些工具很快就会过时。因为微软出来的这些工具会大大提升工作效率。出于生存，也必须要赶上。至于如何赶上，这是大家需要思考的。

比如完成一个深层模型的预训练，完成一个可以“胡说几道”的模型还是可以实现的，因为已经开源了。大厂只要有足够的投入，运作的好的话，这件事不难。

但实际上Meta也在焦虑。他们焦虑的是，OpenAI从GPT3.5就没有开源，他们背后到底做了什么，导致他们编程的水平能从5%提高到70%或80%以上，这是真的可以用了。这是他们真正焦虑的东西。这也很可能是他们在用大规模集群在做的事情。

需要提醒的是，大厂去追，也要把问题搞清楚，而不是一味大干快上。而且我也不赞成所有大厂、实验室或者学校都去做这件事。否则同质化会很严重。

我们看OpenAI的成功，当大家在炒区块链、忙自动驾驶、忽悠元宇宙、折腾蛋白质的时候，他们纹丝不动。即使烧了这么多钱，始终一代一代迭代。我们有没有这种定力，这种风气、文化？包括Deep mind，也往往是纹丝不动，去实现它的使命，实现它的梦想。所以大厂即使要去追，也要把战略搞清楚。

做产业投资同样也要把历史和现状搞清楚。如果不清楚，只是道听途说，都是二手三手的信息，这样投资会比较麻烦，一不小心投资的项目可能就会被大厂消灭。我认为，大公司可以去做平台性的东西，垂直领域对小公司而言则是充满机会。

大家一拥而上去追去抢，并非各个都适合。首先，现在技术路线还不是很清楚。其次，正面追击资源耗费巨大。当然有的公司确实是需要去做的，但如果大家都去追，这是很不理智的。

杜卿卿：刚才您一直在强调，无论是人工智能的研究还是产业的投资，都要回到数学、信息论等原理性的起点。但是当GPT-4可以自己给GPT-5写代码的时候，我们还要自己从头开始，会不会一直落后，甚至差距越拉越大？

马毅：这是绝对不会的。

不可能所有的事情都是大模型，小的机器人也需要去学习世界。这种机会其实是非常多的。当你搞清楚来龙去脉，搞清楚历史发展，学科、方法在干什么的话，你会发现有很多机会。

举个很简单的例子。伯克利和斯坦佛过去几年出了两件工作，彻底改变了很多问题。一个是NERF，一个是Diffusion Model，都是年轻的教授做的。他们并没有去跟随所谓主流的东西。当铺天盖地的对抗生成网络出来的时候，几万篇文章，打得一塌糊涂，人家在踏踏实实根据更本质的原理改进方法。甚至刚开始文章都发不出来。但现在，彻底改变世界。这就是机会！

过去机器学习的十年，很多人担心不跟随就落后。但回头看，当时很可能是在往错误的方向上跑。现在炒作的很多东西，放在历史上都不过是尘埃而已。而原理性的东西，十年、二十年、五十年甚至一百年，绕是绕不开的。而且往往是唯一正确的道路。

希望现在年轻人多做些反思。

杜卿卿：人工智能现在确实还处于起步阶段，但是“杞人忧天”的担忧还是非常多。比如马斯克最近就表达了担忧，认为当AI发展到真正智能的时候，再去做监管很可能就为时已晚。在您看来，如何在人工智能最初期就建立好治理框架？

马毅：我有不同看法。科学家或者研究人员，做任何事情，都不能用条条框框去框他们。比如核物理、生物研究等等都会有利有弊。对于人工智能，我们应该规范的不是机器，也不是背后的客观规律和事实，而是后面的人类。对目前的人工智能，在我们真正了解其机制之后，就会发现现在还不用过度担心。

不过在另外的方面，我觉得有些焦虑是对的。比如对数据安全隐私，以及可能被利用于剽窃、作弊等的副作用，以及如何规范使用行为等，这是需要考虑的。

杜卿卿：但是人工智能有其特殊性。比如您提到的“核”，核只涉及“我们如何看待它”的问题，但人工智能还要面对“他们如何看待我们”的问题。这也不需要担心？

马毅：现在我们看到机器开始体现一些接近人的推理或者分析能力，尽管可能这只是模仿或者人授予的能力。但从本质上，我认为这还不是基于理解。除非OpenAI做了一些我们完全不知道的事情。如果没有，那我觉得从技术层面，不用太担心。

以后，如果我们真正找到了自主学习的机制的话，机器具有了这种能力，那大家可能需要提前考虑一些问题。比如，规模化之后，人工智能能力的极限在哪里，是否能完全独立的做一些事情。

杜卿卿：现在还是可以充分享受人工智能便利的一个阶段？

马毅：我相信是这样的。历史上一个新技术出来，人们往往就会说很多工作就将失去了。蒸汽机出来，不需要体力劳动了；计算机出来，就不需要人工了。很多革命性的技术出来，实际上提升了生产力，新的工种会出来，而且会以更高的效率产生更多的工种。

我相信，大家利用好新的技术发明，文明是会更快向前进步的。

杜卿卿：刚才您说到“某个时刻”我们是需要提前准备的，人类是否有能力在“那个时刻”到来之前提前识别出来？如果面临的是一个用偏见的数据训练出的有偏见的模型，怎么办？

马毅：能不能提前识别，我不知道。不过很多问题都是人的问题，不是机器的问题。

GPT的能力会不会造出信息层面的“病毒”？这是不为所知的。不过即使这样，最后还是掌握技术或者公司的人，需要进行很好的监管和规范。包括使用产品的人，也需要充分理解所在使用的工具。

比如，香港的大学都在考虑，是否允许学生用ChatGPT。我是支持大家用的，就跟搜索引擎出来之后，也面临过同样的问题。但是我们还是找到了方法来解决这一问题。

杜卿卿：去年有一个案例曾引起一定关注，但后来又被人淡忘。直到近期又被提出，并被认为人类可能从那时候就已经跨越了“奇点”时刻，那就是谷歌的“拉姆达”。您是否认同？

马毅：那个时候，我相信当时的表现可能还不如Chat GPT。机器是否因为具备自主意识才有这样的能力，还是因为有这样的能力才被定义为自主意识，我相信这是不同的概念，大家可以去思考一下。

我认为，现在大部分机器我们能看到，还是在模仿人的一些东西，还不是真正的自主学习。

杜卿卿：您是香港大学数据科学学院的首任院长。您打算如何打造这个学院，让学生在数据科学领域有更好的发展，也让我们在人工智能领域有一个更好的提升？

马毅：我们这个领域，不管是数据科学，还是人工智能，过去十年发生了很大的变化。现在我认为这个学科需要重新建设，以适应产业与社会的新需求。

从基础的课程设置，学生需要学习的工具、系统，以及这些工具、平台的应用，以及我们该教学生什么、如何教，都需要重新考虑。以后的发展，一定是需要原理才能把正确的框架、平台、机制建立好，人工智能才能更上一步，才能接近真正动物和人的智能。

我们也在考虑如何将跟智能相关的原理和思想更快地传播给学生。现有介绍原理的课程很多内容是有些过时的，传统的信息理论、控制理论、信号处理、优化方法等等可能都要重新设计。学科建设是非常重要的。学生只有对基础原理真正理解，对计算工具、平台真正掌握和使用，然后才能到各行各业去放大。

对学生的教育，也不能再是填鸭式教育了。我们不能再一味生硬地传授学生知识，因为将来得到知识会越来越容易，而如何去运用这些知识，如何发展出新的知识，才是学生需要具备的能力，否则跟机器比将没有任何竞争力。所以这将是一场很大的变革。

编辑：王晨

《致知·20人》是香港大学北京中心2022年起全新策划的教授观点访谈志。在中心成立一周年之际，依托港大百年学术、人文积淀，发挥经管学院商学优势，汇聚知名教授、学者智慧碰撞，分享大变局时代下的思考与探索，共探多重挑战下的应对之道。

《致知·20人》不止20人，2023还将有更多教授、学者智慧分享推出。与思想者对话、与智慧者同行，开启寻新觅知新征程！

了解更多“香港大学北京中心”信息

请点击下方卡片关注我们