张钹院士专访：瑞莱智慧 安全先行

以人工智能和高科技为主题的科幻电影《黑客帝国》，给我们描绘了一幕可怕的未来场景：智能算法变成了控制世界的超人。

这种担忧会不会真实发生呢？

《超级智能》栏目，世界工程组织联合会（WFEO）主席、中国新一代人工智能发展战略研究院执行院长龚克，与中国科学院院士、清华大学人工智能研究院名誉院长、我国人工智能领域奠基人、瑞莱智慧RealAI首席科学家张钹院士继续展开深度对话，张钹院士对第三代人工智能进行详细解读。

访谈直击

观点再现

什么是第三代人工智能？

2015年，张钹院士提出了建设第三代人工智能的发展思路，其中非常关键的一点就是克服算法本身的局限性。在这次专访中，张钹院士通过理论研究与企业案例阐述了什么是第三代人工智能。

张钹院士

如果不针对不确定性去做（人工智能）的话，做出来的系统就很难对付一些复杂的环境。所以现在我们想出来一个办法，就是用概率统计的方法来做（人工智能），这个在机器学习里表现得特别突出。

我们过去机器学习基本上是确定性的方法，那么深度学习等后来都发展成概率的学习方法，这是很大的进步。把概率加进去实际上考虑的是不确定性，才能符合实际情况。

我们为什么现在识别率会做得那么高，有一个功劳是我们用了概率。但是这个不确定，我们尽管用概率来描述，就会带来下面讲的一些问题：不可控、不安全等等。

所以现在人工智能单纯地沿着这两代走下去，对它的进步发展会有很大的困难。这就是我们在2015年左右提出来发展第三代人工智能的一个原因。

第三代人工智能如何演变而来？

张钹院士对人工智能发展的三个阶段是这么定义的：

第一代人工智能主要基于知识库和推理机，通过推理模型来模拟人类的理性智能行为，如推理、规划、决策等，其代表成果就是国际象棋程序IBM深蓝。但它的严重缺陷在于完全依赖专家的知识，一是将知识变成机器可以理解执行的内容，这是十分费时费力的；另外一方面是还有大量知识很难表达。

第二代人工智能使用当下常听到的深度学习方法，其通过深度神经网络的模型模拟人类的感知，如视觉、听觉、触觉等。这种办法不需要理论知识，同时由于神经网络规模很大，可以处理大量数据。采用数据驱动的第二代人工智能，在数据样本比较多的情况下，识别率会很高。但是因为算法本身的脆弱和易受欺骗性，会导致第二代人工智能存在局限性。

第三代人工智能需要克服第二代算法的不可解释、鲁棒性差的问题。发展第三代人工智能，最主要就是建立可解释的、鲁棒人工智能理论，将知识驱动和数据驱动结合起来，充分发挥知识、数据、算法、算力四要素的作用。

张钹院士

第三代人工智能实际上首先要建立理论，因为人工智能现在还没有一个完整的理论，所以我们现在要建立一个叫做可解释、鲁棒的人工智能理论和方法。为什么说要解决可解释和鲁棒的问题，因为原来的那些数据驱动算法是不可解释的、是非常脆弱的。

第二句话就是发展安全、可信、可靠、可控制、可扩展的人工智能技术。因为只有在这个理论的支撑下面，你才有可能产生这样的技术，有可能推动创新应用。也就是说，要搞新的应用或者拓展新应用范围，源头必须得从基础研究开始。

鲁棒性是指系统在扰动下具有保持某种性能不变的能力，主要应用在计算机软件输入错误、工业控制系统及算法等领域。

凭借安全、可信、可靠、可扩展的第三代人工智能技术能力和持续的研发创新，2018年7月25日，清华大学人工智能学院发起设立了北京瑞莱智慧科技有限公司，张钹院士担任首席科学家。

瑞莱智慧RealAI在第三代人工智能上有哪些创新？

瑞莱智慧RealAI CEO田天说：“我们是专注于第三代人工智能技术的一家公司，现在主要服务于包括政府、金融、能源、制造等等不同的行业，帮助企业用户去利用人工智能来节省人工、提高生产效率。像大家现在看到的图像识别、语音识别、文本分析等等，其实在这些领域都有应用，我们也都有所涉及。但是相比于其它的公司来说，我们的核心特点还是来自于更加安全、可靠、可控，这个也是第三代人工智能技术带给我们的差异化。”

瑞莱智慧RealAI坚持源头创新和底层研究，致力于打造以贝叶斯深度学习、可解释机器学习、AI安全对抗攻防、新一代知识图谱、隐私保护机器学习等技术为支撑的第三代人工智能基础设施。在人脸识别系统安全、自动驾驶系统安全、深度合成和伪造检测、隐私保护计算、AI攻防靶场等方面，提供全套产品和解决方案。

据清华大学人工智能研究院等联合发布的《深度合成十大趋势报告（2022）》显示，在社交媒体、音视频网站等平台上，2021年新发布的深度合成视频数量较2017年已增长了十倍以上。现有的换脸视频精度已经达到肉眼难以辨别的程度，传统人工审核面临着巨大挑战。

瑞莱智慧RealAI研发了深度伪造内容检测平台，是基于贝叶斯深度学习、多特征融合和多任务学习等方法进行设计研制，检测算法基于千万级数据进行训练，学术数据集与主流网络数据集检测准确率达到99%，为遏制和防范深度伪造技术的大规模滥用提供技术支撑。

瑞莱智慧RealAI对深度伪造内容的高精度检测，源自于公司对贝叶斯深度学习算法上的不断攻关。众所周知，深度学习加持下的AI技术已经拥有了一定的视觉能力，能够识别物体；阅读能力，能够文本理解；听觉能力，能够语音识别……但是它还欠缺一些思考能力，思考对应推理、推断任务，具体指它能够处理复杂的关系，包括条件概率关系或者因果关系。

总结下来，深度学习比较擅长感知类任务，不擅长推理、推断任务；概率图模型擅长推理任务，不擅长感知任务。而贝叶斯定理就是一种概率理论，将贝叶斯方法用于深度神经网络，可以将贝叶斯不确定性建模与深度神经网络的函数拟合能力相结合，发挥二者的互补优势，提高对深度伪造内容的检测能力。

张钹院士

第二代人工智能是数据驱动算法开发出来的产品，它很大的好处在于通用性。我们知道深度学习是有一定的通用性，因为深度学习既可以用来处理图像、也可以处理语音、也可以处理文字。

但是它也有个非常大的弱点，就是这个算法是不安全、不可靠、不可控、不可信和不容易推广的，这也就限制它的应用场景。

比如说语音识别，在重要的场合是不能用的，因为它是不安全、不可靠的；我们说图像识别，拿来一般的识别物体没问题，但是只要在关键地方用，就有很大的风险。

要解决算法的这些问题，唯一的办法就是开展基础研究，这就是我们第三代人工智能提出的一个背景。

第三代人工智能做的是基础研究，但是它对产业发展也具有非常重要的意义，为了解决算法本身的不确定性，张钹院士提出的第三代人工智能，将知识作为第四要素加入到传统的人工智能三驾马车“数据、算力、算法”当中，形成了知识驱动和数据驱动相结合的模型，为人工智能产业构筑安全基座。瑞莱智慧RealAI就是第三代人工智能基础研究的产业化实践产物。

张钹院士

第三代人工智能的提出，对产业的发展也有重大的意义。因为第三代人工智能就是要克服第一代、第二代人工智能算法的诸多局限性。如果我们有办法克服它，那么它的产业就会得到高速地发展。

发展第三代人工智能，基本思路就是要把数据驱动和知识驱动结合起来，这样就可以克服这两个算法所产生的一些局限性。我相信第三代人工智能能够发展起来的话，同时人工智能产业也会得到很好的发展。

所以从人工智能产业的角度来看，它很大的特点就是基础研究跟行业深层次的应用是紧密结合的。因为人工智能的研究结果相当一部分是模型和算法，这些模型和算法马上就可以形成人工智能产业，这是人工智能很好的一个特点，这个特点能够利用好的话，我想人工智能产业会健康地发展。

人工智能有哪些安全问题需要克服？

人工智能进入3.0时代，从能感知进阶到会思考，这样的人工智能还有哪些安全方面的问题需要克服呢？

不同于影视剧的换脸，人脸识别作为一项实用性强的生物特征验证技术，目前在政务、安防、金融、生活消费等行业有着广泛应用，几乎所有人都有过人脸识别的尝试。那针对现有人工智能算法的局限性，目前，人脸识别的安全可控程度有多高呢？

2021年，瑞莱智慧RealAI披露了新的研究成果：研究人员根据一张照片，通过研究算法制作一副特殊眼镜，就可以刷脸解锁他人手机或APP身份验证。

人脸识别技术是冷静的，它不会轻易误判五官之间的精确距离，因此对于普通大众而言，想要通过乔装打扮骗过它，没有那么容易。

但人脸识别技术也是刻板的，比如实验中技术人员在面部叠加上人眼看起来毫无意义的图片，就能冒用他人身份骗过人工智能，这是为什么呢？

张钹院士

实际上这个算法是非常不安全的，非常容易受攻击的。

人识别对方不会因为对方的表情不一样、对方戴着眼镜、或者照明的（明暗）、看的角度稍微有点偏（差），就不认识他，但计算机很容易不认识。

利用人工智能算法的局限性，瑞莱智慧RealAI不仅能破解人脸识别系统，还能让你实现隐身。

正常情况下，广泛应用于安防场景的目标检测系统，能实时检测出摄像头前经过的人或物体。瑞莱智慧RealAI开发出了一款特制T恤，衣服上印刷着特定的图案，能够让识别算法出错，捕捉不到目标。

基于类似的安全风险，瑞莱智慧RealAI专门打造了一个人工智能安全平台，集成多项国际领先的AI对抗攻防算法，综合多维度对抗攻击下AI模型的性能指标变化情况，对所接入的人工智能系统进行自动化检测，提高人工智能系统的安全性。

张钹院士提出发展第三代人工智能要破解安全难题，而人工智能发展与治理中存在一些特殊性。从数据层面来看，现在人工智能应用效果很大程度上依赖于数据质量，但由此会引发隐私泄露、数据确权等问题。

去年11月，我国出台了首部个人信息保护方面的专门法律《个人信息保护法》，对个人隐私数据进行规范管理。除了法律层面上，瑞莱智慧RealAI也在技术层面上设立了隐私保护计算平台。

深度伪造内容检测平台、人工智能安全平台、隐私保护计算平台，瑞莱智慧RealAI秉承第三代人工智能安全可控的发展理念，推进理论基础研究、创新产业应用，打造了一系列优势产品。

第三代人工智能将往哪些方面发展？

瑞莱智慧RealAI CEO田天表示，我们现在在探索第三代人工智能的道路上，已经有很多实际的成果得到了落地应用，但还有非常长的路要走。

在这个过程中，一方面我们非常重视对于传统、或者对于过往这些成就的继承，去发掘眼下在实际应用过程中大家对人工智能最关键的一些痛点需求，通过最落地的方式提供完整的解决方案，让大家以尽量早的时间看到人工智能带来的重要价值。

另外一方面我们会坚持持续创新，因为第三代人工智能还是一个非常前沿的理论方向，需要我们在技术以及甚至整个理论体系上不断地去突破、去寻找一些新的思路。特别围绕人工智能的安全，它一定是一个对抗的过程，会有人不断地去让人工智能变得更加安全，当然也会有人持续地研发新的攻击手段。

在这个过程一定是一个迭代螺旋上升的过程：不断有新的攻击技术产生，不断也有新的防御技术产生。同时它也是一个相互促进的过程，通过这个过程，可以让人工智能本身变得更加强大，能够在更多场景得到应用。

推荐阅读：

END

商务合作：[e-mail]

联系电话：4008031001

AISC人工智能安全大赛正式启动

👇点击“阅读原文”报名参赛