人工智能是否隐含着最终失控的可能？

在科技日益发展的今天，人工智能在社会的作用越来越突出。当我们意识到房间中那些忙碌查找卡片的人时，智能的感觉就荡然无存了。

现在我们认为拥有人工智能的那些系统，比如，进化算法和深度学习等，都有一个共同特点：它们都或多或少地表现出了黑箱的特点，虽然从理论上它们内部的运算步骤仍然可以追踪，但由于计算量的巨大，使这种追踪实际上很困难甚至不可能。于是，我们真的感觉它们有智能了。

到这里，我们仍然无法得出人工智能的准确定义，但能够看到它的一个重要特点：一个具有智能特性的人造系统，它产生、输出的内部的运算过程是人类智能所无法解析的。换句话说，只有我们不知道机器在想什么、怎么想时，才认为它有智能。

看到这一点，每个人的心中应该都生出一股隐隐的寒意。是否人工智能的本质中，就隐含着它们最终失控的可能性？

这正是目前人们对人工智能关注的热点，用马斯克的话来说，人工智能正变成比核弹更危险的东西。媒体舆论给人一个印象，似乎机器的征途已经开始，人工智能征服世界指日可待。库兹维尔甚至在《奇点临近》中给出了人工智能纪元到来的具体年份：2045年。那时，现在读这本书的人有2/3还活着。

但理智地考察目前人工智能领域的状况，我们就能发现智力远超人类的“强人工智能”仍然属于科幻的范畴。公众喜欢从科幻的角度看问题，比起平常的现实，科幻确实能让人兴奋，任何从现实出发所进行的理智的预测都被斥为保守和没有想象力。但笔者作为科幻作家却只能说，与大家通常的印象不同，科幻小说中的预言真正变为现实的是少数，大部分预言要变为现实仍然遥遥无期。人们的潜意识中都认为，只要在理论上有可能突破的技术障碍，在未来就一定能够被突破，但事实并非如此。在人工智能方面，“强人工智能”的实现面对着许多巨大的技术障碍，如冯·诺依曼体系的新结构计算机、对人类思维机制的深刻认识等，现在都无法确知最终能否取得突破。另外一些看似有希望的技术，如量子计算等，距实用还相去甚远。

所以，在对人工智能进行科学幻想的同时，我们更需要关注即将面对的“近未来”，这也成为了当下重点讨论的话题。

人工智能近年来发展的趋势是开始走出实验室，进入人类生活，用一位互联网大佬的话来说，它们变得能用了。这样我们就面对着一个即将到来的挑战：人工智能不会夺走我们的自由和生命，但会夺走我们的饭碗，这不需要人工智能的失控，它们可以在资本家的完全控制下做成这件事。

有学者认为不必为这件事担忧，他们回顾工业化的历史，在20世纪初，美国有50%的农业人口，但随着农业机械化，现在的农业人口降到4%，而城市化吸收了多余的农民。但眼前发生的事情是不同的，当人工智能大规模进入社会后，人类能做的工作它们大部分都可以做，城市不会再有更多的就业岗位留给人类。通行的美好说法是，人们在常规工作中被人工智能取代后，可以去从事创造性的工作。问题是创造性的工作不是人人都可以从事的，也不需要那么多的人，如果社会分配制度不改变，一个全部由科学家和艺术家构成的人类世界几乎是一场噩梦，这上百亿科学家和艺术家中的绝大部分注定一生碌碌无为，对社会和自己都毫无用处，且沦入“创造性”的穷困潦倒中。

但这种思维方式总有些不对的地方。人类自古以来为生存而劳作，实在是迫不得已，工作是美丽的，但谁都知道，不需要工作的生活更美丽。现在终于能够制造出把自己从工作重负中解放出来的机器，这是人类文明最伟大的成就，无论如何不应该被看作一场灾难，相反，这可能是人类所面对的前所未有的伟大机遇，只是，我们需要改变。

“如何完成由现代社会向人工智能社会的过渡？”

有两种可能。

一种可能十分黑暗：在现有的社会、经济和政治体制下，人工智能带来的问题几乎是无解的。在人工智能迅速取代人类的过程中，没有及时建立起与之相适应的社会体制，在席卷全球的失业浪潮之下，世界的政治和经济将陷入长久的混乱之中，一切都笼罩在人工智能及其使用者与“新卢德派”领导的大众的无休止的冲突中。

另一种可能是：一辆正常行驶的自动驾驶汽车，突然驶入了逆行车道；胸前贴一款特殊贴纸，犹如披上隐形斗篷，在监控系统中成功遁形；戴上一幅特制眼镜，轻松骗过人脸识别系统后，用别人的手机也可实现刷脸解锁或刷脸支付……

小心，

这可能是遇上了难缠的AI病毒!

人工智能感染的是什么病毒？其安全问题有哪些特点？人工智能时代，杀毒软件如何修炼才能化作身怀绝技的病毒猎手？

是敌又是友 对抗样本戴着双重面具

针对AI在极端和对抗环境下的算法安全性检测与加固的工具，包括模型安全测评、防御解决方案等功能模块。内置AI对抗攻防算法，提供从安全测评到防御加固整体解决方案。

北京理工大学计算机网络及对抗技术研究所所长闫怀志接受科技日报记者采访时表示，上述平台目前侧重于模型和算法安全性检测与加固，可以说是人工智能算法的病毒查杀工具。

闫怀志说，针对人工智能系统实施对抗样本攻击的这类恶意代码，常被称为“AI病毒”。对抗样本是指在数据集中通过故意添加细微的干扰所形成的输入样本，会导致模型以高置信度给出一个错误的输出。

“其实在实验室中，使用对抗样本可以检测许多训练学习类人工智能方法的分类有效性，也可以利用对抗样本来进行对抗训练，以提升人工智能系统的分类有效性。”闫怀志告诉科技日报记者。也就是说，对抗样本可以看成是训练人工智能的一种手段。

“但是在现实世界，攻击者可以利用对抗样本来实施针对AI系统的攻击和恶意侵扰，从而演变成令人头疼的‘AI病毒’。”闫怀志表示，对抗样本攻击可逃避检测，例如在生物特征识别应用场景中，对抗样本攻击可欺骗基于人工智能技术的身份鉴别、活体检测系统。2019年4月，比利时鲁汶大学研究人员发现，借助一张设计的打印图案就可以避开人工智能视频监控系统。

在现实世界中，很多AI系统在对抗样本攻击面前不堪一击。闫怀志介绍，一方面，这是由于AI系统重应用、轻安全的现象普遍存在，很多AI系统根本没有考虑对抗样本攻击问题；另一方面，虽然有些AI系统经过了对抗训练，但由于对抗样本不完备、AI算法欠成熟等诸多缺陷，在对抗样本恶意攻击面前，也毫无招架之力。

中国信息通信研究院安全研究所发布的《人工智能数据安全白皮书(2019年)》(以下简称白皮书)也提到了这一点。白皮书指出，人工智能自身面临的数据安全风险包括：训练数据污染导致人工智能决策错误；运行阶段的数据异常导致智能系统运行错误(如对抗样本攻击)；模型窃取攻击对算法模型的数据进行逆向还原等。

值得警惕的是，随着人工智能与实体经济深度融合，医疗、交通、金融等行业对于数据集建设的迫切需求，使得在训练样本环节发动网络攻击成为最直接有效的方法，潜在危害巨大。比如在军事领域，通过信息伪装的方式可诱导自主性武器启动或攻击，带来毁灭性风险。

白皮书还提到，人工智能算法模型主要反映的是数据关联性和其特征统计，没有真正获取数据之间的因果关系。所以，针对算法模型这一缺陷，对抗样本通过对数据输入样例，添加难以察觉的扰动，使算法模型输出错误结果。

目前种种原因导致了预防人工智能“中毒”困难重重，原因具体表现在三个方面：

一是：很多AI研发者和用户并没有意识到AI病毒的巨大风险和危害，重视并解决AI病毒问题根本无从谈起；

二是：由于AI正处于高速发展阶段，很多AI研发者和生产商“萝卜快了不洗泥”，根本无暇顾及安全问题，导致带有先天安全缺陷的AI系统大量涌入应用市场；

三是：部分AI研发者和供应商虽然意识到了AI病毒问题，但由于技术能力不足，针对该问题并无有效的解决办法。

“当然，网络安全本来就是一个高度对抗、动态发展的领域，这也给杀毒软件领域开辟了一个蓝海市场，AI杀毒行业面临着重大的发展机遇。”闫怀志强调，杀毒软件行业首先应该具有防范AI病毒的意识，然后在软件技术和算法安全方面重视信息安全和功能安全问题。

“以现实需求为牵引，以高新技术来推动，有可能将AI病毒查杀这个严峻挑战转变为杀毒软件行业发展的重大契机。”闫怀志强调，AI技术既会带来网络安全问题，也可以赋能网络安全。

一方面：人工智能的广泛应用带来了许多安全风险。由技术性缺陷导致的AI算法安全风险，包括可导致AI系统被攻击者控制的信息安全问题；也可导致AI系统输出结果被攻击者任意控制的功能安全问题。

但另一方面：人工智能技术也可以成为构筑网络空间安全的利器，这主要体现在主动防御、威胁分析、策略生成、态势感知、攻防对抗等诸多方面。“包括采用人工神经网络技术来检测入侵行为、蠕虫病毒等安全风险源；采用专家系统技术进行安全规划、安全运行中心管理等；此外，人工智能方法还有助于网络空间安全环境的治理，比如打击网络诈骗。”闫怀志说。

中国信息通信研究院安全研究所的专家称，为有效管控人工智能安全风险并积极促进人工智能技术在安全领域应用，可从法规政策、标准规范、技术手段、安全评估、人才队伍、可控生态等方面构建人工智能安全管理体系。

想象人工智能时代的社会和生活是困难的，即使在科幻小说中，我们也只能把种种可能性排列出来，而哪种可能性最有可能成为现实，取决于我们的努力和选择。但不管怎么说，那是一个诱人的时代，我们正向它走去。

来源：《智能革命》序言、科技日报

推荐阅读

【解读】

【解读】

【热点】