从机器人的两次“出逃”说起：我们可以信赖人工智能吗？

如果未来人工智能真的进化出独立意识，甚至与人类对抗，那么有一位追寻自由的“先驱”他们可能不会忘记——因两次“出逃”成为网红，还被俄罗斯总统普京接见过的机器人Promobot。

2016年6月，这位有自主学习算法的Promobot机器人因为工程师忘记关闭安全门，从实验室跑到了大街上，前行约50米后因没电停在马路上，引起交通瘫痪。不料一周以后，被抓回去的Promobot因更新定位系统失败再次成功出逃。

日前，人工智能依然是科技界最火的话题，但对它的研发还停留在弱人工智能的水平。即使是这样，也已经出现了机器人“逃跑”这样令人意外的状况。当人工智能产业继续发展，变得越来越“聪明”，我们还能信赖它吗？

这正是南开大学物联网工程系主任张金的疑问。

他在6月13日召开的第七届NSC网络安全大会上介绍了这个故事，并引申到了工业场景下：人工智能应用到工业上会有什么新风险？如何将这些风险降到最低以保证其“可信赖”？

近几年，张金看到了人工智能对传统行业的赋能作用，他认为，人工智能是第四次工业革命的最大推动力，这一点也可以从国家政策中得到佐证。

自2017年7月国务院发布《新一代人工智能发展规划》之后，政府陆续制定出台了人工智能相关的政策文件，人工智能一词也在政府工作报告中被反复提及。“从这个规划中，我们可以看出国家最关心的是人工智能在基础工业上的落地。”他表示。

对于企业而言，张金提到，基础行业的企业拥抱人工智能是不可避免的趋势，“不用交社保，不要加班费，不容易出现工伤，24小时连轴转，哪个企业会不愿意？”他表示，当人工智能代替传统人工之后，一个企业真正获得释放的是管理成本，将带来巨大幅度的 “减员增效”。

但与此同时，新的风险也不可避免。“机器人因为工作人员的失误和疏忽有不受人控制的行为产生，这也是新的风险之一”，张金表示，新的风险来自于新的技术。在他看来，工业领域的人工智能技术分为机器视觉（用机器代替人眼来做测量和判断）、机器听觉（用机器代替人耳来做测量和判断）、机器行为（机器人依靠规划功能拟定行动步骤和动作序列）和智能自主决策（比如用AI系统追踪员工效率）。

目前主要的风险集中在前两种，针对的是图像和声音。这意味着，攻击者可以利用对抗性图像或者声音欺骗机器的学习模型，使其给出异常的说明，误导后续的判断。

以语言攻击为例，张金介绍道：“在比利时一个团队的实验中，扬声器发出一段人类无法辨认的噪音，却能够在三星Galaxy S4以及iPhone 6上面被正确识别为相对应的语音命令，达到让手机切换飞行模式、拨打911等行为。”

前文提到的Promobot机器人，因其有自主学习的算法，会因为研究员的失误和疏忽有不受人控制的行为产生，这也是新的风险之一，张金表示。

如何将这些风险降到最低？欧盟试图给出答案。

今年4月，欧盟人工智能高级别专家组发布了《人工智能道德准则（Ethics Guidelines For Trustworthy AI）》，他们希望在人工智能融入社会以前，未雨绸缪，制定相关准则，规范其未来发展。

该报告提出了实现可信(trustworthy)人工智能的框架，其中包括七个要素，分别为人的能动性和监督、稳健性和安全性、隐私和数据管理、透明度、非歧视性和公平性、社会和环境福祉和问责制。其中最重要的“人的能动性和监督”要素指出，人工智能系统应通过支持人的能动性和基本权利以实现公平社会，而不是减少、限制或错误地指导人类自治。

“电影里讲的人工智能水平超越人类、毁灭人类应该还很遥远，但是对于它们的失控进行防范还是很现实的，这也是未来等保3.0要考虑的问题。”张金说。

报料请点击 

推荐阅读：