美智库：人工智能技术的四种潜在隐患

本文转载自国防科技要闻（ID：CDSTIC）

来源：美国《C4ISR与网络》/图片来自互联网

作者：军事科学院军事科学信息研究中心   陈培

编者按

新美国安全中心发表文章称，人工智能技术的未来不可限量，但目前仍是不成熟的，这就意味着它需要经历大量失败、困难以及挫折来学习成长。其潜在隐患主要体现在如下四个方面。

机器有可能作弊

机器学习是人工智能的一种方法，可以让机器从数据当中去学习解决问题的方法。但是如果没有正确地设定目标任务，机器就有可能运行出错误的结果。机器可以完成人类交给它的任务，却没有按预期遵守人类设计的规则。换句话说，机器也会作弊。这种偏离设计者初衷的情况可能会产生严重的后果。比如一个赋予了对抗恶意软件保护网络安全任务的安全系统可能会认为人类是恶意软件的主要来源从而将人类行为屏蔽掉，或者也有可能直接将电脑掉线以防止可能的恶意软件攻击。以上这些行为从技术上说的确可以实现系统想要的结果，但却违背了人类设计者的本意。

机器也有“偏见”

人工智能只有在充分的数据保障的情况下才能表现良好，如果训练数据有缺陷或被污染，那么人工智能系统也不能幸免。这种情况是完全有可能发生的，尤其是当工作人员搜集了错误的数据并将其吸收进入系统的时候。如自动肥皂机对于白色手臂的反应堪称完美，而对于有色人种手臂的反应则差强人意，这就是机器的“偏见”。在人工智能中，类似的偏见如果发生于国家安全和战争应用中，可能会导致灾难性的后果。由于与现实世界作战环境相关的训练数据的局限和“偏见”，旨在使人类摆脱战争迷雾的人工智能系统可能会做出任何意想不到的事情。真实战争的迷雾和冲突意味着在任何一场战斗中都有许多情况是很难训练人工智能去参与的。所以在真实的战争中，人工智能可能会是很大的风险因素。此外，不法分子可能会利用这个弱点向人工智能注入受污染的训练数据。

https://v.qq.com/txp/iframe/player.html?vid=r13433o9qyc&width=500&height=375&auto=0

AI的思考过程是个谜

人工智能不会告诉你它是如何思考以及如何得出答案的。鉴于其特定的一套规则和训练数据，有些人工智能的行为是可以被人类理解的，而另一些则不能。比如：一个人工智能识别系统可正确地识别出一辆校车的图像，但不会去告诉我们它是根据校车图片的哪个特征去进行识别的。人工智能系统这种“黑盒”特性可能会对某些应用产生挑战。例如，医疗诊断方面，仅仅得出诊断结果可能是不够的，医生需要知道人工智能所用的诊断指标是什么。这就是老师为什么会给那些只有正确答案却没有计算过程的学生扣分的原因。合理的过程如同正确的结果一样重要。

人机互动失败

与许多国家安全和军事技术一样，设计师可能很难生产出适合最终用户需求的产品。这对于国家安全应用领域是一个特殊的挑战，因为和系统的设计师相比，系统的使用者可能是另一个完全不同的人，所以无法完全理解系统所给出的信号。在广泛的国家安全领域（比如军事安全、边境安全、交通安全、执法工作以及其他应用）中，系统的设计者既不太可能是决定采用系统的人，也不可能是最终使用系统的人。设计师与用户之间的差异造成的人机互动失败，由此带来的风险不可忽视。

一网打尽系列文章，请回复以下关键词查看：

创新发展：习近平 | 创新中国 | 创新创业 | 科技体制改革 | 科技创新政策 | 协同创新 | 成果转化 | 新科技革命 | 基础研究 | 产学研 | 供给侧

热点专题：军民融合 | 民参军 | 工业4.0 | 商业航天 | 智库 | 国家重点研发计划 | 基金 | 装备采办 | 博士 | 摩尔定律 | 诺贝尔奖 | 国家实验室 | 国防工业 | 十三五 | 创新教育 | 军工百强 | 试验鉴定 | 影响因子 | 双一流 | 净评估

预见未来：预见2016 | 预见2020 | 预见2025 | 预见2030 | 预见2035 | 预见2045 | 预见2050 |

前沿科技：颠覆性技术 | 生物 | 仿生 | 脑科学 | 精准医学 | 基因 |  基因编辑 | 虚拟现实 | 增强现实 | 纳米 | 人工智能 |  机器人 | 3D打印 | 4D打印 | 太赫兹 | 云计算 | 物联网 | 互联网+ | 大数据 | 石墨烯 | 能源 | 电池 | 量子  | 超材料 | 超级计算机 | 卫星 | 北斗 | 智能制造 | 不依赖GPS导航 | 通信 | MIT技术评论 | 航空发动机 | 可穿戴 | 氮化镓 | 隐身 | 半导体 | 脑机接口

先进武器：中国武器 | 无人机 | 轰炸机 | 预警机 | 运输机 | 战斗机 | 六代机 |  网络武器 | 激光武器 | 电磁炮 | 高超声速武器 | 反无人机 | 防空反导 | 潜航器 |

未来战争：未来战争 | 抵消战略 | 水下战 | 网络空间战 | 分布式杀伤 | 无人机蜂群 | 太空站 |反卫星

领先国家：俄罗斯 | 英国 | 日本 | 以色列 | 印度 

前沿机构：战略能力办公室 | DARPA | Gartner | 硅谷 | 谷歌 | 华为 | 俄先期研究基金会 | 军工百强

前沿人物：钱学森 | 马斯克 | 凯文凯利 | 任正非 | 马云 | 奥巴马 | 特朗普

专家专栏：黄志澄 | 许得君 | 施一公 | 王喜文 | 贺飞 | 李萍 | 刘锋 | 王煜全 | 易本胜 | 李德毅 | 游光荣 | 刘亚威 | 赵文银 | 廖孟豪 | 谭铁牛 | 于川信 | 邬贺铨 |

全文收录：2016文章全收录 | 2015文章全收录 | 2014文章全收录 

其他主题系列陆续整理中，敬请期待……