又一轮AI破解来袭：这一次是机器学习“黑匣子”

Original 2017-12-19 E安全 E安全

更多全球网络安全资讯尽在E安全官网www.easyaq.com

E安全12月19日讯德国三位研究人员发布了一款工具Foolbox，能够帮助用户在解析“黑匣子”时更轻松地构建起攻击模型。并且在名人面部识别与高知名度Logo识别方面成功骗过美国热门的图片识别工具。Foolbox目前正在接受审查，并计划于2018年4月底召开的学习报告国际大会上进行展示。

美国著名演员、导演乔治-克鲁尼与达斯汀-霍夫曼之间到底有何区别？
答案是：仅仅几个像素之差。

与“从内部”针对AI的攻击模型不同，面向“黑匣子（black box）”的入侵手段将可用于攻击自动驾驶车辆、安全（例如面部识别）或者语音识别（Alexa或Cortana）等封闭系统。

来自德国图宾根大学的Wieland Brendel、Jonas Rauber与Matthias Bethge在arXiv上解释称，Foolbox是一种“基于决策”的攻击方法，其利用边界攻击“从大攻击干扰性攻击入手，而后减少干扰并继续保持攻击能力”。

Foolbox对Clarifai的黑匣子AI进行攻击测试

其基本原理在于自大规模干扰起步，而后逐渐减少干扰范围，这一点不同于以往几乎所有对抗性攻击逻辑。除了极为简单之外，其组织起的边界攻击也非常灵活。例如，“基于转移的攻击”必须利用与攻击模型相同的训练数据进行测试，并需要“繁琐的替代模型”。

研究人员们在文章中指出，基于梯度的攻击同样需要具备与目标模型相关的详细知识，而基于评分的攻击则需要访问目标模型的置信度分数。

论文指出，这一边界攻击则仅需要查看目标机器学习模型给出的最终决策——例如其作为输入内容的类标签，或者语音识别模型当中的已转录句子。

Foolbox针对Clarifai黑匣子进行的logo类攻击测试

纽约初创公司Clarifai提供API类型的工具，利用深度学习技术来理解视频内容的服务，能够快速分析视频脚本，识别1万种不同的物体或场景。研究人员们利用Clarifai API对Foolbox攻击能力进行了测试，并在名人面部识别与高知名度Logo识别方面成功将其骗过。

深度学习是受启发于脑神经元对输入信息进行响应从而学习的过程。许多层的模拟神经元和突触都被标记上了数据，这些神经元和突触的行为在学习的工程中不断被调整，直到它们学会如何进行识别。深度学习和其他机器学习技术改进了语音识别和图像分类技术。

这些机器学习技术逐渐被用于更多的领域中，这些一旦发生错误就会造成严重后果。例如军方现在正在开发很多自助系统，这些系统将很大程度上依赖于机器学习技术，比如自动驾驶汽车、无人机。

人工智能控制的自主汽车，车辆传感器的信息被直接送入深度学习神经网络；另一端，行驶所需的所有指令直接从人工智能这个“黑匣子”中提取。

数据左右着设计决策，当采集的数据越来越多，无论是传统工具还是人都无法处理，于是采用的工具和用这些工具制造出来的产品最后都变成了“黑匣子”。这些黑匣子虽然不方便被人类检视，但是可靠性在很多领域已经优于老式设计和人类自己。

深度学习AI系统经常在黑匣子里做决策，因为机器可以在短时间内执行数百万次测试，提出一个解决方案，并继续执行数百万次测试，以提出更好的解决方案，因此人们无法轻松理解神经网络选择某种解决方案的原因。

注：本文由E安全编译报道,转载请注明原文地址
https://www.easyaq.com/news/558216770.shtml