查看原文
其他

机器学习算法易受攻击?阿里“安全基建”这样应对AI的不安全

CSDN App AI科技大本营 2020-12-18


出品 | AI科技大本营(ID:rgznai100)


数字基建的浪潮之下,诸多行业领域都在加速融合5G、大数据中心、AI等新技术,向数字化转型。近日,多位全国政协委员、院士和安全行业专家提出,应尽快出台安全基建国家标准,让数字化程度高、安全技术能力强的企业充分发挥作用,把它们在不同应用场景中沉淀的安全能力推广应用。

 

今年3月底,阿里发布了数字基建新一代安全架构,其核心理念就是安全基建。安全基建主打事前、事中的建设防护,目的是为各类App和网站等数字经济实体的搭建过程建立标准化流程,确保数字经济实体在建设之初就运行在较高安全基线上。

 

阿里安全首席架构师钱磊介绍,安全基建概念的提出,解决的是数字经济实体搭建的“安全施工标准”问题,内容涵盖软件供应链安全、技术和业务漏洞检测、隐私与内容风险检测、应用可信等多个维度。

 

如果说,强调生产要素标准化的安全基建层,是让数字经济实体具备了免疫能力。安全运营层则通过决策引擎,让风险从事后发觉处置走向了事前的态势感知。以风控分析师、安全策略师和风险运营师为代表的安全专家,通过海量数据分析,寻找规律并定义策略,从多个维度感知对抗威胁,并进行应急响应。


安全技术层是整个安全体系的基石。由攻防技术、数据安全技术、密码学、算法等安全技术构建的安全技术矩阵,是新一代安全架构的能力“底座”。


这里就不得不提到技术效率的问题。在钱磊看来,安全发展到最后,其实是一个效率问题。“即便是什么都能做,但是假如一整套安全模型走下来,需要10分钟,那么这个安全体系同样是垃圾。

 

“我们可以把网络空间安全建设比喻成修建城墙。城墙是为了抵御外敌,但城门则是为了让人们顺畅同行。在进入城门的人群知中,如何识别潜伏在好人中的坏人,如何去识别坏人,这就是安全算法层面要解决的问题,只有不断的沉淀精准识别模型算法,才能真正的提高技术效率,做到让好人一路绿灯让坏人寸步难行。”


 
安全AI技术作为安全技术矩阵中的一环,显然就是提高“城门通行效率”的核心能力。
 
去年12月,阿里安全提出“安全AI”概念,指出安全和AI是互相促进的有机体。一方面,AI技术应用在安全领域,可以让安全能力更智能;另一方面,安全技术应用在AI领域,可以让AI能力更可靠。阿里安全认为,安全技术在经历了专家运营阶段、数据智能阶段后,已经迎来的安全AI阶段。在安全AI阶段,更多的安全识别、决策、处置等关键动作将主要依靠AI来实现。
 
要想让AI安全地“卖力”,技术人需要付出巨大努力。不容忽视的一个关键问题是,如何解决AI算法模型鲁棒性不足、易受攻击的特性?
 
目前,阿里安全正在做的是,主动挖掘机器学习算法的安全漏洞,以期构建更加安全和可信的AI系统,并发展新的机器学习算法,逐步将AI的安全问题体系化、标准化。
 
当然,阿里安全并不是独自在战斗。来自全球的庞大开发者群体也在用各种方式协同作战,来提升机器学习算法的安全性和可靠性。
 
为了发现AI领域中目标检测模型的脆弱性、为此领域的工作者敲响警钟。近期,阿里启动了安全AI挑战者计划第四期,是全球首个结合黑盒白盒场景,针对多种目标检测模型的对抗攻击竞赛。
 
与前三期重在算法领域深耕不同,新一期计划实现AI算法和网络安全的融合,打破行业ML/DL一家独大的情况,引领AI技术在落地时一定程度上结合传统技术,运用多种技术组合解决业务问题,更好的抵御深度学习时代的安全问题。
 
据介绍,比赛采用COCO数据集,其中包含20类物体。任务是通过向原始图像中添加对抗补丁(adversarial patch)的方式,使得典型的目标检测模型不能够检测到图像中的物体,绕过目标定位。
 
为了更好的评价选手的攻击效果,大赛创造了全新的得分计算准则。除了加入攻击成功率之外,我们还对添加补丁的数量和大小进行了约束。选手添加的补丁数量、修改的像素和模型识别到的包围盒越少,则代表攻击更加成功,得分则越高。为了保证比赛难度,大赛选取了4个近期的State-of-the-art检测模型作为攻击目标,包括两个白盒模型——YOLO v4和Faster RCNN和另外两个未知的黑盒模型。
 
从技术难度看,目标检测攻击要求对目标的类别、未知等信息同时进行攻击,问题的复杂度更高也更有挑战;另外,本次竞赛采用了全新的设定,允许参赛这通过多块patch对目标进行攻击,进一步提高了问题的挑战性。此外,也鼓励参赛者能够发挥自己的创造性,提出有价值的解决方案。
 
总之,他们希望从实际业务出发,通过场景、技术、数据、算力、经验等支持,帮助更多的安全爱好者在数字基建浪潮的多元复杂场景中得到磨练,具备真正的安全能力。
 
最后放出大赛链接,感兴趣的开发者可以报名:http://suo.im/6cVz5w

推荐阅读
你点的每个“在看”,我都认真当成了AI

    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存