人工智能发展趋势与安全挑战
2018年全国“两会”政府工作报告中提到 “加强新一代人工智能研发应用”，表明国家对人工智能发展的重视。然而，任何新技术新应用都具有两面性，人工智能技术及其应用为人们生产生活提供便利的同时，也带来了安全隐患。2018年3月，优步（Uber）自动驾驶车辆在美国造成行人死亡事件，引发了公众对人工智能安全的广泛热议和普遍担忧。当前，亟需梳理人工智能发展现状趋势，分析其带来的安全风险，提出应对措施建议，有效促进人工智能产业健康发展。
一、人工智能发展现状与趋势
（一） 人工智能发展现状
一是各国政府高度重视，纳入国家科技战略核心。世界主要国家都高度重视人工智能（AI）发展。其中，美国和中国先后将AI提升为国家战略，大力促进技术和产业发展；英国、日本、德国等凭借其在AI专项领域的技术优势推动人工智能发展，如英国和日本以机器人领域技术为突破点，德国以“工业4.0”为契机推进AI发展。
二是学术研究方兴未艾，科技成果爆发式增长。近几年，人工智能学术研究成果突飞猛进，为人工智能的发展奠定了良好的基础。人工智能论文数量和专利申请数均爆炸式增长，其中，中国2016年提及“深度学习”和“深度神经网络”的重要论文接近600篇，是2013年的12倍，已稳居全球首位； 2016年，中国专利年申请数为29023项，较2001年增长了40倍左右。
三是产业格局正在形成，科技巨头引领人工智能发展。在产业界，科技巨头在AI产业环节积极卡位布局。IBM围绕Watson在芯片、计算平台、行业解决方案和应用场景等进行全面产业布局；谷歌凭借TensorFlow平台在智能家居、自动驾驶等重点领域布局；国内以BAT为代表的科技企业，基于现有技术优势和产品特点加速构建差异化的产业生态，成为国内AI领域引跑者。
（二） 人工智能发展趋势
一是行业应用潜力巨大，“AI+”将成未来风向标。“AI+”是“互联网+”的延续和升级，推动传统行业向自动化和智能化转型。目前AI在工业、金融、交通、医疗、保险、安防等领域应用潜力巨大，未来“AI+”将催生更多新业态，开拓更广阔的市场空间。据麦肯锡预计，到2025年，AI应用市场总值将达到1270亿美元。
二是创业投资渐趋理性，重新审视AI商业价值。AI投资正趋于理性，投资人更关注AI的商业和应用价值。《2017年中国人工智能产业数据报告》指出，AI领域投融资种子天使轮比重逐年下降，投资阶段有后移趋势。可以预见，随着学术研究向产业应用转化的趋势愈发明显，商业应用需求将是未来推动AI产业发展的主要因素。
三是认知智能尚未成熟，亟待新一轮技术革命。当前AI主要是依托数据驱动的感知智能，发展受限于算法效率和硬件性能等因素：一方面，深度学习算法严重依赖海量数据和超强算力，且存在不可解释性；另一方面，随着摩尔定律的失效，支持AI发展的硬件性能呈指数增长将不可持续。因此，依托深度学习的AI未来可能会遭遇发展瓶颈，以迁移学习、类脑学习等为代表的认知智能研究越发重要。
二、人工智能带来的安全风险
一是人工智能可提升网络攻击效率，威胁网络空间安全。AI技术用于网络攻击时，其自我学习能力和自组织能力可用于智能查找漏洞和识别关键目标，提高攻击效率。例如，集成AI的恶意软件可自动瞄准更具吸引力的目标，劫持工业设备、勒索赎金等犯罪将越来越常见，传统网络安全体系遭受威胁。
二是人工智能可加剧个人信息泄露，威胁个人隐私安全。AI技术的应用增强了个人信息采集力度和个人数据挖掘能力，加大了隐私泄露风险。例如，基于指纹、人脸、虹膜等生物特征识别的智能系统会采集和掌握大量用户隐私， AI系统则可根据其采集到的数据进行再学习和再推理，得到更多与用户隐私相关的信息，甚至可能导致数据匿名化等安全保护措施无效。
三是人工智能系统尚存在决策偏差，威胁人身生命安全。AI系统（特别是高度自治的系统）具备一定的决策和行动能力，一旦出现感知、认知偏差或者受到网络攻击，系统就可能判断失误，进而采取错误行动，甚至危及人身安全。例如，今年3月，Uber自动驾驶汽车在美国亚利桑那州造成行人死亡的案例就是此类安全威胁的明证。
四是人工智能可替代传统行业工种，威胁社会就业安全。AI应用会促进产业升级，引发结构性失业，例如，无人驾驶代替传统司机，无人超市替代收银员和导购员，未来警察机器人替代交警等。据Forrester Research预测，AI技术将在2025年之前取代美国7％的工作岗位，其中16％的美国工人将被AI系统取代。在新的社会分工建立之前，AI对就业的冲击可能引发社会安全风险。
三、人工智能安全应对建议
一是加强技术应用研究，提升网络空间安全防御能力。人工智能技术对于网络空间安全是一柄“双刃剑”，既可增强网络攻击能力，也可提升安全防御能力。应积极引导和推动研究机构和网络安全公司，加大AI技术在网络安全防护领域的应用研究，构建基于人工智能的网络攻防演练平台，研发成熟的人工智能网络安全产品，涵盖漏洞扫描、入侵检测、态势感知、攻击预警以及应急处置等多类型应用，提升网络安全防护的自动化和智能化水平。
二是立法和技术研究并重，促进个人隐私安全管理。在大数据和AI时代，隐私保护应从立法监管和技术能力提升两方面入手：一方面，针对我国个人信息保护法律条款分散、不成体系的现状，加快统一立法，特别是明确企业收集用户信息的原则、程序、保密和保护义务以及不当使用、数据泄露等相关责任；另一方面，加强新技术在个人隐私保护方向应用，例如，区块链技术具备加密、信任、点对点、难篡改等特征，可加强用户对个人隐私数据的掌控，防止数据在网络传输和后台存储环节的泄露。
三是强化人工智能应用安全，规避人身安全风险。首先，要加强AI技术研究，提升核心算法和学习模型的成熟度，增强AI感知、认知能力和决策的透明度和可解释性，保障智能应用决策行动的健壮性；其次，应主动构建AI应用安全评估评测体系，制定评估评测标准，建设AI应用安全测试验证平台，通过检验测试发掘AI系统安全漏洞，提升AI应用的安全可靠性能，努力规避人身安全风险。
四是优化学科专业设置和在职培训，降低社会失业风险。面向AI产业发展引发的社会就业变革，首先，应动态调整高校、职业学校等专业设置，增设AI相关交叉类学科，逐步降低乃至取消AI可替代职业的招生名额；其次，应引导在岗人员树立终身学习理念，完善在职培训和再就业培训体系，通过培训革新在岗人员就业技能，大力培育智能经济新岗位，最大程度降低人员失业引发的社会安全风险。
作者简介
刘婷婷，中国信息通信研究院安全研究所工程师，博士，主要研究方向为信息安全。
联系方式：liutingting1@caict.ac.cn
牛金行，中国信息通信研究院安全研究所高级工程师，硕士，主要研究方向为人工智能安全。
联系方式：niujinhang@caict.ac.cn
校 审 | 陈 力、 珊 珊
编 辑 | 凌 霄
欢迎转发分享！
如需转载，请联系授权事宜：
电话：62300198
Email：media@caict.ac.cn
推荐阅读