专题·人工智能安全 | 人工智能安全综述

扫码订阅《中国信息安全》

邮发代号 2-786

征订热线：010-82341063

文 | 华北电力大学 李建彬 谯婷 秦淑梅 李智勇近年来，人工智能技术发展取得了长足的进步，在多个领域广泛应用，特别是以 ChatGPT 为代表的生成式人工智能技术开启了人工智能应用的新纪元。随着人工智能技术及应用的迅猛发展，也带来了诸多由于人工智能引发的新安全问题，人工智能相比传统网络安全将面临更多新的安全形势和挑战，需要依托顶层设计、标准规范、安全策略、技术手段、管理措施等方面进行有效的应对与防范，上述问题和情况都值得我们深入的思考和研究。

一、人工智能概述

（一）人工智能的历史与发展

人工智能（Artificial Intelligence，AI）是一门技术科学，它研究和开发理论、方法、技术和应用系统，以模拟、扩展人类智能。人工智能研究目的是通过探索智慧的本质，扩展人类智能，使智能主体具备听、看、说、思考、学习和行动的能力。1951 年，马文·明斯基与他的同学迪恩·爱德蒙一起，建造了世界上第一台“随机神经网络模拟加固计算器”。1956 年，约翰·麦卡锡首次提出了人工智能这个概念，当时的定义为“制造智能机器的科学与工程”。人工智能自诞生之日起经历了多个发展阶段。第一阶段是人工智能起步阶段，提出人工智能概念，发展出了神经网络、机器定理证明、人机对话等。第二阶段是人工智能工程应用阶段，通过专家系统模拟人类专家的知识和经验解决特定领域问题，实现人工智能从理论研究走向实际应用的重大突破。第三阶段是人工智能深度发展阶段，互联网技术的迅速发展加速了人工智能的创新研究，推动人工智能技术进一步走向实用化。第四阶段是人工智能数据挖掘阶段，新型数据和图形处理器推动人工智能技术飞速发展，在图像分类、语音识别、知识问答、人机对弈和无人驾驶等方面实现重大技术突破。第五阶段是人工智能蓬勃发展阶段，生成式人工智能作为一种新型的人工智能技术，在自然语言处理、图像生成、音频合成等领域取得了显著的成果。（二）人工智能技术与应用1. 人工智能技术人工智能的核心技术主要包括深度学习、计算机视觉、自然语言处理和数据挖掘等。深度学习是一种实现人工智能的重要方法，它源自早期的人工智能研究。深度机器学习能够从数据中学习并自动归纳总结出模型，最终使用模型进行推断或预测。计算机视觉指的是计算机可以从图像中识别物体、场景和活动的能力。例如，一些技术能够检测图像中物体的边缘和纹理，分类技术可以用来确定识别到的特征是否代表系统已知的某一类物体。自然语言处理是涉及计算机科学、人工智能和语言学的一个领域，它研究计算机与自然语言之间的互动。自然语言处理面临许多挑战，包括自然语言理解，因此它涉及到人机交互的方方面面。数据挖掘是通过算法从大量数据中搜索隐藏信息的过程。数据挖掘通常与计算机科学相关，并通过统计、在线分析处理、情报检索、机器学习、专家系统和模式识别等多种方法来实现目标。近些年，人工智能技术正在朝着更多的分支领域发展，包括无人驾驶技术、人脸识别技术、神经机器翻译技术、声纹识别技术、智能客服机器人、智能外呼机器人、智能音箱以及个性化推荐等。2. 人工智能领域应用AIGC、AGI 是人工智能领域中两个重要的概念，而 LLM 大型语言模型是推动生成式人工智能聊天机器人迅猛发展的核心技术。AGI 是指一种具有与人类相当或更高的认知能力的智能系统，能够理解、学习、计划和解决问题。通用人工智能（AGI）的概念可以追溯到人工智能诞生之初，1950 年图灵提出了著名的图灵测试。AGI 的技术需要更多的支持，例如自然语言处理、计算机视觉和机器学习等。AGI 的应用领域也比较广泛，可以应用于医疗保健、金融服务、交通运输等领域中。AIGC（AI Generated Content）是一种利用人工智能技术自动生成内容的新型生产方式，其优点在于高效性和自动化生产。随着人工智能的发展，越来越多的内容不再需要人工编辑，而是由机器自动生成。在 2021 年之前，AIGC 主要用于生成文字，自 2022 年以来，AIGC 的发展速度惊人，新一代模型能够处理多种格式的内容，达到专业级别。AIGC 技术主要应用于新闻报道、广告创意、视频制作等行业。LLM（Large Language Model）是一种基于深度学习的自然语言处理模型，能够学习自然语言的语法和语义，生成人类可读文本。2017 年，Deep Mind 提出了 RLHF 概念，同年 6 月，Google 发布了 Transformer，成为所有 LLM 的基础架构。2020年，OpenAI 发布 GPT-3，LLM 流行度稳定增长。ChatGPT、Bing Chat 和 Google Bard 这样的聊天机器人迅速崛起，证明了该领域正汇集大量资源。3. 人工智能行业应用人工智能在金融科技领域的应用。机器学习、知识图谱、生物识别和服务机器人等人工智能技术被广泛应用于金融预测、反欺诈、授信决策和智能投顾等领域，人工智能是未来金融科技创新与发展的重大推动力。人工智能在能源领域的应用。人工智能的机器学习与能源相结合将有助于加快可再生能源的采用，成为应对气候变化的有效工具，符合可持续发展目标。人工智能在卫星通信领域的应用。美国卫星通信创新集团认为卫星是整个通信网络依赖的基础，人工智能可以管理虚拟通信网络，帮助卫星提供可靠的通信服务，实现通信任务自动化。人工智能在农业领域的应用。人工智能在农业生产中的运用愈发广泛，可以进行农作物的监控，了解农作物的生长情况，及时补充所需要的养分或者农药，并且可以保证用量更精确。人工智能在城市公共安全领域的应用。人工智能在提高城市公共安全保障能力方面优势明显，随着人工智能发展依赖的数据规模的不断扩大、算力的不断提高以及算法的优化与突破，应用人工智能技术的成本将大幅降低。（三）生成式人工智能生成式人工智能是指利用机器学习技术让计算机自动生成不同模态高质量数据的方法。生成式人工智能所涉及的技术非常综合且广泛，但就其文本生成核心功能而言，主要依赖于生成式预训练和提示学习两个主要功能。从算力角度看，生成式计算是继云计算之后的又一种新的算力形式，将会像电、网络和云计算一样，成为人们生活中不可或缺的基础能力。从应用生态角度看，以 ChatGPT 为代表的生成式人工智能产品将成为互联网新的入口。从人机交互角度看，以 ChatGPT 为代表的产品将成为人类大脑的延伸，提供更加智能、高效、自然的与人交互的方式。（四）人工智能行业与市场发展近年来，人工智能产业进入高速发展阶段，智能场景融合能力不断提升，人工智能的应用场景从硬件扩展到了软件、服务和平台体系，在金融、工业、农业、医疗领域的行业应用不断深入。商业化应用已经成为人工智能科技企业布局的重点，欧洲、美国等发达国家和地区的人工智能产业商业化已经落地。我国政府高度重视人工智能的发展，通过发布政策、实施重大项目等方式积极推动人工智能技术和产业创新发展，将人工智能融入国家整体创新体系，不断增强产业竞争力。“十四五”数字经济发展规划等多项政策围绕“加快高性能、智能计算中心部署”“打造智能算力、通用算法和开发平台一体化的新型智能基础设施”等作出具体部署。随着我国新基建、新经济的不断推进，人工智能技术在各领域的应用不断深化，人工智能行业市场规模持续增长。人工智能产业链主要包括算法、芯片、算力、数据及场景等几大环节，各个环节都存在细分领域的龙头企业。未来，在 5G+ 物联网的加持下，各行各业都将进入一个智能化阶段。

二、人工智能安全形势及风险分析

（一）人工智能安全形势分析

在 5G、大数据、云计算、深度学习等新技术的共同驱动下，人工智能作为新型基础设施的重要战略性技术加速发展，并与社会各行各业创新融合。人工智能的发展表现出以下特征：一是人工智能执行的关键业务对安全防护的实时性提出了更高要求；二是人工智能的个性化服务需求对敏感信息保护提出了更高要求；三是人工智能跨组织融合对数据安全共享提出了更高要求；四是基于机器学习的安全算法与软件漏洞问题日益突出。人工智能技术的本质使其与安全体系内的多个环节形成密切相关，并产生多层次的影响，使得人工智能技术具有明显的国家安全属性，对国家主权、意识形态、社会关系等方面带来冲击。当前，主要发达国家都将发展人工智能技术和应用视为提升国家竞争力和维护国家安全的重大战略，并努力在新一轮科技竞争中占据主导地位。美国国防部《人工智能战略》提出，美国及其盟友和伙伴国家，必须采用人工智能来维持其战略地位，确立未来战场的优势，保卫自由与开放的国际秩序，美国中央情报局更是宣布将 ChatGPT 和类似的生成式人工智能技术用于情报工作。（二）人工智能安全风险分析1. 人工智能技术安全风险目前，人工智能技术主要采用深度学习方法，以数据智能为主，智能程度与数据量成正相关。然而，这种人工智能缺乏基础知识储备，所有的知识都来自于输入的数据，包括训练数据和与环境交互数据等。从原理上看，深度学习算法只能反映数据的统计特征或学习数据之间的关联关系，无法解读数据的本质特征或因果关系。这种技术的风险主要表现在三个方面。数据风险：攻击者可利用人工智能特点，在模型训练阶段混入恶意样本数据，引导模型训练过程。常见攻击方式有数据投毒、对抗样本和成员推理攻击。生成式人工智能如 ChatGPT 和 BingAL 易窃取机密数据，用于迭代训练。算法风险：算法是人工智能的核心，目前算法风险主要表现在四个方面。首先，算法设计可能存在漏洞，导致训练数据不均、投毒或泄露等安全问题。其次，算法后门攻击使攻击者能够操控模型预测结果。第三，算法的“黑箱”问题和不可解释性导致人工智能算法在业界转化过程存在安全隐患。最后，算法偏见与歧视可能导致人工智能在决策时偏向某些群体或个体，引起社会不公平。模型风险：人工智能模型存在多种攻击风险，包括模型逆向攻击、逃逸攻击和模型窃取攻击等。对于大型模型如 ChatGPT，窃取其完整功能可能并不现实，但可以针对某一领域进行功能窃取。2. 人工智能应用安全风险随着 ChatGPT 等人工智能生成内容的新突破，内容生产方式发生了彻底的变革。这种变革使西方意识形态和价值观的隐性传播对中国产生了影响，增加了治理难度并带来了多个安全风险。政治风险：人工智能技术使政治权力去中心化，非国家行为体权力扩大，政治安全风险上升。技术如换脸和换声等的利用使制造具有欺骗性的假新闻成为可能，从而对政治事件的进展产生影响。人工智能对公众行为的潜移默化影响干扰国内政治行为，挑战选举制度。经济风险：人工智能技术导致资本和技术在经济中的地位提升，劳动力价值削弱，引发机构性失业、贫富分化和不平等。此外，人工智能技术带来的全球经济结构调整将引导全球资本和人才进一步流向技术领导国使发展中国家实现现代化的机遇受限。同时，随着经济生活数字化水平的快速提升，虽然为用户带来了便利，但也埋下了重大的安全隐患。社会风险：人工智能技术滥用带来社会风险，如滥用人脸识别、智能杀熟、推荐算法问题、隐私与数据泄露、个人数据过度采集等，扰乱市场和社会秩序。滥用人工智能技术深度挖掘、分析、处理个人数据和社会信息，加大了社会治理和国家安全挑战。军事风险：人工智能技术在军事领域应用将引发安全风险，改变战争机制，增加不确定性。如人工智能武器背后的逻辑和意图难以理解，导致战略判断和不确定性风险。此外，人工智能武器本身存在安全风险，如智能情报系统的误判、辅助决策系统的安全风险和自主武器系统的进化风险。隐私与数据泄露风险：随着数据信息的电子化和网络化，数据的获取和传播变得更加便捷，但同时也带来了数据泄露和扩散的风险。由于人工智能对数据的依赖，信息的安全风险更加突出。人工智能系统需要大量数据进行训练，这意味着企业需要通过自动化方式获取大量个人数据来支持人工智能算法的训练。然而，这种数据获取和使用往往侵犯了个人的隐私权。伦理道德安全风险：人工智能技术带来的伦理结果不确定，受主观和客观因素影响。包括道德算法风险、道德决策风险和隐私数据泄露风险等。人工智能伦理道德风险的成因多样，包括算法目标失范、算法和系统缺陷、信任危机、监管和工具不足、责任机制不完善，以及受影响主体防御措施薄弱等因素。总之，人工智能的竞争引发了国际安全不稳定性。各国为争夺主导权，强化在技术标准、国际规则、芯片、数据等方面的“科技脱钩”。尤其是中美人工智能竞争最为激烈。美国出台一系列文件试图排斥和防备中国，可能扰乱中国的人工智能发展步伐，带来直接技术风险和经济损失。更严重的是，这可能引发全球人工智能技术、产业与标准生态体系的分裂甚至是对抗。（三）各国应对人工智能安全问题的举措随着人工智能的全球化发展，人工智能安全问题也超越了国家边界，成为人类必须共同面对的挑战。不同国家的政府，因其发展现状、远景规划的不同，在人工智能安全方面的侧重点也有所不同。这就决定了各国在相关领域的投入、处理问题的优先级都存在差异。联合国教科文组织于 2021 年 11 月通过了《人工智能伦理问题建议书》，该建议书旨在促进人工智能为人类、社会、环境以及生态系统服务，并预防其潜在风险。该建议书的内容包括规范人工智能发展应遵循的原则，以及在这些原则指导下人工智能应用的领域。美国白宫宣布了旨在遏制人工智能风险的首个新举措，报告显示美国国家科学基金会计划拨款 1.4 亿美元建立专门用于人工智能的新研究中心。政府还承诺发布政府机构的指导方针草案，以确保对人工智能的使用的安全，保障“美国人民的权利和安全”。谷歌、微软、OpenAI 等人工智能公司已同意在 8 月的网络安全会议上对其产品进行审查。在欧盟委员会发布的《欧盟人工智能》战略规划中，明确指出要确保欧盟具有与人工智能发展和应用相适应的伦理和法律框架，最大化欧盟整体在人工智能领域的国际竞争力。欧洲议员同样呼吁制定更多的规则来对人工智能技术加以监管，并列出了几项期待的举措，包括在拟议的《人工智能法案》草案中提供一个框架，此外还提及应召开关注人工智能风险的全球峰会等。加拿大在 2022 年 6 月颁布了《人工智能和数据法案》，该法案旨在规范人工智能系统中的国际和省际贸易和商业。日本、韩国、新加坡等亚洲国家，更多是将人工智能安全的战略重点放在促进产业健康发展以及公共安全、国家安全的应用上，并对人工智能的一些安全问题、伦理问题做出原则性规定。我国在 2017 年发布了《新一代人工智能发展规划》，2019 年政府工作报告将人工智能进一步升级为“智能+”的战略方向，2023 年国家互联网信息办公室就《生成式人工智能服务管理办法》公开征求意见。

三、人工智能安全保障的重大意义

（一）国家安全需求

人工智能技术的快速发展和广泛应用为社会带来了巨大的变革，同时也带来了一系列的安全挑战。这些挑战不仅涉及到个人隐私和数据安全，也关乎国家安全和社会稳定。人工智能为中国保障国家安全、推进国家治理体系和治理能力现代化带来了新问题。因此，如何把握人工智能的发展主动权与处理好相应的风险，并实现良性、合理的国际合作与竞争，已经成为我国国家安全治理亟需解决的议题。（二）政治安全需求人工智能因具有精准识别和筛选需求信息、整合议题并优化治理情景、智能模拟和辅助治理主体决策、实时跟踪评估和反馈治理效能等方面的优势，深度嵌入公共治理领域。但也可能带来国家网络主权、意识形态、政治制度等维度的政治安全风险。以人工智能的技术效能提升国家政治安全效能并强化政治体系对政治安全风险的动态适应能力，强化对人工智能算法推荐的人工把关效能并提升“人机”双重把关体系的风险防控水平，加强人工智能向善的制度设计并优化国家政治安全制度保障体系，是智能社会语境中政治安全风险的善治之道。（三）有序发展需要人工智能技术日新月异，各种创新思想层出不穷。在这个不断进步的领域，持续学习和适应变化的能力非常重要。为了实现人工智能的高水平应用和高质量发展，我们要在以下几个方面加强工作：一是培育科技创新主体的科技向善理念，维护好公民的个人数据隐私与信息安全；二是明确支撑中国科技创新的支点，强化基础研究和创新生态建设；三是推动数字技术与实体经济深度融合，助力传统产业转型升级；四是优化和加强产学研协同创新模式，支持国内科研院校与人工智能领先科技公司的深度合作；五是有力地促进产业规范和有序发展，加快制定相关的行业标准和规范。同时，还要加快人工智能领域的国际合作与交流。

四、人工智能安全技术与实现途径

鉴于人工智能面临的安全形势和安全风险，为了确保人工智能系统的安全性和可靠性，需要采取科学、可行的安全策略和技术，从多个途径进行保护和控制。人工智能安全技术主要包括，智能筛查拦截技术，充分利用知识蒸馏、对抗样本智能筛查拦截等技术手段强化其抵御对抗样本的能力。数据隐私保护技术，在建立和操控人工智能系统的过程中，注意保护数据隐私，采取加密、权限控制等安全措施，避免数据泄露和滥用。安全漏洞检测技术，采取主动的安全漏洞发现与分析技术，识别并及时修复漏洞、缓解系统安全风险。监控与校准技术，对人工智能系统进行实时的持续监控，发现任何异常行为，及时纠正，避免出现重大事故。安全评估与审核技术，对人工智能系统进行安全性评估与审核，包括 AI 芯片测试、算法审核、数据安全评估等，确保其符合相关标准和规范。实现人工智能系统安全保护的途径主要包括以下方面：首先，需要科学规划人工智能的发展方向，确保人工智能发展符合人类预期并为人类服务。其次，需要明确人工智能安全责任，建立完善的安全责任框架，不断探索人工智能安全责任认定和分担机制。第三，需要加强人工智能依法合规管理，从国家层面进行立法和政策方面的完善。第四，需要强化隐私保护和统一监管，建立可审查、可回溯、可推演的监管机制，确保技术一致性。第五，需要严格评估人工智能算法的安全性，明确算法设计动机和可解释性，克服不公正影响。第六，需要合理运用人工智能技术，避免人工智能技术滥用所导致的恐怖主义和国家政治稳定被破坏。

五、人工智能安全保障措施及建议

（一）开展人工智能安全防护技术研究

人工智能安全防护的核心功能包括治理、映射、测量和管理，旨在帮助组织解决人工智能系统存在的风险。美国国家标准技术研究院（NIST）于 2023 年 1 月 26 日正式发布了《人工智能风险管理框架》1.0版本，该框架旨在为设计、开发、部署和使用人工智能系统的个人和组织提供指导，以实现人工智能风险管理。想要构建较为完善的人工智能安全防护体系需要多方的共同努力，首先，企业应该根据自身的业务特点和安全需求，构建适合自身的人工智能安全防护体系。其次，企业也应该与政府、行业、学术等各方密切合作，共同推动人工智能安全技术的创新和发展。同时，政府应当加强人工智能安全技术与应用的研究和监管。（二）完善人工智能安全领域的政策法规我国在立法规范方面已经取得了显著的成绩，为人工智能安全治理奠定了坚实的基础。例如，《个人信息保护法》明确了个人信息处理的原则、条件、范围、方式等，保障了个人信息主体的知情权、选择权、控制权。然而，随着人工智能在各行各业的广泛应用，其技术漏洞也被滥用甚至用于欺诈犯罪。因此，我们需要不断完善和更新立法规范体系，以应对时代变化和社会需求。首先，需要建立健全的人工智能算法和数据行业制度体系，制定处罚滥用和欺诈的细则。其次，逐步推进《人工智能法》的立法进程。最后，加强与国际社会的沟通和协调，推动形成共同的人工智能安全治理规则和标准。（三）增强人工智能应用中的道德法规约束人工智能的自主性引发了一系列伦理道德问题，包括人工智能是否具有独立人格、人与人工智能的关系、是否允许人工智能改造人类、是否允许人工智能自我复制，以及人工智能社会伦理问题涉及到人类的尊严、平等、公平和隐私等多个方面。需要进行人工智能伦理约束，制定人工智能伦理原则和框架，并引导全社会正确认识和应用人工智能。在合规管理方面，企业应与政府、行业、学术界等各方密切合作，共同推动人工智能伦理标准规范的制定和实施；在技术研发方面，强化科研人员的伦理观念、道德约束和法律意识；在应用方面，应加强对人工智能行为的科学和伦理学等问题的研究，提高人工智能应用的道德水平和社会责任感。（四）加强人工智能安全国际交流与合作尽管人工智能技术竞争、监管竞争已成为全球科技竞争领域中的一个既定事实，但是全球各方在疫情应对、气候变化等方面的成功合作已经让各界意识到了只有通过广泛的国际合作，才能够彻底解决人工智能技术的发展和应用带来的安全问题。目前，全球各层面已经就相关问题展开了合作。在亚太地区，我国与东盟国家一直在人工智能领域保持密切合作与联系。此外，我国还与法国积极拓展在人工智能领域的合作，共同应对全球性挑战。因此，只有通过构建一个平衡包容的国际人工智能治理体系，才会有助于让人工智能技术进一步释放其潜能，更好地造福于人类，确保其自身运用的安全性和可靠性。

六、结 论

通过对人工智能安全形势和安全风险的深入分析，对人工智能安全保障重大意义的阐述，对人工智能安全技术、保障措施、实现路径的总结得到以下结论：

一是人工智能安全保障要与信息技术、人工智能技术同步发展、紧密结合、统筹考虑、稳步推进；二是完善人工智能安全顶层设计，基于我国人工智能技术与应用发展现状做好系统规划和全方位考虑；三是建立健全人工智能安全的协调与决策机制，政府职能部门统筹，汇聚产、学、研、用多领域资源，构建人工智能安全发展新生态；四是加强人工智能应用的规范性管理，加速人工智能安全方面法律法规、标准规范建设，综合国际背景、国家战略需求、技术发展趋势以及实践应用，实现人工智能产业安全健康的发展；五是推进人工智能安全产业发展，大力发展人工智能在数据采集、算法设计、技术开发以及场景应用中配套的安全产品与安全服务；六是加强人工智能安全人才培养，人工智能安全涉及多专业背景的跨学科研究领域，需要加强人工智能安全与其他学科的交叉融合，对人工智能研发人员加强安全培训，进一步强化安全意识。总之，人工智能安全已经上升到国家安全层面，但我国人工智能安全在战略布局、顶层设计、法规标准、技术应用等方面与欧美发达国家相比还存在一定差距，同时人工智能安全较传统网络安全还存在一定的差异性。基于上述情况，我国在人工智能安全保障方面要紧扣国家安全战略和社会需求，尽快完善人工智能安全的顶层设计，着力提升人工智能安全技术研发能力，加速推进人工智能安全标准建设，加强人工智能安全技术的国际交流与合作，加大人工智能的监管力度，规范人工智能行业应用，为我国人工智能健康有序的发展打下坚实基础。

（本文刊登于《中国信息安全》杂志2023年第5期）

《中国安全信息》杂志倾力推荐

“企业成长计划”

点击下图 了解详情