案例说 | 中国信通院开展安全大模型能力评估工作

当前，ChatGPT、Sora等生成式人工智能新技术应用风起云涌，通用大模型技术成为了推动创新和变革的关键驱动力。但由于网络安全行业的专业性、特殊性和复杂性，通用大模型无法直接满足网络安全领域应用需求。在此背景下，众多网络安全行业组织积极响应国家“AI+”行动号召，利用行业经验和安全大数据资源，在通用大模型基础上进行微调、封装，开发形成网络安全大模型，以实现智能化解决网络安全场景中所面临的复杂性问题，提供高效智能的威胁应对和安全防御能力，满足行业在安全运营智能问答、威胁情报分析、安全态势智能监测分析、漏洞智能挖掘、钓鱼邮件准确识别、数据精准分类分级、异常行为智能分析等多场景化的特殊需求。

同时，由于业内网络安全大模型产品形态各异，技术能力参差不齐，缺乏安全基线要求，且网络安全大模型应用场景及能力评价指标仍未形成一致性的定义。为进一步规范网络安全大模型的设计、开发与应用，由中国信息通信研究院（简称“中国信通院”）人工智能研究所牵头，联合行业多家单位研制并发布了《安全大模型能力要求与评估方法 第1部分：总体框架》《安全大模型能力要求与评估方法 第2部分：基础网络安全》技术规范。第一个规范文件是总册，第二个是基础网络安全评测分册，该标准规范对网络安全大模型的相关术语和定义、技术框架、各类安全应用场景，以及数据增强、训练推理、任务微调、工具协同等关键技术能力，提出相应的能力要求及评估方法。

为了评估业界安全大模型产品的功能、性能及安全性，为安全大模型的开发方提供产品的改进方向、提升市场竞争力，为安全大模型使用方提供选型依据，并促进安全大模型产业的成熟度，中国信通院人工智能研究所依托中国人工智能产业发展联盟（AIIA），发挥产业协同能力及专业的评估能力优势，启动了首轮“安全大模型基础网络安全能力”评估工作，评估依据为《安全大模型能力要求与评估方法 第2部分：基础网络安全》中的通用安全能力和安全原子能力。通用安全能力包括安全问答、安全语言翻译、安全数据处理、安全任务编排、安全工具调用、安全告警研判、安全报告生成、大模型内生安全等通用能力。安全原子能力包括了安全大模型可具备的基础网络安全能力、数据安全能力、内容安全能力和业务安全能力。首轮共测试了华为、启明星辰、奇安信、绿盟、360、联通、上海斗象共7家企业的安全大模型产品。后续我们将持续开展相关评估工作，与有意向的企业启动相关业务合作。

业务联系人

静静

15810821574（同微信）

[e-mail]

校  审 | 谨  言、珊  珊

编  辑 | 凌  霄

”

推荐阅读

案例说 | 智算基建落地赋能，亟需全过程咨询服务
专家谈