中孚智库观察 | 如何弥合分散的网络安全管理流程 ——理解SOAR架构

随着网络空间安全对抗的持续升级，安全运营团队常面临复杂的网络威胁、海量日志告警以及资源和安全专家的不足等问题。更重要的是，物联网、区块链和云等新技术的兴起意味着网络安全团队需要做更多的工作来监控和保护其安全，这一切都加重了安全团队必须承担的沉重负担。

安全编排自动化与响应SOAR

(Security Orchestration,Automation and Response)的出现，提供了数据、流程、技术集成的框架与接口，能够减轻分析师的工作并提高应对复杂网络威胁的能力，大大提升了安全运营等安全任务的自动化水平。

早在2015年，SOAR首次进入网络安全领域时，就被Gartner称为网络安全行业的一项突破性革命性技术。6年后SOAR正在迅速扩大其影响力，据Gartner预计，2023年SOAR市场将超过5.5亿美元。

一、SOAR的背景及优势

Gartner2018年的研究发现，企业在网络安全上的支出为1240亿美元。预计将以大约8.5%的复合年增长率增长，2020年达到2700亿美元。这笔支出的大部分用于购买多种工具来保护企业免受网络威胁。据统计，国外企业采购的安全工具平均数量有75项之多，国内企业采购量虽不至于这么多，相关的开销也是一笔不菲的费用。

安全工具虽然多，但如果缺乏统一管理、彼此分散部署，再加上无法有效融合的安全数据以及熟练安全人员的匮乏，面对日益严峻的安全威胁时，安全情报的协同共享和安全威胁的快速响应就是一句空话。实际上，即使拥有专门IT运维人员的大型组织仍然难以监控网络以跟踪哪些设备已连接、谁有权访问数据、数据存储在哪里以及应用程序和工作流需要哪些资源。长此以往，任何单点安全产品或解决方案在组织网络中的增加，都会创建更多的数据孤岛，提高集成的复杂性，同时增加了分析师的工作量。

为了解决上述问题，安全信息和事件管理(SIEM)、安全编排、自动化和响应（SOAR）等工具平台出现，安全运营(SecOps)团队使用这些技术来优化他们的安全运营中心(SOC)。SIEM解决方案会检查日志数据中可能指示网络攻击的模式，与设备之间的事件信息关联后识别潜在的异常活动，最终发出相应的警报。与SIEM相比，SOAR平台更进一步地将综合数据收集、案例管理、标准化、威胁情报、工作流和分析相结合，可为组织构建复杂纵深防御能力提供良好的支撑环境。

SOAR最初是由Gartner2015年提出的，最早SOAR是Security Operations, Analytics and Reporting安全运维分析与报告的首字母，其定义为使用可机读的状态化安全数据来提供报告、分析与管理的能力，以支撑安全运营团队，其核心能力包括安全事件响应（SIR）、安全编排自动化（SOA）和威胁弱点管理（TVM）。

2020年Gartner再次更新了SOAR（安全编排自动化响应）的定义，对其赋予了更高的期待，将其定义为从各种来源获取输入，并应用与流程和程序相一致的工作流，为安全运营人员增加自动化辅助能力的解决方案。其中通过与其他技术的集成，可以实现编排自动化，SOAR描述了以三个关键领域[1]——安全自动化和编排（SOA）、安全事件响应平台（SIRP）和威胁情报平台（TIP）——来支持安全团队的集成解决方案，如图1所示。

图1  Gartner定义的SOAR关键领域

三者结合起来之后，每一个带来的都不仅仅是单独功能，而是在安全数据的基础上将组织的安全流程、团队和工具真正融合在一起，为用户提供了一个真正全面的安全平台，该平台将改变安全工作的方式，满足目标和目的降低风险，并确保组织安全。其优势在于：

01

建立了统一的 信息来源

TIP提供统一的威胁情报来源，SOA提供自动化流程和决策点，SIRP提供事件或案例相关的工作流和信息。用户能够通过这些模块访问威胁情报、流程、工作流、案例数据等，并以一致、可预测和可操作的格式获取上述信息。这种做法的好处在于所有威胁情报、响应计划和流程集中在一个地方，可以为整个安全运营团队提供可共享的统一参考依据，有助于在确保情报一致性的前提下，减少人员流动并提升多方协作效率。

02

提高了威胁情报准确性和获取效率

威胁情报可分为外部来源情报和内部来源情报。外部来源情报包括该领域优质、付费订阅源情报或开源情报等项目。SOAR通过将威胁情报管理和分析功能添加到组合中，可确保安全人员和机器的行动都由最高保真度的数据驱动，关注最相关的威胁。目前大多数威胁情报安全产品很少明确提供如何有效使用威胁情报的信息，导致产生更多的告警噪音和误报。将TIP功能作为SOAR的一部分，可以为威胁指标提供上下文并使用它们来讲述有关特定威胁的发展过程，从而提高威胁的准确性和理解与组织的相关性。

03

加强业务安全目标的一致性

安全运营团队应树立与组织业务发展愿景一致的目标，才能将信息安全风险降低到最低水平，同时确保构建的安全防御系统能够抵御正确的威胁，并向组织其他业务部门展示安全业务的价值。SOAR可以通过威胁情报来衡量外部风险，评估出组织业务系统暴露于相关威胁的可能性，在此基础上串接原有分散的安全流程，构建所有环节的持续反馈循环，形成无缝衔接的信息流，进而不断优化团队及其技术的功效和效率，确保安全团队与组织目标保持一致。

二、SOAR平台的重要功能

SOAR平台需要广泛浏览组织内部信息技术资源并收集安全威胁、数据和各种告警信息，综合人力和人工智能的能力来分析不同数据，以明确安全事件响应活动并确定其优先级。传统意义上，人类必须审查、修复这些操作并将其标准化为数字工作流，以定义安全事件响应程序，该过程需要消耗大量资源并会引入人为错误。

01

Gartner定义SOAR的四个关键

通过SOAR 解决方案可以通过组合各种数据任务为组织定义事件响应程序，通过自动化的机器驱动活动来自动化处理这种流程。Gartner强调了SOAR的四个关键组成部分:

一是编排，即不同的技术（安全性和非安全性应用的）如何集成在一起工作。成功的SOAR解决方案可以从SIEM系统、用户和实体行为分析工具(UEBA)、威胁情报平台、事件响应平台、入侵检测和防御系统(IDPS)等来源提取和分析告警。组织如果拥有来自多个供应商的多个安全解决方案，虽然可以提高数据的整体安全性，然而通常会导致更多告警，包括大量误报，要消除误报往往需要专职且训练有素的安全人员花费时间来调查每个告警信息。编排可以大量降低相关工作量，通过集成各种技术并连接安全工具（特定于安全和非特定于安全）的行为，使其协同工作，同时提高安全事件响应时间。

二是自动化，即机器做面向任务的“人的工作”。以前由安全人员执行的任务可以通过SOAR解决方案执行和标准化，具体包括自动化执行步骤、决策工作流程、状态检查、审计等过程的设计。使用SOAR，这些任务将有效降低人工资源的消耗。

三是事件管理和协作，即帮助安全人员实现对事件进行端到端管理。整个管理过程可编制为案例，可用于安全运营人员的交流学习和威胁情报共享，从而缩短对未来攻击的主动响应时间。SOAR常见的安全案例是对于恶意网络流量和漏洞管理。

四是仪表板和报告，用来收集和报告指标和其他信息的可视化和功能。安全编排可以从组织的IT基础架构中提取和分析告警信息；自动执行过程处理重复的手动任务；安全团队可以腾出更多时间专注于实际的安全事件和解决方案的处理和响应。分析师通过SOAR可以将数据分析范围扩展更远的范围来协作处理事件，协助其确定潜在漏洞的补救措施，以防止进一步的攻击。

02

钓鱼邮件安全案例

通过钓鱼邮件案例可以看出SOAR在整个过程中的主要作用。钓鱼邮件目前仍然是一种危险有效的攻击方法。据统计，大约91%的成功攻击始于网络钓鱼，平均而言钓鱼邮件中有30%会被打开查看。如果没有自动化的工具，安全分析师必须通过某种检测系统或通过用户通知手动接收潜在的恶意电子邮件，在此基础上手动提取详细信息并进行验证，整个提取过程包括查看，查看电子邮件的每个部分（标题、正文、所有内容），同时访问各种威胁情报源并确定任何可能成为威胁指标(IOC)的内容。这些步骤繁琐、耗时、单调、重复且容易发生错误，发生问题后的应急响应和补救操作会需要更多步骤和更多时间。在这个过程中，SOAR编排剧本自动执行方式，可以解决大部分手动任务，其处理速度远超人类，而且不会出现疏漏或发生意外错误，准确性也超过了人类的能力。脱离了这些繁琐、单调、重复的任务，安全分析师可以腾出时间完成更重要的任务（如研究、威胁搜寻和对可疑事件的专家评估等）。

本文以2014年成立的Swimlane发布的钓鱼邮件分类为例，来看利用Soar平台怎么来完成此类案例。Swimlane作为国际上典型的专业SOAR厂商，同时也是一家创业公司，Swimlane发展迅速，2020年4月，Swimlane收购了Syncurity，后者也属于2019年Gartner报告中SOAR的主要供应商。

图2  Swimlane的SOAR平台钓鱼邮件分类案例流程

从图2可以看出，Swimlane将监测是否出现可疑的垃圾邮件和网络钓鱼电子邮件[2]：

•  首先它将从受监控的组织邮箱中提取电子邮件，任何电子邮件到达时，都被自动摄取和解析；

•  标题、主题、正文和电子邮件地址等详细信息将放入新创建的案例记录的数据字段中；

• IP地址、URL和域等潜在的IOC也被解析到适当的字段中存储起来（所有威胁指数IOC将由工作流识别，一旦Swimlane的SOAR平台与其他工具集成，该平台自动将丰富数据并确定相关的风险级别）；

• 钓鱼邮件识别的工作流还将集成用户详细信息的验证功能，并在需要时将其他用户信息添加到记录中；

• 电子邮件中的附件或URL使用沙箱资源进行部署和评估；

• 工作流还使用模糊哈希（Fuzzy hashing）将数据与其他已知事件进行匹配；

• 从各种工具和资源返回的数据会立即添加到记录中；

• 工作流使用记录中的组合信息来确定总体风险评分以及网络钓鱼电子邮件是否应被视为恶意、可疑或正常邮件，如果整体风险很严重并且表明电子邮件是恶意的，则工作流会执行指定的响应和/或补救措施；

在此示例中，除了Swimlane的SOAR平台所承载的工作流以外，还包括以下步骤：

• 利用端点检测响应工具EDR来实现端点的自动隔离；

• 服务系统（Ticket system）自动生成和分配，以便使系统恢复到未感染状态；

• 向安全运营中心和用户通知最新进展；

三、威胁情报对于SOAR的意义

在Gartner创造“SOAR”之前，网络安全行业已经熟悉了术语“SAO”——安全自动化和编排平台。虽然两者在强调从孤立安全事件的管理转向集成模式的愿景是相似的，但它们之间存在显著差异。SAO平台缺少的是威胁情报和事件响应特定功能等项目，因此从本质上来说，SAO是一个自动化引擎，它完全依赖于与其他技术的集成来发挥任何作用。SOAR将SAO与威胁情报和事件响应能力相结合，为安全团队提供更智能、更完整的解决方案。因此威胁情报在整个SOAR平台中的作用非常重要。

01

威胁情报对安全分析决策的影响

大量安全数据的处理需求推动了安全运营的发展，需要对内部和外部安全数据进行集中化和标准化处理，这将为决策提供更好的分析依据，而决策是由情报决定的，整个分析决策链如图3所示：

图3  SOAR平台的分析决策链

决策制定下来之后，需要依赖自动化响应和工作流程，让网络安全运营团队借助可重复记录的自动化工具和工作流程，在有限人员应对攻击压力的同时，最大限度地提高工作的效率。SOAR如果部署正确，可以为组织提供了实施智能驱动的安全策略所需完整平台，而这种智能驱动的安全策略常常来源于威胁情报。

威胁情报不是原始数据，也不仅仅是信息——它是关于威胁的知识，安全人员可以用其来为决策提供信息，也可用来预测未来可能的发展情况或事件。

威胁情报本身并不单独存在，其诞生的目的就是为安全运营、战术和战略的决策提供信息，两者间的关系不是单向的，情报和行动作为安全运营部门的职能而言应该是循环和共生的：

• 情报为响应所需的行动决策提供信息，并根据决策采取行动；

• 行动完成后将产生相应的衍生产品——数据和信息，如目标或受影响资产的列表、已识别的恶意软件、基于网络的威胁指标（IOCs）、新观察到的攻击模式等，这些衍生品可以被提炼为情报，从而为未来的安全行动提供决策依据。

无论组织内部中是否有明确指定的威胁情报分析师，情报和运营之间的关系是基本的，并且存在于所有安全团队中。威胁情报可能是采取行动或启动流程的催化剂，并告知整个流程和决策是如何完成的。当威胁情报驱动组织精心策划的行动时，这些行动的结果可用于创建或增强现有的威胁情报。这样，就形成了一个反馈回路——威胁情报推动安全体系内部的协同，协同增强威胁情报。

02

情报驱动的编排

实施情报驱动的安全防御有着巨大的价值，但对于组织来说，要做好这件事，往往面临着某些重大的挑战。从根本上说，碎片化情报信息是这些挑战的根源。

分散在各种安全工具中的数据无法形成具备系统性价值的情报，这是由组织安全体系中不同安全组件成熟度不同造成的，这种碎片化是任何组织结构中的自然现象，特别是当组织变得太大或其IT流程变得太复杂时，就会发生这种情况，组织需要将跨信息系统、人员、技术和流程的碎片化信息整合起来，形成有效的情报。

在编排过程中SOAR平台需要不断去萃取弥合的内容包括[3]：

• 各类信息

为了将相关信息提炼为可用的情报，这些信息必须是相关的、丰富的和上下文相关的，安全运营人员可以通过为相关数据创建一个公共记录空间，以消除分割相关数据的孤岛。SOAR平台建设过程中将通过聚集内部和外部信息来做到这一点，以便将这些信息细化为可用于支撑决策的情报。内部威胁信息、运营中心SOC中的重要告警信息、用户行为分析信息等等都是整个信息反馈回路中最有价值的部分。

• 团队

像数据一样，组织内的各种职能团队需要从情报的公共获取空间获得相关信息，还需要能够与动态工作流无缝协作。SOAR平台通过不同团队间任务分配、创建并向其他职能部门传递情报，以及基于对组织的威胁为执行决策者创建报告等功能来实现不同团队与自动化流程的无缝对接。

• 技术

当今大多数组织都有一套非常异构且互不关联的安全防御技术，实现这些技术工具的协同行动，往往意味着协调信息技术和安全团队各个方面之间的关系。在这一过程中，SOAR必须能够在组织不断增长的应用程序和集成库中完成情报驱动的自动化安全运营。

• 流程

一旦组织内部消除了信息、人员和技术之间的孤岛，SOAR平台应能够简化组织的流程，利用内部和外部威胁情报来为组织安全运营团队提供行动信息，并从过去的经验中学习。

四、SOAR平台的建设

通过对SOAR平台重要功能的分析不难看出，SOAR平台架构的搭建离不开两个关键功能——集成和编排。SOAR可以提供一个组织安全系统的集成解决方案，通过SOAR平台设计能够实现将安全团队、安全运营过程和技术整合在一起，在架构搭建的过程中，安全团队需要将组件模块部署到不同层次，一方面完成安全工具的集成，一方面实现基于集成的安全工具对各种安全策略执行活动的编排。除此以外还要考虑自动化执行和响应功能，以及如何将上述环节无缝串联在一起。

01

关键环节需完成的工作

SOAR建设过程中各关键环节都需要一系列规划、设计和实施等工作，整个平台的建设过程是不停迭代的，很难一蹴而就。

• 安全工具集成

SOAR平台的开发多始于将不同安全工具无缝集成。根据组织的不同，安全工具可以是开源的、商业的或组织定制化专有的，集成过程通常需要完成对插件、脚本、应用编程接口和模块等不同形态组件对接。国外大多数SOAR供应商可以为150–200个安全工具提供基于插件和应用编程接口的集成支持，这些安全工具以多种格式生成数据，SOAR需要完成数据的统一，以实现安全工具之间的互操作性。

• 流程编排

SOAR的第二个关键任务是编排安全流程或事件响应流程（IRP）。IRP是由安全专家和安全工具执行的一系列活动。安全团队可以使用代码或脚本（通常被称为行动手册）来部署和实施组织IRP，这种行动手册将包含相应说明，能够使安全工具以某种方式进行互操作。整个流程中一个工具的输出被用作其他工具的输入，整个编排过程将尽量减少手动和重复任务来改进对安全事件的响应效率。

•  自动化响应

安全团队需要确定编排和自动化实施的内容，在此基础上进行验证、确定优先级、减少错误警报和检查访问控制授权等常见的通过流程编排自动化实施的活动。目前安全活动自动化的标准机制尚形成。

SOAR平台搭建完成除了需要依赖工具统一集成、剧本编排和自动化执行等关键环节，还需要考虑以下问题才能将上述关键环节串接起来：

• 集成机制（例如，应用编程接口、插件或模块）是完成安全工具集成的基础，也是编排过程实施的基础；

• 整个编排流程是由调用动作、调用工具的脚本和安全工具的响应系统共同完成的，对需特殊应对的安全事件，应设计一组专用的安全工具部署在组织的环境中。

• 安全事件响应根据组织的主要安全要求（如机密性、完整性和可用性）、策略和质量要求为安全事件设计IRP，在此基础上SOAR开发人员或剧本设计人员基于可用的安全工具和集成机制来设计和开发剧本。

整个实施流程的概念图如图4所示[5]：

图4  SOAR平台实施流程概念图

02

SOAR平台体系架构

整个SOAR的基本分层架构可分为六层，分别是安全工具层、集成层、数据处理层、语义分析层、自动化编排层以及和用户界面层。

每一层都可以分解成组件和子组件，这些组件是整个平台中较低层次的抽象。图2显示了核心组件和组件之间的交互，这些组件是实现SOAR平台的期望目标所必需的。SOAR平台的不同功能需要这些组件的不同组合，从某种意义上讲组件可以被视为SOAR执行安全流程或事件响应流程IRP中不同任务的主要计算元素。

图5  SOAR平台系统架构分层

（1）安全工具层

安全工具层由众多异构安全工具组成，这些工具通常是开源、专有、定制和商用产品的混合，这些工具构成了SOAR平台最底层的各种组件。鉴于大多数安全工具需要相互交互，深入理解安全工具的数据结构和功能对于将它们集成到SOAR平台是首先要完成的。

（2）集成层

集成层主要包含五类组件以帮助完成安全工具的集成，分别是集成管理器、包装器、工具注册表、插件库和应用编程接口API网关：

• 工具注册表负责发现和注册可用的安全工具，以监控其状态并在出现更改时进行报告，安全工具根据其功能（即输入、输出和功能）和类型进行注册。

• 包装器、API网关和插件是中间件，它们提供接口来封装需要数据转换或强制编排的安全工具。

• 集成管理器主要用来完成对集成后安全工具的管理，并提供信息以实现组件间的可解释性。集成管理器使用上述组件发起请求，并成为控制者命令的最终接收者。

（3）数据处理层

SOAR使用的信息范围从业务关键数据到数据处理层处理的系统日志、警报日志和恶意攻击活动数据。数据管理器、数据提取器和数据分析器是数据处理层的三个主要组成部分。数据管理器收集工具产生的数据进行分析，处理不同安全工具和行动手册的异构结构化和非结构化数据，实现工具间的互操作性和数据分析的可解释性。

在整个IRP执行过程中，数据处理层还负责帮助SOAR的不同组件之间共享语义结构化数据，整个数据共享和数据分析过程中，智能化算法或数据分析技术将作为数据分析器功能性能提升的重要部分。

（4）语义层

语义层负责对跨SOAR平台流动的数据进行语义解释。它由知识库、查询引擎和解释器组成：

• 知识库通常与威胁情报库密切相关，通常知识库能够将威胁情报中的情报信息转化成应对威胁的安全工具及其的能力，以及所实现的安全流程或事件响应IRP活动；

• 解释器能够从语义上建立安全工具能力与IRP活动之间对应的关联关系；

• 查询引擎负责从知识库中提取数据。

• 在SOAR的基本体系结构中，语义层可以与其他层分开，以使系统能够灵活地定义或修改安全工具能力。

（5）编排层

编排者和任务管理者一起完成了SOAR平台的整体协调工作，最终协调和形成配置，以实现互操作性和自动化IRP的执行。

流程编排人员需要有一套“行动手册”来自动执行IRP，并跟踪正在执行的任务。每个行动手册都包含一组任务、执行任务所需的输入、任务执行后生成输出的详细过程以及触发特定任务执行的条件，其中的任务可能会因系统要求和可用的安全工具类型而不同。任务管理人员需要监控任务能否成功执行，并使用一组API接口来控制IRP的执行，流程编排人员提供一组应用编程接口，用户可以通过这些接口更新或修改编排流程。

（6）用户界面层

安全人员使用SOAR的用户界面（如交互式仪表盘、集成开发环境或命令行界面）来启动现有的内部审查程序或定义新的计划。灵活的用户界面设计将有助于定义内部参考点和集成安全工具，安全运营人员可以使用用户界面轻松操作一个SOAR平台。抽象层或应用编程接口层可以作为用户界面层的一部分来实现，以维护和封装SOAR用户及其组件之间的交互。（中孚信息北京研究院：冯静、 李玲）

 往期推荐