网络安全态势感知
一次性进群，长期免费索取教程，没有付费教程。
教程列表见微信公众号底部菜单
进微信群回复公众号：微信群；QQ群：16004488
微信公众号：计算机与网络安全
ID：Computer-network
一、引言
态势感知是一种基于环境的、动态、整体地洞悉安全风险的能力，是以安全大数据为基础，从全局视角提升对安全威胁的发现识别、理解分析、响应处置能力的一种方式，最终是为了决策与行动，是安全能力的落地。
态势感知的概念最早在军事领域被提出，覆盖感知、理解和预测三个层次。并随着网络的兴起而升级为“网络态势感知（Cyberspace Situation Awareness，CSA）”。旨在大规模网络环境中对能够引起网络态势发生变化的安全要素进行获取、理解、显示以及最近发展趋势的顺延性预测，进而进行决策与行动。
随着计算机和通信技术的迅速发展， 计算机网络的应用越来越广泛， 其规模越来越庞大， 多层面的网络安全威胁和安全风险也在不断增加， 网络病毒、 Dos/DDos攻击等构成的威胁和损失越来越大， 网络攻击行为向着分布化、 规模化、 复杂化等趋势发展， 仅仅依靠防火墙、 入侵检测、 防病毒、 访问控制等单一的网络安全防护技术， 已不能满足网络安全的需求， 迫切需要新的技术， 及时发现网络中的异常事件， 实时掌握网络安全状况， 将之前很多时候亡羊补牢的事中、 事后处理，转向事前自动评估预测， 降低网络安全风险， 提高网络安全防护能力。
网络安全态势感知技术能够综合各方面的安全因素， 从整体上动态反映网络安全状况， 并对网络安全的发展趋势进行预测和预警。 大数据技术特有的海量存储、 并行计算、 高效查询等特点， 为大规模网络安全态势感知技术的突破创造了机遇， 借助大数据分析， 对成千上万的网络日志等信息进行自动分析处理与深度挖掘， 对网络的安全状态进行分析评价， 感知网络中的异常事件与整体安全态势。
二、背景
“态势感知（Situation Awareness，SA）”严格说并不是一个新名词。早在20世纪80年代，美国空军就提出了态势感知的概念，覆盖感知（感觉）、理解和预测三个层次。90年代，态势感知的概念开始被逐渐被接受，并随着网络的兴起而升级为“网络态势感知（Cyberspace Situation Awareness，CSA）”，是指在大规模网络环境中对能够引起网络态势发生变化的安全要素进行获取、理解、显示以及最近发展趋势的顺延性预测，而最终的目的是要进行决策与行动。
随着网络安全重要性的凸显，态势感知开始在网络安全领域展露头角。2009年，美国白宫在公布的网络空间安全战略文件中明确提出要构建态势感知能力，并梳理出具备态势感知能力和职责的国家级网络安全中心或机构，包含了国家网络安全中心（NCSC）、情报部门、司法与反间谍部门、US-CERT、网络作战部门的网络安全中心（Cybersecurity Center）等，覆盖了国家安全、情报、司法、公私合作等各个领域。
2016年4月19日，习总书记在与网络安全业界人士座谈会上明确指出：“加快构建关键信息基础设施安全保障体系，全天候全方位感知网络安全态势，增强网络安全防御能力和威慑能力。”全天候全方位感知网络安全态势。知己知彼，才能百战不殆。没有意识到风险是最大的风险。网络安全具有很强的隐蔽性，一个技术漏洞、安全风险可能隐藏几年都发现不了，结果是“谁进来了不知道、是敌是友不知道、干了什么不知道”，长期“潜伏”在里面，一旦有事就发作了。
现阶段面对传统安全防御体系失效的风险，态势感知能够全面感知网络安全威胁态势、洞悉网络及应用运行健康状态、通过全流量分析技术实现完整的网络攻击溯源取证，帮助安全人员采取针对性响应处置措施。
所以态势感知系统应该具备网络空间安全持续监控能力，能够及时发现各种攻击威胁与异常；具备威胁调查分析及可视化能力，可以对威胁相关的影响范围、攻击路径、目的、手段进行快速判别，从而支撑有效的安全决策和响应；能够建立安全预警机制，来完善风险控制、应急响应和整体安全防护的水平。
习近平总书记在去年的419座谈会上提出：“安全是发展的前提，发展是安全的保障，安全和发展要同步推进。要树立正确的网络安全观，加快构建关键信息基础设施安全保障体系，全天候全方位感知网络安全态势，增强网络安全防御能力和威慑能力。”，随着《网络安全法》和《国家网络安全战略》的相继出台，态势感知被提升到了战略高度，众多大行业、大型企业都开始倡导、建设和积极应用态势感知系统，以应对网络空间安全严峻挑战。
如今，“态势感知”已经成为网络空间安全领域聚焦的热点，也成为网络安全技术、产品、方案不断创新、发展、演进的汇集体现，更代表了当前网络安全攻防对抗的最新趋势。
三、相关概念
网络态势感知
态势感知（Situation Awareness， SA） 的概念是1988年Endsley提出的， 态势感知是在一定时间和空间内对环境因素的获取， 理解和对未来短期的预测。 整个态势感知过程可由下图所示的三级模型直观地表示出来。
所谓网络态势是指由各种网络设备运行状况、 网络行为以及用户行为等因素所构成的整个网络当前状态和变化趋势。
网络态势感知（Cyberspace Situation Awareness，CSA） 是1999年Tim Bass首次提出的， 网络态势感知是在大规模网络环境中， 对能够引起网络态势发生变化的安全要素进行获取、 理解、 显示以及预测最近的发展趋势。
态势是一种状态、 一种趋势， 是整体和全局的概念， 任何单一的情况或状态都不能称之为态势。 因此对态势的理解特别强调环境性、 动态性和整体性， 环境性是指态势感知的应用环境是在一个较大的范围内具有一定规模的网络； 动态性是态势随时间不断变化， 态势信息不仅包括过去和当前的状态， 还要对未来的趋势做出预测； 整体性是态势各实体间相互关系的体现，某些网络实体状态发生变化， 会影响到其他网络实体的状态， 进而影响整个网络的态势。
网络安全态势感知
网络安全态势感知就是利用数据融合、 数据挖掘、智能分析和可视化等技术， 直观显示网络环境的实时安全状况， 为网络安全提供保障。 借助网络安全态势感知， 网络监管人员可以及时了解网络的状态、 受攻击情况、 攻击来源以及哪些服务易受到攻击等情况， 对发起攻击的网络采取措施； 网络用户可以清楚地掌握所在网络的安全状态和趋势， 做好相应的防范准备， 避免和减少网络中病毒和恶意攻击带来的损失； 应急响应组织也可以从网 络安全态势中了解所服务网络的安全状况和发展趋势， 为制定有预见性的应急预案提供基础。
四、相关技术
对于大规模网络而言， 一方面网络节点众多、 分支复杂、 数据流量大， 存在多种异构网络环境和应用平台； 另一方面网络攻击技术和手段呈平台化、 集成化和自 动化的发展趋势， 网络攻击具有更强的隐蔽性和更长的潜伏时间， 网络威胁不断增多且造成的损失不断增大。 为了实时、 准确地显示整个网络安全态势状况， 检测出潜在、 恶意的攻击行为， 网络安全态势感知要在对网络资源进行要素采集的基础上， 通过数据预处理、 网络安全态势特征提取、 态势评估、 态势预测和态势展示等过程来完成， 这其中涉及许多相关的技术问题， 主要包括数据融合技术、 数据挖掘技术、 特征提取技术、 态势预测技术和可视化技术等。
数据融合技术
由于网络空间态势感知的数据来自众多的网络设备， 其数据格式、 数据内容、 数据质量千差万别， 存储形式各异， 表达的语义也不尽相同。 如果能够将这些使用不同途径、 来源于不同网络位置、 具有不同格式的数据进行预处理， 并在此基础上进行归一化融合操作，就可以为网络安全态势感知提供更为全面、 精准的数据源， 从而得到更为准确的网络态势。 数据融合技术是一个多级、 多层面的数据处理过程， 主要完成对来自网络中具有相似或不同特征模式的多源信息进行互补集成， 完成对数据的自动监测、 关联、 相关、 估计及组合等处理， 从而得到更为准确、 可靠的结论。 数据融合按信息抽象程度可分为从低到高的三个层次： 数据级融合、 特征级融合和决策级融合， 其中特征级融合和决策级融合在态势感知中具有较为广泛的应用。
数据挖掘技术
网络安全态势感知将采集的大量网络设备的数据经过数据融合处理后， 转化为格式统一的数据单元。这些数据单元数量庞大， 携带的信息众多， 有用信息与无用信息鱼龙混杂， 难以辨识。 要掌握相对准确、 实时的网络安全态势， 必须剔除干扰信息。 数据挖掘就是指从大量的数据中挖掘出有用的信息， 即从大量的、 不完全的、 有噪声的、 模糊的、 随机的实际应用数据中发现隐含的、 规律的、 事先未知的， 但又有潜在用处的并且最终可理解的信息和知识的非平凡过程（ NontrivialProcess） [1 ]。 数据挖掘可分为描述性挖掘和预测性挖掘， 描述性挖掘用于刻画数据库中数据的一般特性； 预测性挖掘在当前数据上进行推断， 并加以预测。 数据挖掘方法主要有： 关联分析法、 序列模式分析法、 分类分析法和聚类分析法。 关联分析法用于挖掘数据之间的联系； 序列模式分析法侧重于分析数据间的因果关系；分类分析法通过对预先定义好的类建立分析模型， 对数据进行分类， 常用的模型有决策树模型、 贝叶斯分类模型、 神经网络模型等； 聚类分析不依赖预先定义好的类， 它的划分是未知的， 常用的方法有模糊聚类法、 动态聚类法、 基于密度的方法等。
特征提取技术
网络安全态势特征提取技术是通过一系列数学方法处理， 将大规模网络安全信息归并融合成一组或者几组在一定值域范围内的数值， 这些数值具有表现网络实时运行状况的一系列特征， 用以反映网络安全状况和受威胁程度等情况。 网络安全态势特征提取是网络安全态势评估和预测的基础， 对整个态势评估和预测有着重要的影响， 网络安全态势特征提取方法主要有层次分析法、 模糊层次分析法、 德尔菲法和综合分析法。
态势预测技术
网络安全态势预测就是根据网络运行状况发展变化的实际数据和历史资料， 运用科学的理论、 方法和各种经验、 判断、 知识去推测、 估计、 分析其在未来一定时期内可能的变化情况， 是网络安全态势感知的一个重要组成部分。 网络在不同时刻的安全态势彼此相关， 安全态势的变化有一定的内部规律， 这种规律可以预测网络在将来时刻的安全态势， 从而可以有预见性地进行安全策略的配置， 实现动态的网络安全管理， 预防大规模网络安全事件的发生。 网络安全态势预测方法主要有神经网络预测法、 时间序列预测法、 基于灰色理论预测法。
可视化技术
网络安全态势生成是依据大量数据的分析结果来显示当前状态和未来趋势， 而通过传统的文本或简单图形表示， 使得寻找有用、 关键的信息非常困难。 可视化技术是利用计算机图形学和图像处理技术， 将数据转换成图形或图像在屏幕上显示出来， 并进行交互处理的理论、 方法和技术。 它涉及计算机图形学、 图像处理、 计算机视觉、 计算机辅助设计等多个领域。 目前已有很多研究将可视化技术和可视化工具应用于态势感知领域， 在网络安全态势感知的每一个阶段都充分利用可视化方法， 将网络安全态势合并为连贯的网络安全态势图， 快速发现网络安全威胁， 直观把握网络安全状况。
五、基于多源日志的网络安全态势感知
随着网络规模的扩大以及网 络攻击复杂度的增加， 入侵检测、 防火墙、 防病毒、 安全审计等众多的安全设备在网络中得到广泛的应用， 虽然这些安全设备对网络安全发挥了一定的作用， 但存在着很大的局限，主要表现在： 一是各安全设备的海量报警和日志， 语义级别低， 冗余度高， 占用存储空间大， 且存在大量的误报， 导致真实报警信息被淹没。 二是各安全设备大多功能单一， 产生的报警信息格式各不相同， 难以进行综合分析整理， 无法实现信息共享和数据交互， 致使各安全设备的总体防护效能无法得以充分的发挥。 三是各安全设备的处理结果仅能单一体现网络某方面的运行状况， 难以提供全面直观的网络整体安全状况和趋势信息。 为了有效克服这些网络安全管理的局限， 我们提出了基于多源日志的网络安全态势感知。
基于多源日志的网络安全态势感知要素获取
基于多源日志的网络安全态势感知是对部署在网络中的多种安全设备提供的日志信息进行提取、 分析和处理， 实现对网络态势状况进行实时监控， 对潜在的、恶意的网络攻击行为进行识别和预警， 充分发挥各安全设备的整体效能， 提高网络安全管理能力。
基于多源日志的网络安全态势感知主要采集网络入口处防火墙日志、 入侵检测日志， 网络中关键主机日志以及主机漏洞信息， 通过融合分析这些来自不同设备的日志信息， 全面深刻地挖掘出真实有效的网络安全态势相关信息， 与仅基于单一日志源分析网络的安全态势相比， 可以提高网络安全态势的全面性和准确性。
利用大数据进行多源日志分析处理
基于多源日志的网络安全态势感知采集了多种安全设备上以多样的检测方式和事件报告机制生成的海量数据， 而这些原始的日 志信息存在海量、 冗余和错误等缺陷， 不能作为态势感知的直接信息来源， 必须进行关联分析和数据融合等处理。 采用什么样的技术才能快速分析处理这些海量且格式多样的数据？
大数据的出现， 扩展了计算和存储资源， 大数据自身拥有的Variety支持多类型数据格式、 Volume大数据量存储、Velocity快速处理三大特征， 恰巧是基于多源日志的网络安全态势感知分析处理所需要的。 大数据的多类型数据格式， 可以使网络安全态势感知获取更多类型的日志数据， 包括网络与安全设备的日志、 网络运行情况信息、 业务与应用的日志记录等； 大数据的大数据量存储正是海量日志存储与处理所需要的； 大数据的快速处理为高速网络流量的深度安全分析提供了技术支持， 为高智能模型算法提供计算资源。 因此， 我们利用大数据所提供的基础平台和大数据量处理的技术支撑， 进行网络安全态势的分析处理。
关联分析
网络中的防火墙日志和入侵检测日志都是对进入网络的安全事件的流量的刻画， 针对某一个可能的攻击事件， 会产生大量的日志和相关报警记录，这些记录存在着很多的冗余和关联， 因此首先要对得到的原始日志进行单源上的关联分析， 把海量的原始日志转换为直观的、 能够为人所理解的、 可能对网络造成危害的安全事件。 基于多源日志的网络安全态势感知采用基于相似度的报警关联， 可以较好地控制关联后的报警数量， 有利于减少复杂度。 其处理过程是： 首先提取报警日志中的主要属性， 形成原始报警； 再通过重复报警聚合， 生成聚合报警； 对聚合报警的各个属性定义相似度的计算方法， 并分配权重； 计算两个聚合报警的相似度， 通过与相似度阀值的比较， 来决定是否对聚合报警进行超报警； 最终输出属于同一类报警的地址范围和报警信息， 生成安全事件。
融合分析
多源日志存在冗余性、 互补性等特点，态势感知借助数据融合技术， 能够使得多个数据源之间取长补短， 从而为感知过程提供保障， 以便更准确地生成安全态势。 经过单源日志报警关联过程， 分别得到各自的安全事件。 而对于来自防火墙和入侵检测日志的的多源安全事件， 采用D-S证据理论（由Dempster于1967年提出， 后由Shafer于1976年加以推广和发展而得名） 方法进行融合判别， 对安全事件的可信度进行评估， 进一步提高准确率， 减少误报。 D-S证据理论应用到安全事件融合的基本思路： 首先研究一种切实可行的初始信任分配方法， 对防火墙和入侵检测分配信息度函数； 然后通过D-S的合成规则， 得到融合之后的安全事件的可信度。
态势要素分析
通过对网络入口处安全设备日志的安全分析， 得到的只是进入目 标网络的可能的攻击信息， 而真正对网络安全状况产生决定性影响的安全事件， 则需要通过综合分析攻击知识库和具体的网络环境进行最终确认。 主要分为三个步骤： 一是通过对大量网络攻击实例的研究， 得到可用的攻击知识库， 主要包括各种网络攻击的原理、 特点， 以及它们的作用环境等； 二是分析关键主机上存在的系统漏洞和承载的服务的可能漏洞， 建立当前网络环境的漏洞知识库， 分析当前网络环境的拓扑结构、 性能指标等， 得到网络环境知识库； 三是通过漏洞知识库来确认安全事件的有效性， 也即对当前网络产生影响的网络攻击事件。 在网络安全事件生成和攻击事件确认的过程中， 提取出用于对整个网络安全态势进行评估的态势要素， 主要包括整个网络面临的安全威胁、 分支网络面临的安全威胁、 主机受到的安全威胁以及这些威胁的程度等。
六、应用方向
监管机构：从国家层面、省市大地域层面，对国计民生相关的关键信息基础设施的安全态势进行整体的监测与关注。
大型行业：从体系内部建立态势感知，应用于内部系统的安全运营，发现重要威胁，解决问题，把安全能力落地；通过态势感知对多分支或二级单位进行外部监管，以提升整体的安全状态的掌握，同时与监管机构进行事件应急处置及威胁情报的合作。
大型机构或企业：从日常安全工作角度出发，对内部有价值的核心资产、业务系统安全状态进行感知，发现各类威胁与内部异常违规，保证业务系统能够比较平稳、顺畅地运行，更偏内部安全的运营型能力的落地。
七、建设目的
检测：提供网络安全持续监控能力，及时发现各种攻击威胁与异常，特别是针对性攻击。
分析、响应：建立威胁可视化及分析能力，对威胁的影响范围、攻击路径、目的、手段进行快速研判，目的是有效的安全决策和响应。
预测、预防：建立风险通报和威胁预警机制，全面掌握攻击者目的、技战术、攻击工具等信息。
防御：利用掌握的攻击者相关目的、技战术、攻击工具等情报，完善防御体系。
八、应用价值
应对关键性威胁：快速发现失陷主机；全面的Web安全保障。
提升分析研判能力：分析研判保障事件正确响应处置、逐步完善防御架构；依赖外部威胁情报和本地的流量日志进行有效的分析研判。
信息与情报共享：实现本行业、本领域的网络安全监测预警和信息通报；研判分析和情报共享是预警、预测的基础。
履行行业监管职责：边界流量探针、云监控和外部情报监测等优选检测手段，实现对行业的监管。
往期相关内容回顾
▼
微信公众号：计算机与网络安全
ID：Computer-network