网络安全：机器学习+人工智能=可操作的智能
The following article is from 网电空间战 Author 网络小子
前沿君微信：tech9999 手机：18501361766
转自：网电空间战（cyberspaceoperations）
作者：Smit Kadakia，Seceon联合创始人
人工智能的目标是使计算机的开发能够完成通常由人们完成的事情，特别是与与人们的智能行为相关的事情。就网络安全而言，其最实际的应用是使人类密集型任务自动化，以跟上攻击者的步伐！有些组织已经开始在网络安全应用中使用人工智能来防御攻击者。但是，就其本身而言，人工智能最适合用来识别“哪里出了问题”。
对于当今的企业而言，这仅仅是防御攻击者所面临挑战的一半。当今的企业不仅需要了解面对漏洞时的“错在哪里”，还需要了解“为什么错在哪里”和“如何解决！”，这是通过将人工智能与机器学习相结合来分析和解释动作以及为了预测攻击方式并建议采取行动以阻止运动中的威胁的行为，技术人员已经设计出一种生成可行情报的方法。本文将试图解释如何将人工智能和机器学习用于实时保护企业的实际效果。
机器学习（ML）和人工智能（AI）自上世纪下半叶以来一直以一种或另一种形式出现，但在过去几年中改变我们的日常生活的步伐和适用性显着提高。如今，包括ML和AI在内的数据科学已经独立发展，成为教育界的一门重要学科。
商业利益相关者也认识到该学科的重要性，并一直在利用当代数据科学方法来挖掘有价值的信息，做出更明智的商业决策并利用现有或新收集的信息来探索新的机会。
过去几十年的互联网和移动革命已帮助产生了大量有价值的信息，并有可能从其收藏中得出关键的行为和结构见解。自然地，人们高度连接的世界，他们使用的设备以及促进专业和社会层面合作的机制极大地帮助了信息收集。但是，伴随着这些好处的是，暴露此信息的阴暗面使信息对社会的不良因素开放以作无意使用，例如通过勒索软件和恶意软件类型的网络安全攻击进行金融利用。
面对这些攻击，技术人员已开始开发网络安全防御技术的组合，这些技术依赖于大量实时网络，应用程序和用户交互以及行为数据的收集。数据科学技术的这种混合是如何在网络安全中利用ML和AI学科来主动阻止此类攻击的关键。
那么，机器学习和人工智能有何不同？他们如何利用互动和行为，为什么如此重要？
机器学习可以广义地定义为一种基于数学和统计学的算法的集中方法，旨在通过人类可能不容易完成的经验或学习来提高特定任务的性能。另一方面，人工智能可以定义为一种针对计算机的集中工程方法，以完成我们作为人们可以自然完成的任务，但是可以毫无错误地执行它们，有时甚至更快。
Change.org的Andy Veluswami表达了一个有远见的见解，他说：“我们将度过一天，我希望很快，机器不仅智能，而且也很聪明，而且它们具有背景。一旦我们开始到达那里，而且已经存在，我们将开始取得更大的进步。”我们都直观地知道这种变化正在我们周围发生，但是，这种发展的实际方面，例如翻译学习成为“可行情报”，是当今网络安全从业人员必须具备的关键要求。
那么，我们如何定义什么是网络安全防御中的可行情报？
在机器学习的研究中，重点是有监督和无监督学习。（我们不会在本文中考虑深度学习。）监督学习和无监督学习的许多方面都要求已知异常可用于学习，然后使用经过训练的模型预测测试数据中的异常，然后通过技术对其进行微调。例如交叉验证。在网络安全中，通常是在大量正常流量或行为中寻找异常情况。这种特性使异常检测成为一个非常棘手的问题，例如在大海捞针中寻找针头。此外，期望电子商务中的一个行业中异常数据点的培训适用于医疗保健数据中心等另一行业是不现实的。另外，现代攻击更加复杂，它们隐藏在许多错误攻击中，无法击败威胁检测系统。这种复杂性使得为所有目标行业识别异常的培训数据点变得艰巨。获取训练数据点的缺乏或困难使无监督学习成为网络防御领域的必要条件。
鉴于此类环境需要无监督的学习，因此必须思考其陷阱，认识到对异常的预测不会增加误报或损害准确性。各种方法都用于评估混淆矩阵的准确性，敏感性等，例如Matthews相关系数，但是，在实践中很难始终如一地从矩阵中获得良好的度量，这表明不仅需要机器学习以获得理想的结果。可以采用多种方法，但是最终结果必须是算法的可行结果，且噪声要最小。这就是AI发挥作用的地方。
2016年4月，麻省理工学院计算机科学与人工智能实验室（CSAIL）的研究人员展示了一个名为AI2的人工智能平台，该平台通过不断整合人类专家的意见，预测网络攻击明显优于现有系统。该发现背后的前提是，它只需要一套无监督的算法，并需要专家安全分析人员的反馈，即可开发出一种基于AI的算法，可以准确地检测到威胁。这也是一个好方法，但是这些专家安全分析师的服务在时间和金钱上都付出了巨大的代价。
此外，许多ML算法在引入威胁并利用此漏洞后很久就表明了威胁。例如，聚类算法可以在分析模式历史之后检测到威胁，并指示发生的异常已经在历史中的某个时候引入了网络或子网中。一旦您部署了一支由安全操作人员组成的部队，然后深入研究异常的根本原因，然后加以解决，这些威胁发现将非常有用。这听起来不错，但到安全操作人员确定根本原因时，异常现象可能已经蔓延，需要进行更广泛的调查，同时增加预算并延迟响应时间。
显然，希望能够实时识别发生的威胁，并提供其发生地点的详细信息。此外，还应提供得出此结论的方法，以使理解和快速行动以解决根本原因具有额外的好处。这种可行的情报必须降低应对威胁所需的技能。此外，在高度发达的系统中，它必须消除与人员接触的需要，提供及时的情报以防止任何进一步的损害，减少采取纠正措施所需的时间，或减少所有措施的良好组合以最大程度地减少操作同时将组织置于攻击者计划之前的成本。
从本质上讲，这种可操作的情报必须通过从攻击和响应行为中学习，来灌输用户对预防未来攻击的信心。实时可行的情报不仅应有助于快速分析，还应帮助组织更快，更彻底地从情报中学习，从而更好地防御尚未发生的攻击。
我们经营的时代是这样的系统，现在正在与进取的初创公司和供应商一起开发这种系统，并且可以早期使用。大数据平台和相关技术的出现使这一切成为可能。预计这些系统将主导全球许多精英组织的网络防御工作，并将在网络安全的最前沿写下新的篇章。英特尔公司传感与洞察力企业战略办公室高级研究员副总裁Genevieve Bell在她最近的演讲中说：“人工智能是计算领域的下一波浪潮。就像之前的重大变革一样，人工智能也有望迎来一个更美好的世界。
| 一网打尽系列文章，请回复以下关键词查看： |
|---|
| 创新发展：习近平 | 创新中国 | 创新创业 | 科技体制改革 | 科技创新政策 | 协同创新 | 科研管理 | 成果转化 | 新科技革命 | 基础研究 | 产学研 | 供给侧 |
| 热点专题：军民融合 | 民参军 | 工业4.0 | 商业航天 | 智库 | 国家重点研发计划 | 基金 | 装备采办 | 博士 | 摩尔定律 | 诺贝尔奖 | 国家实验室 | 国防工业 | 十三五 | 创新教育 | 军工百强 | 试验鉴定 | 影响因子 | 双一流 | 净评估 | 大学排名 |
| 预见未来：预见2016 |预见2020 | 预见2025 | 预见2030 | 预见2035 | 预见2045 | 预见2050 |
| 前沿科技：颠覆性技术 | 生物 | 仿生 | 脑科学 | 精准医学 | 基因 | 基因编辑 | 虚拟现实 | 增强现实 | 纳米 | 人工智能 | 机器人 | 3D打印 | 4D打印 | 太赫兹 | 云计算 | 物联网 | 互联网+ | 大数据 | 石墨烯 | 能源 | 电池 | 量子 | 超材料 | 超级计算机 | 卫星 | 北斗 | 智能制造 | 不依赖GPS导航 | 通信 | 5G | MIT技术评论 | 航空发动机 | 可穿戴 | 氮化镓 | 隐身 | 半导体 | 脑机接口 | 传感器 |
| 先进武器：中国武器 | 无人机 | 轰炸机 | 预警机 | 运输机 | 直升机 | 战斗机 | 六代机 | 网络武器 | 激光武器 | 电磁炮 | 高超声速武器 | 反无人机 | 防空反导 | 潜航器 |
| 未来战争：未来战争 | 抵消战略 | 水下战 | 网络空间战 | 分布式杀伤 | 无人机蜂群 | 太空战 | 反卫星 |
| 领先国家：美国 | 俄罗斯 | 英国 | 德国 | 法国 | 日本 | 以色列 | 印度 |
| 前沿机构：战略能力办公室 | DARPA | 快响小组 | Gartner | 硅谷 | 谷歌 | 华为 | 阿里 | 俄先期研究基金会 | 军工百强 |
| 前沿人物：钱学森 | 马斯克 | 凯文凯利 | 任正非 | 马云 | 奥巴马 | 特朗普 |
| 专家专栏：黄志澄 | 许得君 | 施一公 | 王喜文 | 贺飞 | 李萍 | 刘锋 | 王煜全 | 易本胜 | 李德毅 | 游光荣 | 刘亚威 | 赵文银 | 廖孟豪 | 谭铁牛 | 于川信 | 邬贺铨 |
| 全文收录：2019文章全收录 | 2018文章全收录 | 2017文章全收录 | 2016文章全收录 | 2015文章全收录 | 2014文章全收录 |
| 其他主题系列陆续整理中，敬请期待…… |