一种无需解密即可分析流量的系统。 这种方法简称为“机器学习”。 事实证明，如果将大量的各种流量输入特殊分类器，系统就能以非常高的概率检测到加密流量中恶意代码的行为。
在线威胁已经发生变化并且变得更加智能。 最近，攻击和防御的概念发生了变化。 网络上的事件数量显着增加。 攻击变得更加复杂，黑客的影响范围也更广。
根据思科的统计数据，在过去的一年中，攻击者用于活动的恶意软件数量增加了两倍，或者更确切地说，用于隐藏恶意软件的加密数量增加了两倍。 从理论上讲，“正确”的加密算法是无法被破解的。 为了了解加密流量中隐藏的内容，有必要在知道密钥的情况下对其进行解密，或者尝试使用各种技巧进行解密，或者直接进行黑客攻击，或者使用加密协议中的某种漏洞。
我们这个时代的网络威胁图景
机器学习
亲自了解技术！ 在谈论基于机器学习的解密技术本身如何工作之前，有必要先了解一下神经网络技术的工作原理。
机器学习是人工智能的一个广泛的分支，研究构建可以学习的算法的方法。 这门科学的目的是创建“训练”计算机的数学模型。 学习的目的是预测某些事情。 在人类的理解中，我们称这个过程为单词 “智慧”。 智慧体现在活了相当长的时间的人身上（两岁的孩子不可能有智慧）。 当我们向资深同志请教时，我们会向他们提供一些有关事件的信息（输入数据）并寻求他们的帮助。 反过来，他们会记住生活中与您的问题（知识库）相关的所有情况，并根据这些知识（数据）为我们提供一种预测（建议）。 这种类型的建议开始被称为预测，因为提供建议的人并不确切知道会发生什么，而只是假设。 生活经验告诉我们，一个人可能是对的，也可能是错的。
您不应该将神经网络与分支算法（if-else）进行比较。 这些是不同的事情，并且存在关键差异。 分支算法对要做什么有一个清晰的“理解”。 我将用例子来演示。
任务。 根据汽车的品牌和制造年份确定汽车的制动距离。
分支算法的一个例子。 如果汽车是品牌 1 并且于 2012 年发布，则其制动距离为 10 米，否则，如果汽车是品牌 2 并且于 2011 年发布，依此类推。
神经网络的一个例子。 我们收集过去 20 年的汽车制动距离数据。 按品牌和年份，我们编制了“制造年份-制动距离”形式的表格。 我们将这张表发送给神经网络并开始训练它。 训练如下进行：我们将数据输入神经网络，但没有制动路径。 神经元尝试根据加载到其中的表格来预测制动距离。 预测某事并询问用户“我对吗？” 在提问之前，她创建了第四栏，即猜测栏。 如果她是对的，那么她在第四列中写下 1；如果她错了，她就写下 0。神经网络将继续处理下一个事件（即使它犯了错误）。 这就是网络学习的方式，当训练完成（达到一定的收敛标准）时，我们提交我们感兴趣的汽车的数据，最终得到答案。
为了消除有关收敛标准的问题，我将解释这是一个数学推导的统计公式。 两个不同收敛公式的引人注目的例子。 红色——二值收敛，蓝色——正常收敛。
二项式和正态概率分布
为了更清楚地说明问题，问“遇到恐龙的概率是多少？” 这里有两个可能的答案。 选项 2 – 非常小（蓝色图）。 选项 1 – 要么开会，要么不开会（红色图）。
当然，计算机不是人，它的学习方式也不同。 铁马训练有两种： 基于案例的学习 и 演绎学习.
先例教学是利用数学定律进行教学的一种方式。 数学家收集统计表，得出结论并将结果加载到神经网络中——计算公式。
演绎学习——学习完全发生在神经元中（从数据收集到分析）。 这里形成的表格没有公式，但有统计数据。
对这项技术的广泛概述还需要几十篇文章。 目前，这对于我们的一般理解来说已经足够了。
神经可塑性
生物学中有这样一个概念——神经可塑性。 神经可塑性是神经元（脑细胞）“根据情况”采取行动的能力。 例如，失明的人可以更好地听到声音、闻到气味并感知物体。 发生这种情况是因为大脑中负责视觉的部分（神经元的部分）将其工作重新分配给其他功能。
BrainPort 棒棒糖是生活中神经可塑性的一个引人注目的例子。
2009年，威斯康星大学麦迪逊分校宣布推出一款新设备，该设备开发了“语言显示”的想法——它被称为BrainPort。 BrainPort按照以下算法工作：视频信号从摄像头发送到处理器，处理器控制变焦、亮度和其他图片参数。 它还将数字信号转换为电脉冲，从本质上接管视网膜的功能。
戴着眼镜和相机的 BrainPort 棒棒糖
工作中的 BrainPort
与电脑相同。 如果神经网络感知到过程中的变化，它就会适应它。 与其他算法相比，这是神经网络的关键优势——自主性。 一种人性。
加密流量分析
加密流量分析是 Stealthwatch 系统的一部分。 Stealthwatch 是思科推出的安全监控和分析解决方案，它利用现有网络基础设施中的企业遥测数据。
Stealthwatch Enterprise 基于流量许可证、流量收集器、管理控制台和流量传感器工具。
思科 Stealthwatch 接口
由于越来越多的流量开始加密，加密问题变得非常严重。 以前，只有代码（大部分）被加密，但现在所有流量都被加密，将“干净”数据与病毒分开变得更加困难。 一个引人注目的例子是 WannaCry，它使用 Tor 来隐藏其在线存在。
网络流量加密增长的可视化
宏观经济学中的加密
加密流量分析 (ETA) 系统对于处理加密流量而不解密它是必需的。 攻击者很聪明，并使用抗加密的加密算法，破解它们不仅是一个问题，而且对组织来说代价极其高昂。
该系统的工作原理如下。 一些流量来到公司。 它属于 TLS（传输层安全）。 假设流量是加密的。 我们正在尝试回答一些有关所建立的联系类型的问题。
加密流量分析 (ETA) 系统的工作原理
为了回答这些问题，我们在该系统中使用机器学习。 思科进行了研究，并根据这些研究根据 2 个结果创建了一个表格 - 恶意流量和“良好”流量。 当然，我们并不能确定当前时刻直接进入系统的流量有哪些，但我们可以利用世界舞台的数据来追踪公司内部和外部的流量历史。 在这个阶段结束时，我们得到一个包含数据的巨大表格。
根据研究结果，识别出特征——可以用数学形式写下来的某些规则。 这些规则将根据不同的标准（传输文件的大小、连接类型、流量来自的国家/地区等）而有很大差异。 工作的结果是，巨大的桌子变成了一堆公式。 虽然数量较少，但这还不足以舒适地工作。
接下来，应用机器学习技术 - 公式收敛，根据收敛的结果，我们得到一个触发器 - 一个开关，当输出数据时，我们得到一个处于升高或降低位置的开关（标志）。
最终阶段是获取一组覆盖 99% 流量的触发器。
ETA中的交通检查步骤
这项工作的结果是解决了另一个问题——来自内部的攻击。 不再需要中间的人手动过滤流量（我现在已经淹死了）。 首先，你不再需要花很多钱请一个称职的系统管理员（我继续淹死自己）。 其次，不存在来自内部（至少部分）的黑客攻击的危险。
过时的中间人概念
现在，让我们弄清楚这个系统是基于什么。
该系统基于 4 种通信协议运行：TCP/IP – 互联网数据传输协议、DNS – 域名服务器、TLS – 传输层安全协议、SPLT（SpaceWire 物理层测试仪） – 物理通信层测试仪。
与 ETA 配合使用的协议
比较是通过比较数据来进行的。 使用 TCP/IP 协议检查站点的声誉（访问历史记录、创建站点的目的等），借助 DNS 协议，我们可以丢弃“不良”站点地址。 TLS 协议与站点的指纹配合使用，并根据计算机紧急响应团队 (cert) 验证站点。 检查连接的最后一步是物理级别的检查。 该阶段的细节没有具体说明，但要点如下：检查示波装置上数据传输曲线的正弦和余弦曲线，即由于物理层请求的结构，我们可以确定连接的目的。
通过系统的运行，我们可以从加密的流量中获取数据。 通过检查数据包，我们可以从数据包本身的未加密字段中读取尽可能多的信息。 通过在物理层检查数据包，我们可以找出数据包的特征（部分或全部）。 另外，不要忘记网站的声誉。 如果请求来自某个 .onion 源，您不应信任它。 为了更轻松地处理此类数据，我们创建了风险地图。
ETA 工作结果
一切似乎都很好，但我们来谈谈网络部署。
ETA 的物理实现
这里出现了许多细微差别和微妙之处。 首先，在创建此类
具有高级软件的网络，需要数据收集。 完全手动收集数据
疯狂，但实施响应系统已经更有趣了。 其次，数据
应该有很多，这意味着安装的网络传感器必须工作
不仅是自主的，而且是在精细调整的模式下，这造成了许多困难。
传感器和 Stealthwatch 系统
安装传感器是一回事，但设置它是完全不同的任务。 要配置传感器，有一个根据以下拓扑运行的复合体 - ISR = 思科集成多业务路由器； ASR = 思科聚合服务路由器； CSR = 思科云服务路由器； WLC = 思科无线局域网控制器； IE = 思科工业以太网交换机； ASA = 思科自适应安全设备； FTD = 思科 Firepower 威胁防御解决方案； WSA = 网络安全设备； ISE = 身份服务引擎
考虑到任何遥测数据的综合监控
网络管理员从上一段“Cisco”的字数开始感到心律失常。 这个奇迹的代价不小，但这不是我们今天要说的……
黑客的行为将被建模如下。 Stealthwatch 仔细监控网络上每个设备的活动，并能够创建正常行为模式。 此外，该解决方案还可以深入了解已知的不当行为。 该解决方案使用大约100种不同的分析算法或启发式方法，解决扫描、主机报警帧、暴力登录、可疑数据捕获、可疑数据泄露等不同类型的流量行为。 列出的安全事件属于高级逻辑警报类别。 一些安全事件也可以自行触发警报。 因此，系统能够将多个孤立的异常事件关联起来，并将它们放在一起以确定可能的攻击类型，并将其链接到特定的设备和用户（图 2）。 将来，可以随着时间的推移研究该事件，并考虑相关的遥测数据。 这构成了最好的上下文信息。 医生对病人进行检查以了解问题所在时，不会孤立地观察症状。 他们着眼于大局来做出诊断。 同样，Stealthwatch 捕获网络上的每一个异常活动并对其进行整体检查以发送上下文感知警报，从而帮助安全专业人员确定风险的优先级。
使用行为建模进行异常检测
网络的物理部署如下所示：
分支机构网络部署选项（简化）
分支机构网络部署选项
网络已经部署，但有关神经元的问题仍然悬而未决。 他们组织了数据传输网络，在门槛上安装了传感器，启动了信息收集系统，但神经元并没有参与此事。 再见。
多层神经网络
该系统分析用户和设备行为，以检测恶意感染、与命令和控制服务器的通信、数据泄漏以及组织基础设施中运行的潜在有害应用程序。 数据处理有多层，人工智能、机器学习和数理统计技术的结合帮助网络自学习其正常活动，以便能够检测恶意活动。
网络安全分析管道从扩展网络的所有部分收集遥测数据，包括加密流量，是 Stealthwatch 的独特功能。 它逐步加深对“异常”的理解，然后对“威胁活动”的实际各个元素进行分类，最后对设备或用户是否确实受到损害做出最终判断。 通过非常仔细的分析和关联，能够将小片段拼凑在一起形成证据，从而就资产是否受到损害做出最终决定。
这种能力很重要，因为典型的企业每天可能会收到大量警报，并且由于安全专业人员的资源有限，不可能调查每一个警报。 机器学习模块近乎实时地处理大量信息，以高度可信地识别关键事件，并且还能够提供清晰的行动方案以快速解决。
让我们仔细看看 Stealthwatch 使用的众多机器学习技术。 当事件提交给 Stealthwatch 的机器学习引擎时，它会通过一个安全分析漏斗，该漏斗使用监督和无监督机器学习技术的组合。
多层次机器学习能力
1级。 异常检测和信任建模
在此级别，99% 的流量会被统计异常检测器丢弃。 这些传感器共同构成了正常和异常的复杂模型。 然而，异常并不一定有害。 网络上发生的许多事情与威胁无关——这很奇怪。 在不考虑威胁行为的情况下对此类过程进行分类非常重要。 因此，需要进一步分析此类检测器的结果，以捕获可以解释和可信的奇怪行为。 最终，只有一小部分最重要的线程和请求会到达第 2 层和第 3 层。 如果不使用这种机器学习技术，将信号与噪声分离的运营成本将会太高。
异常检测。 异常检测的第一步是使用统计机器学习技术将统计上的正常流量与异常流量分开。 超过 70 个单独的检测器处理 Stealthwatch 收集的通过网络边界的流量的遥测数据，将内部域名系统 (DNS) 流量与代理服务器数据（如果有）分开。 每个请求由 70 多个检测器处理，每个检测器使用自己的统计算法对检测到的异常进行评估。 这些分数被组合起来，并使用多种统计方法为每个单独的查询生成一个分数。 然后使用该总分来区分正常流量和异常流量。
塑造信任。 接下来，对类似的请求进行分组，并将这些组的总异常分数确定为长期平均值。 随着时间的推移，会分析更多的查询以确定长期平均值，从而减少误报和漏报。 信任建模结果用于选择异常分数超过某个动态确定的阈值的流量子集，以移至下一个处理级别。
2 级。 事件分类和对象建模
在此级别，对前一阶段获得的结果进行分类并分配给特定的恶意事件。 根据机器学习分类器分配的值对事件进行分类，以确保一致的准确率高于 90%。 他们之中：
- 基于 Neyman-Pearson 引理的线性模型（文章开头图表中的正态分布定律）
- 使用多元学习的支持向量机
- 神经网络和随机森林算法。
随着时间的推移，这些孤立的安全事件会与单个端点相关联。 正是在这个阶段，形成了威胁描述，并在此基础上创建了相关攻击者如何设法实现某些结果的完整画面。
事件的分类。 使用分类器将上一级别的统计异常子集分为 100 个或更多类别。 大多数分类器基于个人行为、群体关系或全球或局部范围内的行为，而其他分类器则可能非常具体。 例如，分类器可以指示 C&C 流量、可疑扩展或未经授权的软件更新。 根据此阶段的结果，形成安全系统中的一组异常事件，并分为某些类别。
对象建模。 如果支持特定对象有害的假设的证据数量超过重要性阈值，则确定为威胁。 影响威胁定义的相关事件与此类威胁相关联，并成为对象的离散长期模型的一部分。 随着证据随着时间的推移不断积累，系统会在达到重要性阈值时识别新的威胁。 该阈值是动态的，并根据威胁风险级别和其他因素进行智能调整。 此后，威胁会出现在 Web 界面的信息面板上，并转移到下一个级别。
3 级。 关系建模
关系建模的目的是从全局角度综合先前级别获得的结果，不仅考虑到相关事件的局部背景，还考虑到全局背景。 在此阶段，您可以确定有多少组织遭遇过此类攻击，以便了解该攻击是否专门针对您，或者是全球活动的一部分，而您刚刚被抓住。
事件已被确认或发现。 经过验证的事件意味着 99% 到 100% 的置信度，因为相关技术和工具之前已在更大（全球）范围内观察到过。 检测到的事件对您来说是独一无二的，并且构成高度针对性活动的一部分。过去的调查结果与已知的行动方案共享，从而节省您的响应时间和资源。 它们配备了您需要的调查工具，以了解谁攻击了您以及该活动针对您的数字业务的程度。 正如您可以想象的那样，已确认事件的数量远远超过已检测到的事件数量，原因很简单，已确认的事件不会给攻击者带来太多成本，而已检测到的事件则需要付出很大的代价。
价格昂贵，因为它们必须是新的和定制的。 通过创建识别已确认事件的能力，游戏的经济学最终转向有利于防守者，给他们带来明显的优势。
基于ETA的神经连接系统的多级训练
全球风险地图
全球风险地图是通过机器学习算法对业内最大的同类数据集之一进行分析而创建的。 它提供有关互联网上服务器行为的广泛统计数据，即使它们是未知的。 此类服务器与攻击相关联，并且可能会参与或用作未来攻击的一部分。 这不是“黑名单”，而是从安全角度对相关服务器的全面了解。 有关这些服务器活动的上下文信息使 Stealthwatch 的机器学习检测器和分类器能够准确预测与此类服务器通信相关的风险级别。
您可以查看可用的卡 .
显示 460 亿个 IP 地址的世界地图
现在网络会学习并站出来保护您的网络。
终于找到灵丹妙药了吗？
不幸的是， 没有。 根据使用该系统的经验，我可以说存在两个全局问题。
问题1.价格。 整个网络部署在Cisco系统上。 这既是好事也是坏事。 好的一面是你不必费心安装一堆插件，比如 D-Link、MikroTik 等。 缺点是系统成本高昂。 考虑到俄罗斯企业的经济状况，目前只有大公司或银行的富有所有者才能负担得起这一奇迹。
问题2：训练。 我没有在文章中写出神经网络的训练周期，并不是因为它不存在，而是因为它一直在学习，我们无法预测它什么时候会学习。 当然，也有数理统计的工具（采用与皮尔逊收敛准则相同的公式），但这些都是半途而废的。 我们得到过滤流量的概率，即使如此，也只有在攻击已经被掌握和已知的情况下。
尽管存在这两个问题，我们在信息安全特别是网络保护方面的发展取得了很大的飞跃。 这一事实可以激励网络技术和神经网络的研究，它们现在是一个非常有前途的方向。
来源： habr.com