95% 的信息安全威胁是已知的，您可以使用防病毒、防火墙、IDS、WAF 等传统手段来保护自己免受这些威胁。 剩下的 5% 的威胁是未知的，也是最危险的。 它们构成了公司 70% 的风险，因为检测它们非常困难，更不用说防范它们了。 例子 流行的 WannaCry 勒索软件、NotPetya/ExPetr、加密货币挖矿程序、“网络武器”Stuxnet（袭击了伊朗核设施）以及许多其他攻击（还有人记得 Kido/Conficker 吗？），而传统安全措施无法很好地防御这些攻击。 我们想谈谈如何使用威胁狩猎技术来应对这 5% 的威胁。
网络攻击的不断演变需要不断的检测和对策，这最终让我们想到攻击者和防御者之间无休止的军备竞赛。 经典安全系统不再能够提供可接受的安全水平，在该水平下，风险水平不会影响公司的关键指标（经济、政治、声誉），而无需针对特定基础设施进行修改，但总的来说，它们涵盖了一些风险。 在实施和配置过程中，现代安全系统发现自己处于追赶者的角色，必须应对新时代的挑战。
对于信息安全专家来说，威胁狩猎技术可能是应对当今挑战的答案之一。 威胁狩猎（Threat Hunting，以下简称TH）一词在几年前就出现了。 该技术本身相当有趣，但目前还没有任何普遍接受的标准和规则。 由于信息来源的异构性以及有关该主题的俄语信息来源的数量较少，问题也变得复杂。 在这方面，我们 LANIT-Integration 决定撰写一篇对该技术的评论。
时事
TH 技术依赖于基础设施监控流程。。 警报（类似于 MSSP 服务）是搜索先前开发的攻击特征和迹象并对其做出响应的传统方法。 传统的基于签名的保护工具可以成功执行此场景。 Hunting（MDR类型服务）是一种监控方法，它回答了“签名和规则从哪里来？”的问题。 它是通过分析隐藏的或以前未知的攻击指标和迹象来创建关联规则的过程。 威胁追踪就是指这种类型的监控。
只有将两种类型的监控结合起来，我们才能获得接近理想的保护，但始终存在一定程度的残余风险。
使用两种类型的监控进行保护
这就是为什么 TH（以及整个狩猎！）将变得越来越重要：
威胁、补救措施、风险。
。 其中包括垃圾邮件、DDoS、病毒、rootkit 和其他经典恶意软件等类型。 您可以使用相同的经典安全措施来保护自己免受这些威胁。
在任何项目的实施过程中，剩下20%的工作就占用了80%的时间。 同样，在整个威胁格局中，5% 的新威胁将占公司风险的 70%。 在组织了信息安全管理流程的公司中，我们可以通过避免（原则上拒绝无线网络）、接受（实施必要的安全措施）或转移等方式来管理 30% 的实施已知威胁的风险。 （例如，由集成商承担）这种风险。 保护自己免受、APT 攻击、网络钓鱼、、网络间谍和国家行动，以及大量其他攻击已经困难得多。 这5%的威胁的后果会严重得多（）比垃圾邮件或病毒造成的后果要多，而防病毒软件可以避免这些后果。
几乎每个人都要应对5%的威胁。 我们最近必须安装一个开源解决方案，该解决方案使用 PEAR（PHP 扩展和应用程序存储库）存储库中的应用程序。 尝试通过 pear install 安装此应用程序失败，因为 不可用（现在上面有一个存根），我必须从 GitHub 安装它。 就在最近，PEAR 成为了受害者.
你还记得，NePetya 勒索软件通过税务报告程序的更新模块流行。 威胁变得越来越复杂，随之而来的逻辑问题是：“我们如何应对这 5% 的威胁？”
威胁追踪的定义
因此，威胁狩猎是主动、迭代地搜索和检测传统安全工具无法检测到的高级威胁的过程。 高级威胁包括APT攻击、0day漏洞攻击、Living off the Land攻击等。
我们还可以将 TH 改写为检验假设的过程。 这是一个主要是手动过程，带有自动化元素，其中分析师依靠自己的知识和技能，筛选大量信息，寻找与最初确定的存在某种威胁的假设相对应的妥协迹象。 其显着特点是信息来源多样化。
应该指出的是，威胁狩猎不是某种软件或硬件产品。 这些不是在某些解决方案中可以看到的警报。 这不是 IOC（妥协标识符）搜索过程。 这并不是某种没有信息安全分析师参与的被动活动。 威胁狩猎首先是一个过程。
威胁追踪的组成部分
威胁追踪的三个主要组成部分：数据、技术、人员。
数据（什么？），包括大数据。 各种流量、有关先前 APT 的信息、分析、用户活动数据、网络数据、员工信息、暗网信息等等。
技术（如何？） 处理这些数据 - 处理这些数据的所有可能的方式，包括机器学习。
人（谁？） – 在分析各种攻击方面拥有丰富经验、具有敏锐的直觉和检测攻击能力的人。 通常，这些人是信息安全分析师，必须有能力提出假设并找到假设的确认。 它们是该过程中的主要环节。
模型巴黎
亚当·贝特曼 理想 TH 过程的 PARIS 模型。 这个名字暗示了法国的一个著名地标。 该模型可以从两个方向查看 - 从上方和从下方。
当我们自下而上地研究模型时，我们会遇到大量恶意活动的证据。 每条证据都有一个称为置信度的衡量标准 - 该特征反映了该证据的权重。 有“铁”，即恶意活动的直接证据，根据这些证据，我们可以立即到达金字塔的顶端，并针对精确已知的感染创建实际警报。 而且还有间接证据，这些证据的总和也可以引导我们到达金字塔的顶端。 与往常一样，间接证据比直接证据多得多，这意味着需要对它们进行分类和分析，必须进行额外的研究，并且建议将其自动化。
模型巴黎。
模型的上半部分（1和2）基于自动化技术和各种分析，下半部分（3和4）基于管理流程的具有一定资格的人员。 您可以考虑从上到下移动的模型，在蓝色的上部，我们有来自传统安全工具（防病毒、EDR、防火墙、签名）的警报，具有高度的置信度和信任度，下面是指标（ IOC、URL、MD5等），确定性较低，需要额外研究。 最低和最厚的层次（4）是假设的生成，为传统保护手段的运作创建新的场景。 这一水平不仅限于特定的假设来源。 级别越低，对分析师的资质要求越高。
非常重要的是，分析师不要简单地测试一组有限的预先确定的假设，而是不断努力产生新的假设和测试它们的选项。
TH 使用成熟度模型
在理想的世界中，TH 是一个持续的过程。 但是，既然不存在理想世界，我们来分析一下 以及所使用的人员、流程和技术方面的方法。 让我们考虑一个理想的球形 TH 模型。 使用该技术有 5 个级别。 让我们以单个分析师团队的演变为例来看看它们。
成熟度级别
人
流程
技术
0级别
SOC 分析师
24/7
传统乐器：
传统
警报集
被动监控
IDS、AV、沙箱、
没有TH
使用警报
特征分析工具、威胁情报数据。
1级别
SOC 分析师
一次性TH
EDR
实验性的
法医学基础知识
国际奥委会搜索
网络设备数据部分覆盖
TH 实验
良好的网络和应用知识
部分申请
2级别
临时职业
冲刺
EDR
定期的
法医学的平均知识
每周
完整申请
临时TH
丰富的网络和应用知识
常规TH
EDR 数据使用完全自动化
部分使用先进的 EDR 功能
3级别
专用TH命令
24/7
检验假设的部分能力 TH
预防
对取证和恶意软件有丰富的了解
预防性TH
充分利用先进的EDR能力
特殊情况TH
对进攻方的出色了解
特殊情况TH
网络设备数据全覆盖
满足您需求的配置
4级别
专用TH命令
24/7
完全有能力检验 TH 假设
高端
对取证和恶意软件有丰富的了解
预防性TH
3 级，加上：
使用TH
对进攻方的出色了解
假设的测试、自动化和验证 TH
数据源紧密集成；
研究能力
根据需求开发和非标准使用API。
TH 成熟度级别（按人员、流程和技术划分）
0等级： 传统的，不使用TH。 常规分析师使用标准工具和技术（IDS、AV、沙箱、签名分析工具）在被动监控模式下处理一组标准警报。
1等级： 实验性的，使用 TH。 具有取证基础知识以及对网络和应用程序有深入了解的分析师可以通过搜索妥协指标来执行一次性威胁搜寻。 EDR 添加到工具中，部分覆盖来自网络设备的数据。 这些工具已部分使用。
2等级： 周期性的、临时的 TH。 已经提升了取证、网络和应用程序部分知识的分析师需要定期参与威胁搜寻（冲刺），例如每月一周。 这些工具增加了对网络设备数据的全面探索、EDR 数据分析的自动化以及高级 EDR 功能的部分使用。
3等级： 预防性、常见的 TH 病例。 我们的分析师组成了一个专门的团队，开始对取证和恶意软件以及攻击方的方法和策略拥有丰富的知识。 该过程已经24/7 进行。 该团队能够部分测试 TH 假设，同时充分利用 EDR 的高级功能，全面覆盖来自网络设备的数据。 分析师还可以配置工具来满足他们的需求。
4等级： 高端，用TH。 同一个团队获得了研究能力、生成和自动化检验 TH 假设的过程的能力。 现在，这些工具已经通过数据源的紧密集成、满足需求的软件开发以及 API 的非标准使用进行了补充。
威胁追踪技术
基本威胁追踪技术
К TH 按照所使用技术的成熟度排序，分别是：基本搜索、统计分析、可视化技术、简单聚合、机器学习和贝叶斯方法。
最简单的方法是基本搜索，用于使用特定查询来缩小研究范围。 例如，统计分析用于以统计模型的形式构建典型的用户或网络活动。 可视化技术用于以图形和图表的形式直观地显示和简化数据分析，这使得更容易辨别样本中的模式。 按关键字段进行简单聚合的技术用于优化搜索和分析。 组织的 TH 流程越成熟，机器学习算法的使用就越相关。 它们还广泛用于过滤垃圾邮件、检测恶意流量和检测欺诈活动。 一种更高级的机器学习算法是贝叶斯方法，它允许分类、样本大小减少和主题建模。
钻石模型和TH策略
塞尔吉奥·卡尔塔吉隆、安德鲁·彭德加斯特和克里斯托弗·贝茨在他们的作品中“» 显示了任何恶意活动的主要关键组成部分以及它们之间的基本联系。
恶意活动的钻石模型
根据该模型，有4种威胁狩猎策略，它们基于相应的关键组件。
1. 以受害者为中心的策略。 我们假设受害者有对手，他们会通过电子邮件提供“机会”。 我们正在邮件中寻找敌人的数据。 搜索链接、附件等。 我们正在一段时间内（一个月、两周）寻找这个假设的证实；如果我们没有找到它，那么这个假设就不成立。
2.基础设施导向战略。 有多种方法可以使用此策略。 根据访问和可见性，有些比其他更容易。 例如，我们监控已知托管恶意域的域名服务器。 或者，我们会通过监控所有新域名注册的过程来查找对手使用的已知模式。
3.能力驱动战略。 除了大多数网络防御者使用的以受害者为中心的策略之外，还有一种以机会为中心的策略。 它是第二受欢迎的工具，专注于检测对手的能力，即“恶意软件”以及对手使用 psexec、powershell、certutil 等合法工具的能力。
4.面向敌人的战略。 以对手为中心的方法侧重于对手本人。 这包括使用来自公开来源的公开信息（OSINT）、收集有关敌人及其技术和方法的数据（TTP）、对先前事件的分析、威胁情报数据等。
TH 中的信息和假设来源
威胁追踪的一些信息来源
信息来源可以有很多。 理想的分析师应该能够从周围的一切中提取信息。 几乎所有基础设施中的典型来源都是来自安全工具的数据：DLP、SIEM、IDS/IPS、WAF/FW、EDR。 此外，典型的信息来源将是各种妥协指标、威胁情报服务、CERT 和 OSINT 数据。 此外，您还可以使用来自暗网的信息（例如，突然接到命令破解某个组织负责人的邮箱，或者网络工程师职位候选人的活动被曝光），从暗网收到的信息HR（之前工作地点对候选人的评价）、安全部门的信息（例如对方的验证结果）。
但在使用所有可用来源之前，有必要至少有一个假设。
为了检验假设，必须首先提出假设。 为了提出许多高质量的假设，有必要应用系统的方法。 生成假设的过程更详细地描述于，以此方案作为提出假设过程的基础是非常方便的。
假设的主要来源是 ATT&CK矩阵 （对抗策略、技术和常识）。 从本质上讲，它是一个知识库和模型，用于评估在攻击的最后步骤中执行活动的攻击者的行为，通常使用杀伤链的概念来描述。 也就是说，在攻击者渗透到企业内部网络或移动设备上之后的阶段。 该知识库最初包含攻击中使用的 121 种策略和技术的描述，每一种都以 Wiki 格式详细描述。 各种威胁情报分析非常适合作为生成假设的来源。 特别值得注意的是基础设施分析和渗透测试的结果 - 这是最有价值的数据，可以为我们提供铁定的假设，因为它们基于具有特定缺点的特定基础设施。
假设检验过程
谢尔盖·索尔达托夫带来 并详细描述了该过程，说明了在单个系统中检验 TH 假设的过程。 我将用简短的描述来指出主要阶段。
第一阶段：TI 农场
这个阶段需要强调的是 对象 （通过将它们与所有威胁数据一起分析）并为其特征分配标签。 它们是文件、URL、MD5、进程、实用程序、事件。 当它们通过威胁情报系统时，有必要附加标签。 也就是说，这个网站在某年某年在 CNC 中被注意到，这个 MD5 与某某恶意软件相关联，这个 MD5 是从分发恶意软件的网站下载的。
第二阶段：案例
在第二阶段，我们查看这些对象之间的交互并确定所有这些对象之间的关系。 我们得到的标记系统做了坏事。
第三阶段：分析师
第三阶段，案件移交给一位具有丰富分析经验的分析师，由他做出判决。 他将这段代码的作用、位置、方式、原因以及原因解析为字节。 这个身体是恶意软件，这台计算机被感染了。 揭示对象之间的联系，检查沙箱运行的结果。
分析师的工作结果被进一步传达。 数字取证检查图像，恶意软件分析检查发现的“尸体”，事件响应团队可以前往现场调查已有的内容。 这项工作的结果将是一个被证实的假设、一个已识别的攻击以及对抗它的方法。
结果
威胁狩猎是一项相当年轻的技术，可以有效应对定制的、新型的、非标准的威胁，鉴于此类威胁的数量不断增加以及企业基础设施的复杂性不断增加，其前景广阔。 它需要三个组成部分——数据、工具和分析师。 威胁追踪的好处不仅限于防止威胁的实施。 不要忘记，在搜索过程中，我们会通过安全分析师的视角深入了解我们的基础设施及其弱点，并可以进一步加强这些点。
我们认为，在您的组织中开始 TH 流程需要采取的第一步。
- 负责保护端点和网络基础设施。 负责网络上所有进程的可见性 (NetFlow) 和控制（防火墙、IDS、IPS、DLP）。 了解从边缘路由器到最后一台主机的网络。
- 探索.
- 至少对关键外部资源进行定期渗透测试，分析其结果，识别主要攻击目标并消除其漏洞。
- 实施开源威胁情报系统（例如，MISP、Yeti）并与其结合分析日志。
- 实施事件响应平台 (IRP)：R-Vision IRP、The Hive、用于分析可疑文件的沙箱（FortiSandbox、Cuckoo）。
- 自动化日常流程。 分析日志、记录事件、通知员工是自动化的一个巨大领域。
- 了解如何与工程师、开发人员和技术支持人员有效互动，以协作处理事件。
- 记录整个过程、关键点、取得的结果，以便稍后返回或与同事分享这些数据；
- 保持社交性：了解您的员工的近况、您雇用的人员以及您授予谁访问组织信息资源的权限。
- 及时了解新威胁和防护方法领域的趋势，提高您的技术素养水平（包括 IT 服务和子系统的操作）、参加会议并与同事交流。
准备在评论中讨论 TH 流程的组织。
或者来和我们一起工作吧！
研究来源和材料
来源： habr.com