在之前的文章中，我们对elk堆栈以及为日志解析器设置Logstash配置文件有了一些了解，在这篇文章中，我们将从分析的角度转向最重要的事情，你想要什么从系统中看到一切都是为了什么而创建的 - 这些是组合成的图表和表格 仪表板。 今天我们就来详细了解一下可视化系统 Kibana，我们将了解如何创建图形和表格，因此我们将基于来自 Check Point 防火墙的日志构建一个简单的仪表板。
使用 kibana 的第一步是创建 指数模式，从逻辑上讲，这是按照一定原则统一起来的指标基础。 当然，这纯粹是为了让 Kibana 更方便地同时跨所有索引搜索信息而设置的。 它是通过匹配字符串（例如“checkpoint-*”）和索引名称来设置的。 例如，“checkpoint-2019.12.05”适合该模式，但“checkpoint”不再存在。 值得一提的是，在搜索中，不可能同时搜索不同索引模式的信息；稍后在后续文章中，我们将看到 API 请求要么通过索引名称发出，要么仅通过一个索引发出图案的线条，图片可点击：
之后，我们在“发现”菜单中检查所有日志是否已编入索引并配置了正确的解析器。 如果发现不一致的情况，例如将数据类型从字符串改为整数，则需要编辑Logstash配置文件，这样新的日志才能正确写入。 为了使旧日志在更改之前采用所需的形式，只有重新索引过程才有帮助；在后续文章中将更详细地讨论此操作。 让我们确保一切正常，图片可点击：
日志已就位，这意味着我们可以开始构建仪表板。 基于对安全产品仪表板的分析，您可以了解组织中的信息安全状态，清楚地看到当前策略中的漏洞，并随后制定消除它们的方法。 让我们使用几个可视化工具构建一个小型仪表板。 仪表板将由 5 个组件组成：
- 刀片总原木数计算表
- 关键 IPS 签名表
- 威胁防御事件的饼图
- 最受欢迎的访问网站图表
- 最危险应用程序的使用图表
要创建可视化图形，您需要进入菜单 可视化，然后选择我们想要搭建的人物！ 我们按顺序走吧。
按刀片计算原木总数表
为此，请选择一个图形 数据表，我们进入到创建图形的设备，左边是图形的设置，右边是它在当前设置下的样子。 首先，我将演示完成的表格是什么样子，然后我们将进行设置，图片是可点击的：
更详细的设置如图，图片可点击：
我们来看看设置。
初始配置 指标，这是聚合所有字段的值。 指标是根据以一种或另一种方式从文档中提取的值来计算的。 这些值通常提取自 的领域 文档，但也可以使用脚本生成。 在这种情况下，我们输入 聚合：计数 （日志总数）。
之后，我们将表划分为多个段（字段），通过这些段（字段）来计算指标。 此功能由 Buckets 设置执行，该设置又包含 2 个设置选项：
- 拆分行 - 添加列，然后将表划分为行
- 分表——根据特定字段的值划分为多个表。
В 桶 您可以添加多个分区来创建多个列或表，这里的限制是相当合乎逻辑的。 在聚合中，您可以选择使用哪种方法来划分分段：ipv4 范围、日期范围、术语等。 最有趣的选择恰恰是 条款 и 重要条款，根据特定索引字段的值进行分段，它们之间的区别在于返回值的数量和显示方式。 由于我们想按刀片名称划分表格，因此我们选择字段 - 产品.关键字 并将大小设置为 25 个返回值。
elasticsearch 使用 2 种数据类型而不是字符串 - 文本 и 关键词。 如果要执行全文搜索，则应该使用文本类型，这在编写搜索服务时非常方便，例如在特定字段值（文本）中查找单词的提及。 如果您只想精确匹配，则应该使用关键字类型。 此外，关键字数据类型应该用于需要排序或聚合的字段，即在我们的例子中。
因此，Elasticsearch 会计算特定时间内的日志数量，并按产品字段中的值进行聚合。 在自定义标签中，我们设置将在表中显示的列的名称，设置收集日志的时间，开始渲染 - Kibana 向 Elasticsearch 发送请求，等待响应，然后可视化接收到的数据。 桌子准备好了！
威胁防御事件的饼图
特别有趣的是有关有多少反应的百分比的信息 检测 и 防止 现行安全政策中的信息安全事件。 饼图非常适合这种情况。 在可视化中选择 - 饼形图。 此外，在指标中，我们按日志数量设置聚合。 在存储桶中，我们放置术语 => 操作。
一切似乎都是正确的，但结果显示所有刀片的值；您只需按在威胁防护框架内工作的刀片进行过滤。 因此，我们肯定设置了 过滤 为了仅搜索有关负责信息安全事件的刀片的信息 - 产品：（“Anti-Bot”或“New Anti-Virus”或“DDoS Protector”或“SmartDefense”或“Threat Emulation”）。 图片可点击：
还有更详细的设置，图片可点击：
IPS 事件表
接下来，从信息安全的角度来看非常重要的是查看和检查刀片上的事件。 IPS и 威胁模拟该 没有被阻止 当前的策略是，为了随后更改签名来阻止，或者如果流量有效，则不检查签名。 我们以与第一个示例相同的方式创建表，唯一的区别是我们创建了多个列：protects.keyword、severity.keyword、product.keyword、originsicname.keyword。 请务必设置过滤器，以便仅搜索负责信息安全事件的刀片的信息 - 产品：（“SmartDefense”或“威胁仿真”）。 图片可点击：
更详细的设置，图片可点击：
最热门访问网站的图表
为此，请创建一个图形 - 竖条。 我们还使用计数（Y 轴）作为指标，在 X 轴上我们将使用访问过的站点的名称作为值 - “appi_name”。 这里有一个小技巧：如果您运行当前版本中的设置，那么所有站点都将在图表上以相同的颜色标记，为了使它们具有多种颜色，我们使用一个附加设置 - “split series”，它允许您将现成的列划分为多个值，当然具体取决于所选字段！ 这种划分既可以在堆叠模式下根据值用作一个多色列，也可以在普通模式下根据 X 轴上的某个值创建多个列。在这种情况下，这里我们使用与 X 轴上的值相同，这使得可以使所有列具有多种颜色；它们将由右上角的颜色指示。 在我们设置的过滤器中 - 产品：“URL过滤”以便仅查看访问过的网站上的信息，图片是可点击的：
设置：
最危险应用程序的使用图
为此，请创建一个图形 - 垂直条。 我们还使用计数（Y 轴）作为指标，在 X 轴上，我们将使用所用应用程序的名称 - “appi_name”作为值。 最重要的是过滤器设置 - 产品：“应用程序控制”和 app_risk：（4 或 5 或 3）和操作：“接受”。 我们通过应用程序控制刀片过滤日志，仅获取那些被分类为关键、高、中风险站点的站点，并且仅在允许访问这些站点的情况下。 图片可点击：
设置，可点击：
仪表板
查看和创建仪表板位于单独的菜单项中 - 卖家专用后台。 这里一切都很简单，创建了一个新的仪表板，将可视化添加到其中，放置在它的位置，就是这样！
我们正在创建一个仪表板，通过它您可以了解组织中信息安全状态的基本情况，当然，仅在 Check Point 级别，图片是可点击的：
根据这些图表，我们可以了解哪些关键签名未被防火墙阻止、用户去了哪里以及他们使用了哪些最危险的应用程序。
结论
我们研究了 Kibana 的基本可视化功能并构建了仪表板，但这只是一小部分。 在本课程中，我们将分别介绍如何设置地图、使用 elasticsearch 系统、熟悉 API 请求、自动化等等！
敬请期待, , , ), .
来源： habr.com