In früheren Artikeln haben wir uns ein wenig mit dem Elk-Stack und dem Einrichten der Logstash-Konfigurationsdatei für den Log-Parser vertraut gemacht. In diesem Artikel kommen wir zum Wichtigsten aus analytischer Sicht, nämlich dem, was Sie wollen Sehen Sie aus dem System heraus, wofür alles erstellt wurde - das sind Grafiken und Tabellen, die zu einem zusammengefasst sind Dashboards. Heute werfen wir einen genaueren Blick auf das Visualisierungssystem Kibana, schauen wir uns an, wie man Diagramme und Tabellen erstellt, und erstellen als Ergebnis ein einfaches Dashboard basierend auf Protokollen der Check Point-Firewall.
Der erste Schritt bei der Arbeit mit Kibana ist das Erstellen IndexmusterLogischerweise handelt es sich hierbei um eine Basis von Indizes, die nach einem bestimmten Prinzip zusammengefasst sind. Dies ist natürlich nur eine Einstellung, um Kibana die Suche nach Informationen in allen Indizes gleichzeitig zu erleichtern. Es wird festgelegt, indem eine Zeichenfolge, beispielsweise „checkpoint-*“, und der Name des Index abgeglichen werden. Zum Beispiel würde „checkpoint-2019.12.05“ in das Muster passen, aber „checkpoint“ existiert einfach nicht mehr. Es ist erwähnenswert, dass es bei der Suche nicht möglich ist, gleichzeitig nach Informationen zu verschiedenen Indexmustern zu suchen. Etwas später in den folgenden Artikeln werden wir sehen, dass API-Anfragen entweder nach dem Namen des Index oder nur nach einem Index erfolgen Linie des Musters, das Bild ist anklickbar:
Anschließend überprüfen wir im Discover-Menü, ob alle Protokolle indiziert sind und der richtige Parser konfiguriert ist. Wenn Inkonsistenzen festgestellt werden, beispielsweise beim Ändern des Datentyps von einer Zeichenfolge in eine Ganzzahl, müssen Sie die Logstash-Konfigurationsdatei bearbeiten. Dadurch werden neue Protokolle korrekt geschrieben. Damit die alten Protokolle vor der Änderung die gewünschte Form annehmen, hilft nur der Neuindizierungsprozess; in nachfolgenden Artikeln wird auf diesen Vorgang näher eingegangen. Stellen wir sicher, dass alles in Ordnung ist und das Bild anklickbar ist:
Die Protokolle sind vorhanden, sodass wir mit der Erstellung von Dashboards beginnen können. Basierend auf der Analyse von Dashboards von Sicherheitsprodukten können Sie den Stand der Informationssicherheit in einer Organisation verstehen, Schwachstellen in der aktuellen Richtlinie klar erkennen und anschließend Möglichkeiten zu deren Beseitigung entwickeln. Lassen Sie uns mit mehreren Visualisierungstools ein kleines Dashboard erstellen. Das Dashboard besteht aus 5 Komponenten:
- Tabelle zur Berechnung der Gesamtzahl der Protokolle nach Klingen
- Tabelle zu kritischen IPS-Signaturen
- Kreisdiagramm für Bedrohungspräventionsereignisse
- Diagramm der am häufigsten besuchten Websites
- Diagramm zur Verwendung der gefährlichsten Anwendungen
Um Visualisierungsfiguren zu erstellen, müssen Sie zum Menü gehen Visualize, und wählen Sie die gewünschte Figur aus, die wir bauen möchten! Gehen wir der Reihe nach vor.
Tabelle zur Berechnung der Gesamtzahl der Protokolle pro Blatt
Wählen Sie dazu eine Figur aus Datentabelle, wir fallen in die Ausrüstung zum Erstellen von Diagrammen, links sind die Einstellungen der Figur, rechts ist, wie sie in den aktuellen Einstellungen aussehen wird. Zuerst zeige ich, wie die fertige Tabelle aussehen wird, danach gehen wir die Einstellungen durch, das Bild ist anklickbar:
Detailliertere Einstellungen der Figur, das Bild ist anklickbar:
Schauen wir uns die Einstellungen an.
Ursprünglich konfiguriert Metriken, das ist der Wert, nach dem alle Felder aggregiert werden. Metriken werden auf der Grundlage von Werten berechnet, die auf die eine oder andere Weise aus Dokumenten extrahiert werden. Die Werte werden normalerweise aus extrahiert Felder Dokument, kann aber auch über Skripte generiert werden. In diesem Fall setzen wir ein Aggregation: Anzahl (Gesamtzahl der Protokolle).
Danach unterteilen wir die Tabelle in Segmente (Felder), anhand derer die Metrik berechnet wird. Diese Funktion übernimmt die Buckets-Einstellung, die wiederum aus 2 Einstellungsmöglichkeiten besteht:
- Zeilen teilen – Spalten hinzufügen und anschließend die Tabelle in Zeilen unterteilen
- geteilte Tabelle – Aufteilung in mehrere Tabellen basierend auf den Werten eines bestimmten Feldes.
В Eimer Sie können mehrere Unterteilungen hinzufügen, um mehrere Spalten oder Tabellen zu erstellen. Die Einschränkungen sind hier eher logisch. Bei der Aggregation können Sie auswählen, welche Methode zur Aufteilung in Segmente verwendet wird: IPv4-Bereich, Datumsbereich, Bedingungen usw. Die interessanteste Wahl ist genau Nutzungsbedingungen и Wichtige BegriffeDie Aufteilung in Segmente erfolgt anhand der Werte eines bestimmten Indexfelds. Der Unterschied zwischen ihnen liegt in der Anzahl der zurückgegebenen Werte und deren Anzeige. Da wir die Tabelle nach den Namen der Blades unterteilen möchten, wählen wir das Feld aus - Produkt.Schlüsselwort und legen Sie die Größe auf 25 zurückgegebene Werte fest.
Anstelle von Zeichenfolgen verwendet Elasticsearch zwei Datentypen: Text и Stichwort. Если вы хотите выполнить полнотекстовый поиск, вы должны использовать тип text, очень удобная вещь при написании своего поискового сервиса, например, ищете упоминание слова в конкретном значении поля (тексте). Если вы хотите только точное совпадение, вы должны использовать тип keyword. Так же тип данных keyword следует использовать для полей, требующих сортировки или агрегации, то есть, в нашем случае.
Infolgedessen zählt Elasticsearch die Anzahl der Protokolle für einen bestimmten Zeitraum, aggregiert durch den Wert im Produktfeld. In Custom Label legen wir den Namen der Spalte fest, die in der Tabelle angezeigt wird, legen die Zeit fest, für die wir Protokolle sammeln, beginnen mit dem Rendern – Kibana sendet eine Anfrage an Elasticsearch, wartet auf eine Antwort und visualisiert dann die empfangenen Daten. Der Tisch ist fertig!
Kreisdiagramm für Bedrohungspräventionsereignisse
Besonders interessant ist die Angabe, wie viele Reaktionen es in Prozent gibt entdecken и verhindern zu Informationssicherheitsvorfällen in der aktuellen Sicherheitsrichtlinie. Ein Kreisdiagramm funktioniert in dieser Situation gut. In „Visualisieren“ auswählen – Kuchendiagramm. Außerdem legen wir in der Metrik die Aggregation nach der Anzahl der Protokolle fest. In Buckets geben wir Begriffe => Aktion ein.
Alles scheint korrekt zu sein, aber das Ergebnis zeigt Werte für alle Blades; Sie müssen nur nach den Blades filtern, die im Rahmen der Bedrohungsprävention arbeiten. Deshalb haben wir es definitiv eingerichtet filtern um nur nach Informationen zu Blades zu suchen, die für Informationssicherheitsvorfälle verantwortlich sind – Produkt: („Anti-Bot“ ODER „New Anti-Virus“ ODER „DDoS Protector“ ODER „SmartDefense“ ODER „Threat Emulation“). Das Bild ist anklickbar:
Und detailliertere Einstellungen, das Bild ist anklickbar:
IPS-Ereignistabelle
Als nächstes ist es aus Sicht der Informationssicherheit sehr wichtig, Ereignisse auf dem Blade anzuzeigen und zu überprüfen. IPS и BedrohungsemulationDass sind nicht blockiert aktuelle Richtlinie, um nachträglich entweder eine Änderung der Signatur zu verhindern, oder wenn der Verkehr gültig ist, überprüfen Sie die Signatur nicht. Wir erstellen die Tabelle auf die gleiche Weise wie im ersten Beispiel, mit dem einzigen Unterschied, dass wir mehrere Spalten erstellen: „protections.keyword“, „severity.keyword“, „product.keyword“, „originsicname.keyword“. Stellen Sie sicher, dass Sie einen Filter einrichten, um nur nach Informationen zu Blades zu suchen, die für Informationssicherheitsvorfälle verantwortlich sind – Produkt: („SmartDefense“ ODER „Threat Emulation“). Das Bild ist anklickbar:
Detailliertere Einstellungen, das Bild ist anklickbar:
Diagramme für die am häufigsten besuchten Websites
Erstellen Sie dazu eine Figur - Vertikaler Balken. Wir verwenden auch die Anzahl (Y-Achse) als Metrik und auf der X-Achse verwenden wir die Namen der besuchten Websites als Werte – „appi_name“. Hier gibt es einen kleinen Trick: Wenn Sie die Einstellungen in der aktuellen Version ausführen, werden alle Websites im Diagramm mit derselben Farbe markiert. Um sie mehrfarbig zu machen, verwenden wir eine zusätzliche Einstellung – „Serien aufteilen“. Damit können Sie eine vorgefertigte Spalte in mehrere weitere Werte aufteilen, natürlich abhängig vom ausgewählten Feld! Diese Unterteilung kann entweder als eine mehrfarbige Spalte nach Werten im Stapelmodus oder im Normalmodus verwendet werden, um mehrere Spalten nach einem bestimmten Wert auf der X-Achse zu erstellen. In diesem Fall verwenden wir hier die Der gleiche Wert wie auf der X-Achse ermöglicht es, alle Spalten mehrfarbig zu gestalten; sie werden oben rechts durch Farben gekennzeichnet. Im Filter, den wir eingestellt haben – Produkt: „URL-Filterung“, um nur Informationen zu besuchten Websites anzuzeigen, ist das Bild anklickbar:
Einstellungen:
Diagramm zur Verwendung der gefährlichsten Anwendungen
Erstellen Sie dazu eine Figur – einen vertikalen Balken. Wir verwenden auch die Anzahl (Y-Achse) als Metrik und auf der X-Achse verwenden wir den Namen der verwendeten Anwendungen – „appi_name“ als Werte. Am wichtigsten ist die Filtereinstellung – Produkt: „Anwendungskontrolle“ UND app_risk: (4 ODER 5 ODER 3) UND Aktion: „Akzeptieren“. Wir filtern die Protokolle nach dem Blatt „Anwendungskontrolle“ und nehmen nur die Websites auf, die als „Kritisch“, „Hoch“ oder „Mittleres Risiko“ kategorisiert sind, und nur dann, wenn der Zugriff auf diese Websites erlaubt ist. Das Bild ist anklickbar:
Einstellungen, anklickbar:
Dashboard
Das Anzeigen und Erstellen von Dashboards erfolgt in einem separaten Menüpunkt – Dashboard. Hier ist alles einfach, ein neues Dashboard wird erstellt, eine Visualisierung hinzugefügt, an seiner Stelle platziert und fertig!
Wir erstellen ein Dashboard, anhand dessen Sie die grundsätzliche Situation des Standes der Informationssicherheit in einer Organisation verstehen können, natürlich nur auf Checkpoint-Ebene, das Bild ist anklickbar:
Anhand dieser Diagramme können wir nachvollziehen, welche kritischen Signaturen in der Firewall nicht blockiert werden, wohin Benutzer gehen und welche Anwendungen sie am gefährlichsten verwenden.
Abschluss
Wir haben uns die Möglichkeiten der grundlegenden Visualisierung in Kibana angesehen und ein Dashboard erstellt, aber das ist nur ein kleiner Teil. Im weiteren Verlauf des Kurses werden wir uns gesondert mit dem Einrichten von Karten, der Arbeit mit dem Elasticsearch-System, dem Kennenlernen von API-Anfragen, der Automatisierung und vielem mehr befassen!
Also bleibt gespannt, , , ), .
Source: habr.com