Machine Learning im Elastic Stack (auch bekannt als Elasticsearch, auch bekannt als ELK) verstehen

Wir erinnern daran, dass die Grundlage des Elastic Stack aus der nicht-relationalen Datenbank Elasticsearch, der Weboberfläche Kibana und Datenverarbeitungs-Tools besteht (am bekanntesten sind Logstash, verschiedene Beats, APM und andere). Eine der nützlichen Ergänzungen dieses gesamten Produktstacks ist die Datenanalyse mithilfe von Algorithmen für maschinelles Lernen. In diesem Artikel klären wir, was diese Algorithmen sind. Wir bitten um Ihr Verständnis.

Maschinelles Lernen ist eine kostenpflichtige Funktion des bedingt kostenlosen Elastic Stack und Teil des X-Pack-Pakets. Um es zu nutzen, müssen Sie nach der Installation einfach die 30-tägige Testversion aktivieren. Nach Ablauf der Testphase können Sie Unterstützung zur Verlängerung anfordern oder ein Abonnement erwerben. Die Kosten des Abonnements werden nicht anhand des Datenvolumens, sondern nach der Anzahl der verwendeten Knoten berechnet. Natürlich beeinflusst das Datenvolumen die Anzahl der benötigten Knoten, aber dieser Lizenzierungsansatz ist dennoch budgetfreundlicher für das Unternehmen. Wenn keine hohe Leistung erforderlich ist, kann man auch sparen.

ML im Elastic Stack ist in C++ geschrieben und läuft außerhalb der JVM, in der selbst Elasticsearch betrieben wird. Das heißt, der Prozess (er wird übrigens autodetect genannt) konsumiert alles, was die JVM nicht verarbeiten kann. In einer Demoumgebung ist das nicht so kritisch, aber in einer Produktionsumgebung ist es wichtig, separate Knoten für ML-Aufgaben bereitzustellen.

Die Algorithmen des maschinellen Lernens lassen sich in zwei Kategorien unterteilen — überwachtes Lernen und unüberwachtes Lernen. Im Elastic Stack gehört der Algorithmus zur Kategorie "unüberwachtes Lernen". Über diesem Link verfügbar kann man die mathematischen Grundlagen der Algorithmen des maschinellen Lernens einsehen.

Für die Durchführung von Analysen nutzt der Algorithmus des maschinellen Lernens Daten, die in den Elasticsearch-Indizes gespeichert sind. Analysaufträge können sowohl über die Kibana-Oberfläche als auch über die API erstellt werden. Bei der Durchführung über Kibana sind einige Dinge nicht zwingend erforderlich. Zum Beispiel die zusätzlichen Indizes, die der Algorithmus während seiner Arbeit verwendet.

Zusätzliche Indizes, die im Analyseprozess verwendet werden,.ml-state — Informationen über statistische Modelle (Analyseeinstellungen);
.ml-anomalies-* — Ergebnisse der Arbeit der ML-Algorithmen;
.ml-notifications — Einstellungen für Benachrichtigungen zu den Analyseergebnissen.

Die Datenstruktur in einer Elasticsearch-Datenbank besteht aus Indizes und den darin gespeicherten Dokumenten. Im Vergleich zu einer relationalen Datenbank kann ein Index mit dem Schema einer Datenbank verglichen werden, während ein Dokument einer Zeile in einer Tabelle entspricht. Diese Vergleich ist bedingt und dient der Vereinfachung des Verständnisses des folgenden Materials für diejenigen, die nur von Elasticsearch gehört haben.

Über die API steht dieselbe Funktionalität zur Verfügung wie über die Weboberfläche. Daher werden wir zur Veranschaulichung und zum Verständnis der Konzepte zeigen, wie die Einstellungen über Kibana vorgenommen werden. Im linken Menü gibt es den Abschnitt Machine Learning, in dem Sie eine neue Aufgabe (Job) erstellen können. Im Kibana-Interface sieht das aus wie auf dem Bild unten. Jetzt werden wir jeden Aufgabentyp erläutern und die Arten von Analysen zeigen, die hier konstruiert werden können.

Single Metric – Analyse einer einzelnen Metrik, Multi Metric – Analyse von zwei oder mehr Metriken. In beiden Fällen wird jede Metrik in einer isolierten Umgebung analysiert, d.h. der Algorithmus berücksichtigt das Verhalten parallel analysierter Metriken nicht, wie es im Fall von Multi Metric erscheinen könnte. Um Berechnungen unter Berücksichtigung der Korrelation verschiedener Metriken durchzuführen, kann eine Populationsanalyse angewendet werden. Advanced ist eine Feinabstimmung der Algorithmen mit zusätzlichen Optionen für spezifische Aufgaben.

Single Metric

Die Analyse von Änderungen einer einzelnen Metrik ist das Einfachste, was hier getan werden kann. Nach dem Klicken auf Create Job sucht der Algorithmus nach Anomalien.

Im Feld Aggregation Es kann eine Methode zur Anomalien-Suche ausgewählt werden. Zum Beispiel, bei Min werden Werte unterhalb der üblichen als anomale betrachtet. Es gibt Max, High Mean, Low, Mean, Distinct und weitere. Eine Beschreibung aller Funktionen kann eingesehen werden. über den Link.

Im Feld Field das numerische Feld im Dokument angeben, nach dem die Analyse durchgeführt wird.

Im Feld Bucket span — die Granularität der Intervalle auf der Zeitachse, anhand derer die Analyse durchgeführt wird. Sie können der Automatisierung vertrauen oder manuell auswählen. Im Bild unten sehen Sie ein Beispiel für zu niedrige Granularität – Sie könnten eine Anomalie übersehen. Mit dieser Einstellung können Sie die Sensibilität des Algorithmus für Anomalien ändern.

Die Dauer der gesammelten Daten ist entscheidend für die Effizienz der Analyse. Bei der Analyse bestimmt der Algorithmus wiederkehrende Intervalle, berechnet das Vertrauensintervall (Basislinien) und identifiziert Anomalien – untypische Abweichungen vom normalen Verhalten der Metrik. Nur als Beispiel:

Basislinien bei einem kleinen Datenabschnitt:

Wenn der Algorithmus etwas hat, woran er lernen kann – erscheinen die Basislinien so:

Nachdem die Aufgabe ausgeführt wurde, identifiziert der Algorithmus anomale Abweichungen von der Norm und klassifiziert sie nach der Wahrscheinlichkeit einer Anomalie (in Klammern ist die Farbe des entsprechenden Labels angegeben):

Warning (blau): weniger als 25
Minor (gelb): 25-50
Major (orange): 50-75
Critical (rot): 75-100

Im folgenden Diagramm sehen Sie ein Beispiel mit gefundenen Anomalien.

Hier sehen wir die Zahl 94, die die Wahrscheinlichkeit einer Anomalie angibt. Es ist offensichtlich, dass ein Wert nahe 100 bedeutet, dass wir es mit einer Anomalie zu tun haben. In der Spalte unter dem Diagramm wird eine vernachlässigbar geringe Wahrscheinlichkeit von 0,000063634 % angegeben, dass dort ein Metrikwert erscheint.

Neben der Anomalieerkennung in Kibana können Sie auch Vorhersagen durchführen. Dies geschieht ganz einfach aus derselben Ansicht mit Anomalien — die Schaltfläche Prognose in der oberen rechten Ecke.

Die Prognose kann maximal 8 Wochen im Voraus erstellt werden. Selbst wenn es sehr gewünscht ist — mehr ist designbedingt nicht möglich.

In einigen Situationen kann die Prognose sehr nützlich sein, zum Beispiel beim Verfolgen der Benutzerlast auf die Infrastruktur.

Multi Metric

Kommen wir zur nächsten Möglichkeit von ML im Elastic Stack — der gleichzeitigen Analyse mehrerer Metriken. Das bedeutet jedoch nicht, dass wir die Abhängigkeit einer Metrik von einer anderen analysieren. Es ist dasselbe wie bei der Einzelmetrik, nur mit mehreren Metriken auf einem Bildschirm zum besseren Vergleich der Einflüsse. Über die Analyse der Abhängigkeit einer Metrik von einer anderen werden wir im Abschnitt Bevölkerung sprechen.

Nach dem Klicken auf das Quadrat mit der Multi Metric erscheint ein Fenster mit den Einstellungen. Darauf werden wir näher eingehen.

Zunächst müssen Sie die Felder für die Analyse auswählen und die Daten entsprechend aggregieren. Die Aggregationsoptionen sind hier die gleichen wie bei Single Metric (Max, High Mean, Low, Mean, Distinct und andere). Anschließend können die Daten nach einem der Felder aufgeteilt werden (Feld Daten aufteilen). Im Beispiel haben wir dies nach dem Feld OriginAirportID. Beachten Sie, dass das Diagramm der Metriken auf der rechten Seite jetzt in Form mehrerer Grafiken dargestellt wird.

Feld Schlüsselfelder (Einflussfaktoren) beeinflusst direkt die gefundenen Anomalien. Standardmäßig wird hier immer mindestens ein Wert vorhanden sein, und Sie können zusätzliche Werte hinzufügen. Der Algorithmus wird den Einfluss dieser Felder bei der Analyse berücksichtigen und die „einflussreichsten“ Werte anzeigen.

Nach dem Starten wird im Kibana-Interface etwa dieses Bild angezeigt.

Dies ist die sogenannte Heatmap der Anomalien für jeden Wert des Feldes OriginAirportID, das wir in Daten aufteilen. Ähnlich wie im Fall von Single Metric zeigt die Farbe das Maß des anomalen Abweichens an. Eine ähnliche Analyse lässt sich bequem zum Beispiel für Arbeitsstationen durchführen, um diejenigen zu verfolgen, bei denen verdächtig viele Anmeldungen stattfinden usw. Wir haben bereits über verdächtige Ereignisse im EventLog von Windows, die ebenfalls hier gesammelt und analysiert werden können.

Unter der Wärmekarte finden Sie eine Liste von Anomalien, von denen jede zu einer Ansicht der Einzelmetrik für eine detaillierte Analyse weiterleitet.

Bevölkerung

Um Anomalien in den Korrelationen zwischen verschiedenen Metriken im Elastic Stack zu suchen, gibt es eine spezielle Analyse der Bevölkerung. Mit dieser Analyse können anomale Werte in der Leistung eines Servers im Vergleich zu anderen gefunden werden, zum Beispiel bei steigendem Anfragevolumen an das Zielsystem.

Auf dieser Abbildung wird im Feld Bevölkerung der Wert angezeigt, auf den sich die analysierten Metriken beziehen. In diesem Fall ist es der Name des Prozesses. Dadurch sehen wir, wie die CPU-Auslastung jeder dieser Prozesse sich gegenseitig beeinflusst hat.

Bitte beachten Sie, dass sich das Diagramm der analysierten Daten von den Fällen bei der Einzelmetrik und der Mehrfachmetrik unterscheidet. Dies wurde in Kibana bewusst so gestaltet, um die Wahrnehmung der Verteilung der analysierten Werte zu verbessern.

Aus dem Diagramm geht hervor, dass der Prozess stress (übrigens von einem speziellen Tool erzeugt) auf dem Server poipu, der (oder der Einflussnehmer) auf das Entstehen dieser Anomalie hatte.

Erweitert

Fein abgestimmte Analytik. Bei der Advanced-Analyse in Kibana erscheinen zusätzliche Einstellungen. Nach dem Klick im Erstellungsmenü auf die Kachel Advanced öffnet sich ein Fenster mit Registerkarten. Die Registerkarte Job Details haben wir absichtlich ausgelassen, da dort die grundlegenden Einstellungen stehen, die nicht direkt mit der Analyseeinstellung zu tun haben.

In summary_count_field_name kann optional der Name des Feldes aus den Dokumenten angegeben werden, das aggregierte Werte enthält. In diesem Beispiel handelt es sich um die Anzahl der Ereignisse pro Minute. In der categorization_field_name wird der Name eines Feldwerts aus dem Dokument angegeben, das einen variablen Wert enthält. Mit diesem Feld kann man die analysierten Daten in Untergruppen unterteilen. Achten Sie auf die Schaltfläche Add detector in der vorherigen Abbildung. Unten sehen Sie das Ergebnis des Klicks auf diese Schaltfläche.

Hier befindet sich ein zusätzlicher Einstellungsblock zur Konfiguration des Anomaliedetektors für eine bestimmte Aufgabe. Wir planen, spezifische Anwendungsfälle (insbesondere im Sicherheitsbereich) in den nächsten Artikeln zu behandeln. Zum Beispiel, sehen Sie sich einer der behandelten Fälle. Er bezieht sich auf die Suche nach selten auftretenden Werten und wird durch die Funktion rare.

Im Feld realisieren. Sie können eine spezifische Funktion zur Erkennung von Anomalien auswählen. Neben seltenen, gibt es auch ein paar interessante Funktionen — tageszeit und wochenzeit. Diese erkennen Anomalien im Verhalten der Metriken im Laufe des Tages oder der Woche. Weitere Analysefunktionen finden Sie in der Dokumentation.

In feldname gibt das Feld des Dokuments an, nach dem analysiert werden soll. nach_feldname kann verwendet werden, um die Analyseergebnisse nach jedem einzelnen Wert des hier angegebenen Dokumentfelds zu unterteilen. Wenn Sie über_feldname verwenden, erhalten Sie eine Population-Analyse, die wir zuvor betrachtet haben. Wenn Sie einen Wert in partition_feldname, angeben, werden für dieses Dokumentfeld separate Basislinien für jeden Wert berechnet (als Wert können beispielsweise der Name des Servers oder des Prozesses auf dem Server dienen). In häufig_ausgeschlossen kann ausgewählt werden all oder keine, was bedeutet, dass häufig vorkommende Werte der Dokumentfelder ausgeschlossen (oder eingeschlossen) werden.

In diesem Artikel haben wir versucht, einen kompakten Überblick über die Möglichkeiten des maschinellen Lernens im Elastic Stack zu geben. Viele Details bleiben jedoch im Hintergrund. Teilen Sie uns in den Kommentaren mit, welche Anwendungsfälle Sie mit Elastic Stack lösen konnten und für welche Aufgaben Sie ihn verwenden. Sie können uns über persönliche Nachrichten auf Habr oder das Kontaktformular auf der Website.

Quelle: habr.com