Wir betrachten Machine Learning im Elastic Stack (auch bekannt als Elasticsearch, auch bekannt als ELK)

Wir erinnern daran, dass die Grundlage des Elastic Stack eine nicht-relationale Datenbank namens Elasticsearch, die Web-Oberfläche Kibana und Datenverarbeiter (am bekanntesten Logstash, verschiedene Beats, APM und andere) bildet. Eine der angenehmen Ergänzungen dieses gesamten Produktstacks ist die Datenanalyse mithilfe von Algorithmen des maschinellen Lernens. In diesem Artikel klären wir, was diese Algorithmen darstellen. Bitte klicken Sie weiter.

Maschinelles Lernen ist eine kostenpflichtige Funktion des bedingt kostenlosen Elastic Stack und Teil des X-Pack-Pakets. Um es zu nutzen, müssen Sie nach der Installation lediglich einen 30-tägigen Testzeitraum aktivieren. Nach Ablauf der Testphase können Sie Unterstützung anfordern, um sie zu verlängern, oder ein Abonnement erwerben. Die Kosten für das Abonnement richten sich nicht nach dem Datenvolumen, sondern nach der Anzahl der verwendeten Nodes. Ja, das Datenvolumen beeinflusst natürlich die Anzahl der benötigten Nodes, aber dieser Ansatz zur Lizenzierung ist für das Budget des Unternehmens dennoch humaner. Wenn keine hohe Leistung erforderlich ist, kann man auch sparen.

ML im Elastic Stack ist in C++ geschrieben und läuft außerhalb der JVM, in der Elasticsearch selbst läuft. Das heißt, der Prozess (er wird übrigens autodetect genannt) verbraucht alles, was die JVM nicht verarbeitet. Auf der Demoplattform ist das nicht so kritisch, in einer Produktionsumgebung ist es jedoch wichtig, separate Nodes für die ML-Aufgaben bereitzustellen.

Algorithmen des maschinellen Lernens lassen sich in zwei Kategorien unterteilen — mit Lehrer und ohne Lehrer. Im Elastic Stack gehört der Algorithmus zur Kategorie „ohne Lehrer“. Über diesem Link kann man das mathematische Fundament der Algorithmen des maschinellen Lernens einsehen.

Für die Analyse verwendet der Algorithmus des maschinellen Lernens die Daten, die in den Elasticsearch-Indizes gespeichert sind. Aufgaben für die Analyse können sowohl über die Benutzeroberfläche von Kibana als auch über die API erstellt werden. Wenn Sie dies über Kibana tun, müssen Sie nicht unbedingt einige Dinge wissen. Zum Beispiel die zusätzlichen Indizes, die der Algorithmus während seiner Arbeit verwendet.

Zusätzliche Indizes, die während der Analyse verwendet werden.ml-state — Informationen über statistische Modelle (Analyse-Einstellungen);
.ml-anomalies-* — Ergebnisse der Arbeiten der ML-Algorithmen;
.ml-notifications — Einstellungen für Benachrichtigungen zu den Analyseergebnissen.

Die Datenstruktur in der Elasticsearch-Datenbank besteht aus Indexen und den darin gespeicherten Dokumenten. Im Vergleich zu einer relationalen Datenbank kann der Index mit dem Schema der Datenbank und das Dokument mit einem Datensatz in einer Tabelle verglichen werden. Diese Vergleich ist hypothetisch und dient der vereinfachten Verständlichkeit des weiteren Materials für diejenigen, die nur von Elasticsearch gehört haben.

Die API bietet dieselben Funktionen wie die Weboberfläche, daher werden wir zur Veranschaulichung und zum Verständnis der Konzepte zeigen, wie man dies über Kibana einrichtet. Im linken Menü gibt es einen Bereich „Machine Learning“, in dem man einen neuen Job erstellen kann. In der Kibana-Oberfläche sieht dies aus wie auf dem Bild unten. Jetzt werden wir die verschiedenen Aufgabentypen durchgehen und die Analysearten zeigen, die hier erstellt werden können.

Single Metric — Analyse einer Metrik, Multi Metric — Analyse von zwei oder mehr Metriken. In beiden Fällen wird jede Metrik in einer isolierten Umgebung analysiert, d.h. der Algorithmus berücksichtigt das Verhalten der parallel analysierten Metriken nicht, wie es im Fall von Multi Metric erscheinen könnte. Um Berechnungen unter Berücksichtigung der Korrelation verschiedener Metriken durchzuführen, kann die Population-Analyse verwendet werden. Advanced ist eine feine Einstellung der Algorithmen mit zusätzlichen Optionen für bestimmte Aufgaben.

Single Metric

Die Analyse der Veränderungen einer einzigen Metrik ist das Einfachste, was man hier tun kann. Nach dem Klick auf „Create Job“ wird der Algorithmus nach Anomalien suchen.

Im Feld Aggregation kann der Ansatz zur Suche nach Anomalien ausgewählt werden. Zum Beispiel bei Min werden Werte unterhalb der typischen als anomals angesehen. Es gibt Max, High Mean, Low, Mean, Distinct und andere. Eine Beschreibung aller Funktionen kann angesehen werden. unter diesem Link.

Im Feld Field gibt das numerische Feld im Dokument an, nach dem wir die Analyse durchführen werden.

Im Feld Bucket span ist die Granularität der Intervalle auf der Zeitachse, nach denen die Analyse durchgeführt wird. Man kann der Automatik vertrauen oder manuell wählen. Auf dem Bild unten wird ein Beispiel für eine zu niedrige Granularität gezeigt — man könnte eine Anomalie übersehen. Mit dieser Einstellung kann die Empfindlichkeit des Algorithmus gegenüber Anomalien geändert werden.

Die Dauer der gesammelten Daten ist ein entscheidender Faktor, der die Effizienz der Analyse beeinflusst. Bei der Analyse bestimmt der Algorithmus die wiederkehrenden Intervalle, berechnet das Konfidenzintervall (Basislinien) und identifiziert Anomalien — atypische Abweichungen vom normalen Verhalten der Metrik. Nur als Beispiel:

Basislinien bei einem kleinen Datenausschnitt:

Wenn der Algorithmus etwas lernen kann, sehen die Basislinien so aus:

Nach dem Start des Auftrags identifiziert der Algorithmus anomale Abweichungen von der Norm und bewertet diese nach der Wahrscheinlichkeit der Anomalie (die Farbe des entsprechenden Labels ist in Klammern angegeben):

Warning (blau): weniger als 25
Minor (gelb): 25-50
Major (orange): 50-75
Critical (rot): 75-100

Im folgenden Diagramm ein Beispiel mit gefundenen Anomalien.

Hier sieht man die Zahl 94, die die Wahrscheinlichkeitsbeschreibung einer Anomalie darstellt. Klar ist, dass, da der Wert nah an 100 ist, wir es hier mit einer Anomalie zu tun haben. In der Spalte unter dem Diagramm wird eine extrem niedrige Wahrscheinlichkeit von 0,000063634% angegeben, dass dort ein Wert der Metrik erscheint.

Zusätzlich zur Anomalien-Suche in Kibana kann eine Prognose gestartet werden. Das geschieht ganz einfach und aus demselben Anomalien-Dashboard heraus – über die Schaltfläche Forecast in der oberen rechten Ecke.

Die Prognose wird maximal für 8 Wochen im Voraus erstellt. Auch wenn man es sehr möchte – mehr geht über die Designentscheidung nicht.

In bestimmten Situationen kann die Prognose sehr nützlich sein, zum Beispiel wenn die Benutzerlast auf die Infrastruktur überwacht wird.

Multi Metric

Jetzt kommen wir zur nächsten Funktion von ML im Elastic Stack – der Analyse mehrerer Metriken auf einmal. Aber das bedeutet nicht, dass die Abhängigkeit einer Metrik von einer anderen analysiert wird. Es ist dasselbe wie bei der Einzelmetrik, nur mit mehreren Metriken auf einem Bildschirm, um den Einfluss des einen auf das andere bequem zu vergleichen. Die Analyse der Abhängigkeit einer Metrik von einer anderen werden wir im Abschnitt Population erläutern.

Nach dem Klicken auf das Quadrat mit Multi Metric erscheint ein Fenster mit den Einstellungen. Auf diese gehen wir näher ein.

Zunächst müssen Felder für die Analyse und die Aggregation der Daten ausgewählt werden. Die Aggregationsoptionen sind hier dieselben wie für die Einzelmetrik (Max, High Mean, Low, Mean, Distinct und andere). Anschließend können die Daten, wenn gewünscht, nach einem der Felder aufgeteilt werden (Feld Split Data). Im Beispiel haben wir dies nach dem Feld OriginAirportID. Beachten Sie, dass das Diagramm der Metriken auf der rechten Seite nun als Vielzahl von Diagrammen dargestellt ist.

Feld Key Fields (Influencers) beeinflusst direkt die gefundenen Anomalien. Standardmäßig wird hier immer mindestens ein Wert vorhanden sein, und Sie können zusätzliche hinzufügen. Der Algorithmus wird den Einfluss dieser Felder bei der Analyse berücksichtigen und die „einflussreichsten“ Werte anzeigen.

Nach dem Start wird im Kibana-Interface etwa so ein Bild erscheinen.

Das ist die sogenannte Heatmap der Anomalien für jeden Wert des Feldes OriginAirportID, das wir angegeben haben. Split Data. Wie bei der Single Metric bedeutet die Farbe das Niveau der anormalen Abweichung. Eine ähnliche Analyse lässt sich beispielsweise an Arbeitsstationen durchführen, um diejenigen zu identifizieren, bei denen verdächtig viele Autorisierungen stattfinden usw. Wir haben bereits darüber berichtet über verdächtige Ereignisse im EventLog Windows, die ebenfalls hier gesammelt und analysiert werden können.

Unter der Heatmap befindet sich die Liste der Anomalien, über jede kann man zur Single Metric Ansicht für eine detaillierte Analyse wechseln.

Population

Um Anomalien unter den Korrelationen zwischen verschiedenen Metriken im Elastic Stack zu suchen, gibt es eine spezialisierte Population-Analyse. Mithilfe dieser lässt sich nach anormalen Werten in der Leistung eines Servers im Vergleich zu anderen suchen, zum Beispiel bei steigender Anzahl von Anfragen an das Zielsystem.

In dieser Illustration zeigt das Feld Population den Wert, auf den sich die analysierten Metriken beziehen. In diesem Fall ist es der Prozessname. In der Folge sehen wir, wie die CPU-Auslastung jedes Prozesses sich gegenseitig beeinflusste.

Bitte beachten Sie, dass das Diagramm der analysierten Daten von den Fällen mit Single Metric und Multi Metric abweicht. Dies wurde in Kibana absichtlich so gestaltet, um die Wahrnehmung der Verteilung der Werte analysierter Daten zu verbessern.

Aus dem Diagramm ist ersichtlich, dass der Prozess stress (übrigens verursacht durch ein spezielles Tool) auf dem Server poipu, der (oder eine Einflussnehmerin) auf das Auftreten dieser Anomalie Einfluss hatte.

Advanced

Analyse mit feiner Abstimmung. Bei der erweiterten Analyse in Kibana erscheinen zusätzliche Einstellungen. Nach dem Klicken im Erstellungsmenü auf das Kachel-Advanced öffnet sich ein solches Fenster mit Tabs. Der Tab Job Details wurde absichtlich ausgelassen, dort befinden sich grundlegende Einstellungen, die nicht direkt zur Analyseeinstellung gehören.

Im summary_count_field_name kann optional der Name des Feldes in Dokumenten angegeben werden, das aggregierte Werte enthält. In diesem Beispiel handelt es sich um die Anzahl der Ereignisse pro Minute. In categorization_field_name wird der Name des Feldes aus dem Dokument angegeben, das einen variablen Wert enthält. Nach diesem Feld können die analysierten Daten in Teilmengen unterteilt werden. Bitte beachten Sie die Schaltfläche Add detector in der vorherigen Abbildung. Unten das Ergebnis des Klicks auf diese Schaltfläche.

Hier ist ein zusätzlicher Einstellungsblock zur Anpassung des Anomalie-Detektors an eine bestimmte Aufgabe. Konkrete Anwendungsfälle (insbesondere im Bereich Sicherheit) planen wir in den kommenden Artikeln zu behandeln. Zum Beispiel, schauen Sie sich einen der behandelten Fälle an. Er steht im Zusammenhang mit der Suche nach selten auftretenden Werten und wird durch die Funktion rare.

Im Feld function kann eine bestimmte Funktion zur Anomaliesuche ausgewählt werden. Neben rare, gibt es noch ein paar interessante Funktionen — time_of_day und time_of_week. Sie identifizieren Anomalien im Verhalten der Metriken im Verlauf des Tages oder der Woche. Weitere Analysefunktionen finden Sie in der Dokumentation.

Im field_name gibt das Dokumentenfeld an, nach dem die Analyse durchgeführt wird. By_field_name kann verwendet werden, um die Analyseergebnisse nach jedem einzelnen Wert des hier angegebenen Dokumentenfeldes zu trennen. Wenn Sie over_field_name ausfüllen, erhalten wir die Population-Analyse, die wir oben behandelt haben. Wenn ein Wert in partition_field_name, angegeben wird, werden für dieses Dokumentenfeld separate Basislinien für jeden Wert berechnet (als Wert können beispielsweise der Name des Servers oder der Prozess auf dem Server fungieren). In exclude_frequent kann ausgewählt werden all oder none, was bedeutet, dass häufige Werte des Dokumentenfeldes ausgeschlossen (oder einbezogen) werden.

In diesem Artikel haben wir versucht, eine möglichst knappe Vorstellung von den Möglichkeiten des maschinellen Lernens im Elastic Stack zu geben, es gibt jedoch noch viele Details, die unerwähnt geblieben sind. Erzählen Sie in den Kommentaren, welche Anwendungsfälle Sie mit Elastic Stack lösen konnten und für welche Aufgaben Sie es verwenden. Für die Kontaktaufnahme mit uns können Sie persönliche Nachrichten auf Habr oder das Kontaktformular auf der Website verwenden..

Quelle: habr.com