{"id":35274,"date":"2019-10-31T22:03:22","date_gmt":"2019-10-31T19:03:22","guid":{"rendered":"https:\/\/prohoster.info\/blog\/razbiraemsya-s-machine-learning-v-elastic-stack-on-zhe-elasticsearch-on-zhe-elk\/"},"modified":"2019-10-31T22:03:22","modified_gmt":"2019-10-31T19:03:22","slug":"razbiraemsya-s-machine-learning-v-elastic-stack-on-zhe-elasticsearch-on-zhe-elk","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/razbiraemsya-s-machine-learning-v-elastic-stack-on-zhe-elasticsearch-on-zhe-elk","title":{"rendered":"Wir betrachten Machine Learning im Elastic Stack (auch bekannt als Elasticsearch, auch bekannt als ELK)","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p><img decoding=\"async\" alt=\"Wir betrachten Machine Learning im Elastic Stack (auch bekannt als Elasticsearch, auch bekannt als ELK)\" src=\"\/wp-content\/uploads\/2019\/06\/8fe88b798a64e2ed8e77dbbc89558827.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nWir erinnern daran, dass die Grundlage des Elastic Stack eine nicht-relationale Datenbank namens Elasticsearch, die Web-Oberfl\u00e4che Kibana und Datenverarbeiter (am bekanntesten Logstash, verschiedene Beats, APM und andere) bildet. Eine der angenehmen Erg\u00e4nzungen dieses gesamten Produktstacks ist die Datenanalyse mithilfe von Algorithmen des maschinellen Lernens. In diesem Artikel kl\u00e4ren wir, was diese Algorithmen darstellen. Bitte klicken Sie weiter.<br \/>\n<noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><br \/>\nMaschinelles Lernen ist eine kostenpflichtige Funktion des bedingt kostenlosen Elastic Stack und Teil des X-Pack-Pakets. Um es zu nutzen, m\u00fcssen Sie nach der Installation lediglich einen 30-t\u00e4gigen Testzeitraum aktivieren. Nach Ablauf der Testphase k\u00f6nnen Sie Unterst\u00fctzung anfordern, um sie zu verl\u00e4ngern, oder ein Abonnement erwerben. Die Kosten f\u00fcr das Abonnement richten sich nicht nach dem Datenvolumen, sondern nach der Anzahl der verwendeten Nodes. Ja, das Datenvolumen beeinflusst nat\u00fcrlich die Anzahl der ben\u00f6tigten Nodes, aber dieser Ansatz zur Lizenzierung ist f\u00fcr das Budget des Unternehmens dennoch humaner. Wenn keine hohe Leistung erforderlich ist, kann man auch sparen.<\/p>\n<p>ML im Elastic Stack ist in C++ geschrieben und l\u00e4uft au\u00dferhalb der JVM, in der Elasticsearch selbst l\u00e4uft. Das hei\u00dft, der Prozess (er wird \u00fcbrigens autodetect genannt) verbraucht alles, was die JVM nicht verarbeitet. Auf der Demoplattform ist das nicht so kritisch, in einer Produktionsumgebung ist es jedoch wichtig, separate Nodes f\u00fcr die ML-Aufgaben bereitzustellen.<\/p>\n<p>Algorithmen des maschinellen Lernens lassen sich in zwei Kategorien unterteilen \u2014 <noindex><a rel=\"nofollow\" href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%9E%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5_%D1%81_%D1%83%D1%87%D0%B8%D1%82%D0%B5%D0%BB%D0%B5%D0%BC\">mit Lehrer<\/a><\/noindex> und <noindex><a rel=\"nofollow\" href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%9E%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B1%D0%B5%D0%B7_%D1%83%D1%87%D0%B8%D1%82%D0%B5%D0%BB%D1%8F\">ohne Lehrer<\/a><\/noindex>. Im Elastic Stack geh\u00f6rt der Algorithmus zur Kategorie \u201eohne Lehrer\u201c. \u00dcber <noindex><a rel=\"nofollow\" href=\"http:\/\/www.ijmlc.org\/papers\/398-LC018.pdf\">diesem Link<\/a><\/noindex> kann man das mathematische Fundament der Algorithmen des maschinellen Lernens einsehen.<\/p>\n<p>F\u00fcr die Analyse verwendet der Algorithmus des maschinellen Lernens die Daten, die in den Elasticsearch-Indizes gespeichert sind. Aufgaben f\u00fcr die Analyse k\u00f6nnen sowohl \u00fcber die Benutzeroberfl\u00e4che von Kibana als auch \u00fcber die API erstellt werden. Wenn Sie dies \u00fcber Kibana tun, m\u00fcssen Sie nicht unbedingt einige Dinge wissen. Zum Beispiel die zus\u00e4tzlichen Indizes, die der Algorithmus w\u00e4hrend seiner Arbeit verwendet. <\/p>\n<p><b class=\"spoiler_title\">Zus\u00e4tzliche Indizes, die w\u00e4hrend der Analyse verwendet werden<\/b>.ml-state \u2014 Informationen \u00fcber statistische Modelle (Analyse-Einstellungen);<br \/>\n.ml-anomalies-* \u2014 Ergebnisse der Arbeiten der ML-Algorithmen;<br \/>\n.ml-notifications \u2014 Einstellungen f\u00fcr Benachrichtigungen zu den Analyseergebnissen.<\/p>\n<p><img decoding=\"async\" alt=\"Wir betrachten Machine Learning im Elastic Stack (auch bekannt als Elasticsearch, auch bekannt als ELK)\" src=\"\/wp-content\/uploads\/2019\/06\/a6a67b0c05c6650a158d99010c2872f1.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nDie Datenstruktur in der Elasticsearch-Datenbank besteht aus Indexen und den darin gespeicherten Dokumenten. Im Vergleich zu einer relationalen Datenbank kann der Index mit dem Schema der Datenbank und das Dokument mit einem Datensatz in einer Tabelle verglichen werden. Diese Vergleich ist hypothetisch und dient der vereinfachten Verst\u00e4ndlichkeit des weiteren Materials f\u00fcr diejenigen, die nur von Elasticsearch geh\u00f6rt haben.<\/p>\n<p>Die API bietet dieselben Funktionen wie die Weboberfl\u00e4che, daher werden wir zur Veranschaulichung und zum Verst\u00e4ndnis der Konzepte zeigen, wie man dies \u00fcber Kibana einrichtet. Im linken Men\u00fc gibt es einen Bereich \u201eMachine Learning\u201c, in dem man einen neuen Job erstellen kann. In der Kibana-Oberfl\u00e4che sieht dies aus wie auf dem Bild unten. Jetzt werden wir die verschiedenen Aufgabentypen durchgehen und die Analysearten zeigen, die hier erstellt werden k\u00f6nnen.<\/p>\n<p><img decoding=\"async\" alt=\"Wir betrachten Machine Learning im Elastic Stack (auch bekannt als Elasticsearch, auch bekannt als ELK)\" src=\"\/wp-content\/uploads\/2019\/06\/c0c0bede29fbe38a72270d2128926122.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nSingle Metric \u2014 Analyse einer Metrik, Multi Metric \u2014 Analyse von zwei oder mehr Metriken. In beiden F\u00e4llen wird jede Metrik in einer isolierten Umgebung analysiert, d.h. der Algorithmus ber\u00fccksichtigt das Verhalten der parallel analysierten Metriken nicht, wie es im Fall von Multi Metric erscheinen k\u00f6nnte. Um Berechnungen unter Ber\u00fccksichtigung der Korrelation verschiedener Metriken durchzuf\u00fchren, kann die Population-Analyse verwendet werden. Advanced ist eine feine Einstellung der Algorithmen mit zus\u00e4tzlichen Optionen f\u00fcr bestimmte Aufgaben. <\/p>\n<h2>Single Metric<\/h2>\n<p>\nDie Analyse der Ver\u00e4nderungen einer einzigen Metrik ist das Einfachste, was man hier tun kann. Nach dem Klick auf \u201eCreate Job\u201c wird der Algorithmus nach Anomalien suchen.<\/p>\n<p><img decoding=\"async\" alt=\"Wir betrachten Machine Learning im Elastic Stack (auch bekannt als Elasticsearch, auch bekannt als ELK)\" src=\"\/wp-content\/uploads\/2019\/06\/d84d29539c3b97be7a15aac8708bc3be.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nIm Feld <i>Aggregation<\/i> kann der Ansatz zur Suche nach Anomalien ausgew\u00e4hlt werden. Zum Beispiel bei <i>Min<\/i> werden Werte unterhalb der typischen als anomals angesehen. Es gibt <i>Max, High Mean, Low, Mean, Distinct<\/i> und andere. Eine Beschreibung aller Funktionen kann angesehen werden. <noindex><a rel=\"nofollow\" href=\"https:\/\/www.elastic.co\/guide\/en\/elastic-stack-overview\/current\/ml-functions.html\">unter diesem Link<\/a><\/noindex>.<\/p>\n<p>Im Feld <i>Field<\/i> gibt das numerische Feld im Dokument an, nach dem wir die Analyse durchf\u00fchren werden.<\/p>\n<p>Im Feld <noindex><a rel=\"nofollow\" href=\"https:\/\/www.elastic.co\/blog\/explaining-the-bucket-span-in-machine-learning-for-elasticsearch\"><i>Bucket span<\/i><\/a><\/noindex> ist die Granularit\u00e4t der Intervalle auf der Zeitachse, nach denen die Analyse durchgef\u00fchrt wird. Man kann der Automatik vertrauen oder manuell w\u00e4hlen. Auf dem Bild unten wird ein Beispiel f\u00fcr eine zu niedrige Granularit\u00e4t gezeigt \u2014 man k\u00f6nnte eine Anomalie \u00fcbersehen. Mit dieser Einstellung kann die Empfindlichkeit des Algorithmus gegen\u00fcber Anomalien ge\u00e4ndert werden.<\/p>\n<p><img decoding=\"async\" alt=\"Wir betrachten Machine Learning im Elastic Stack (auch bekannt als Elasticsearch, auch bekannt als ELK)\" src=\"\/wp-content\/uploads\/2019\/06\/a2808c0b451703a50d74f7737332ea8b.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nDie Dauer der gesammelten Daten ist ein entscheidender Faktor, der die Effizienz der Analyse beeinflusst. Bei der Analyse bestimmt der Algorithmus die wiederkehrenden Intervalle, berechnet das Konfidenzintervall (Basislinien) und identifiziert Anomalien \u2014 atypische Abweichungen vom normalen Verhalten der Metrik. Nur als Beispiel:<\/p>\n<p>Basislinien bei einem kleinen Datenausschnitt:<\/p>\n<p><img decoding=\"async\" alt=\"Wir betrachten Machine Learning im Elastic Stack (auch bekannt als Elasticsearch, auch bekannt als ELK)\" src=\"\/wp-content\/uploads\/2019\/06\/2a3cbeaa8cf08a2a5dec87071be27db8.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nWenn der Algorithmus etwas lernen kann, sehen die Basislinien so aus:<\/p>\n<p><img decoding=\"async\" alt=\"Wir betrachten Machine Learning im Elastic Stack (auch bekannt als Elasticsearch, auch bekannt als ELK)\" src=\"\/wp-content\/uploads\/2019\/06\/13d636ab405a85d89e2ae4ebfe8bb6bd.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nNach dem Start des Auftrags identifiziert der Algorithmus anomale Abweichungen von der Norm und bewertet diese nach der Wahrscheinlichkeit der Anomalie (die Farbe des entsprechenden Labels ist in Klammern angegeben):<\/p>\n<p>Warning (blau): weniger als 25<br \/>\nMinor (gelb): 25-50<br \/>\nMajor (orange): 50-75<br \/>\nCritical (rot): 75-100<\/p>\n<p>Im folgenden Diagramm ein Beispiel mit gefundenen Anomalien.<\/p>\n<p><img decoding=\"async\" alt=\"Wir betrachten Machine Learning im Elastic Stack (auch bekannt als Elasticsearch, auch bekannt als ELK)\" src=\"\/wp-content\/uploads\/2019\/06\/ed87198f99f0cc93ffc16ce458054a9f.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nHier sieht man die Zahl 94, die die Wahrscheinlichkeitsbeschreibung einer Anomalie darstellt. Klar ist, dass, da der Wert nah an 100 ist, wir es hier mit einer Anomalie zu tun haben. In der Spalte unter dem Diagramm wird eine extrem niedrige Wahrscheinlichkeit von 0,000063634% angegeben, dass dort ein Wert der Metrik erscheint.<\/p>\n<p>Zus\u00e4tzlich zur Anomalien-Suche in Kibana kann eine Prognose gestartet werden. Das geschieht ganz einfach und aus demselben Anomalien-Dashboard heraus \u2013 \u00fcber die Schaltfl\u00e4che <i>Forecast<\/i> in der oberen rechten Ecke.<\/p>\n<p><img decoding=\"async\" alt=\"Wir betrachten Machine Learning im Elastic Stack (auch bekannt als Elasticsearch, auch bekannt als ELK)\" src=\"\/wp-content\/uploads\/2019\/06\/73429a947befb8834972ebbfe48c2d48.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nDie Prognose wird maximal f\u00fcr 8 Wochen im Voraus erstellt. Auch wenn man es sehr m\u00f6chte \u2013 mehr geht \u00fcber die Designentscheidung nicht.<\/p>\n<p><img decoding=\"async\" alt=\"Wir betrachten Machine Learning im Elastic Stack (auch bekannt als Elasticsearch, auch bekannt als ELK)\" src=\"\/wp-content\/uploads\/2019\/06\/7622608e4b952be741be486f89d1bc43.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nIn bestimmten Situationen kann die Prognose sehr n\u00fctzlich sein, zum Beispiel wenn die Benutzerlast auf die Infrastruktur \u00fcberwacht wird.<\/p>\n<h2>Multi Metric<\/h2>\n<p>\nJetzt kommen wir zur n\u00e4chsten Funktion von ML im Elastic Stack \u2013 der Analyse mehrerer Metriken auf einmal. Aber das bedeutet nicht, dass die Abh\u00e4ngigkeit einer Metrik von einer anderen analysiert wird. Es ist dasselbe wie bei der Einzelmetrik, nur mit mehreren Metriken auf einem Bildschirm, um den Einfluss des einen auf das andere bequem zu vergleichen. Die Analyse der Abh\u00e4ngigkeit einer Metrik von einer anderen werden wir im Abschnitt Population erl\u00e4utern.<\/p>\n<p>Nach dem Klicken auf das Quadrat mit Multi Metric erscheint ein Fenster mit den Einstellungen. Auf diese gehen wir n\u00e4her ein.<\/p>\n<p><img decoding=\"async\" alt=\"Wir betrachten Machine Learning im Elastic Stack (auch bekannt als Elasticsearch, auch bekannt als ELK)\" src=\"\/wp-content\/uploads\/2019\/06\/eaa06c8b24b393209ef1fb5ba9cfbd62.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nZun\u00e4chst m\u00fcssen Felder f\u00fcr die Analyse und die Aggregation der Daten ausgew\u00e4hlt werden. Die Aggregationsoptionen sind hier dieselben wie f\u00fcr die Einzelmetrik (<i>Max, High Mean, Low, Mean, Distinct<\/i> und andere). Anschlie\u00dfend k\u00f6nnen die Daten, wenn gew\u00fcnscht, nach einem der Felder aufgeteilt werden (Feld <i>Split Data<\/i>). Im Beispiel haben wir dies nach dem Feld <i>OriginAirportID<\/i>. Beachten Sie, dass das Diagramm der Metriken auf der rechten Seite nun als Vielzahl von Diagrammen dargestellt ist.<\/p>\n<p><img decoding=\"async\" alt=\"Wir betrachten Machine Learning im Elastic Stack (auch bekannt als Elasticsearch, auch bekannt als ELK)\" src=\"\/wp-content\/uploads\/2019\/06\/746a91b28a010a037c66a569fcf47a1b.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nFeld <i>Key Fields (Influencers)<\/i> beeinflusst direkt die gefundenen Anomalien. Standardm\u00e4\u00dfig wird hier immer mindestens ein Wert vorhanden sein, und Sie k\u00f6nnen zus\u00e4tzliche hinzuf\u00fcgen. Der Algorithmus wird den Einfluss dieser Felder bei der Analyse ber\u00fccksichtigen und die \u201eeinflussreichsten\u201c Werte anzeigen.<\/p>\n<p>Nach dem Start wird im Kibana-Interface etwa so ein Bild erscheinen.<\/p>\n<p><img decoding=\"async\" alt=\"Wir betrachten Machine Learning im Elastic Stack (auch bekannt als Elasticsearch, auch bekannt als ELK)\" src=\"\/wp-content\/uploads\/2019\/06\/c6efd8f4815ad150b046c82780c36574.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nDas ist die sogenannte Heatmap der Anomalien f\u00fcr jeden Wert des Feldes <i>OriginAirportID<\/i>, das wir angegeben haben. <i>Split Data<\/i>. Wie bei der Single Metric bedeutet die Farbe das Niveau der anormalen Abweichung. Eine \u00e4hnliche Analyse l\u00e4sst sich beispielsweise an Arbeitsstationen durchf\u00fchren, um diejenigen zu identifizieren, bei denen verd\u00e4chtig viele Autorisierungen stattfinden usw. Wir haben bereits dar\u00fcber berichtet <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/galssoftware\/blog\/447522\/\">\u00fcber verd\u00e4chtige Ereignisse im EventLog Windows<\/a><\/noindex>, die ebenfalls hier gesammelt und analysiert werden k\u00f6nnen.<\/p>\n<p>Unter der Heatmap befindet sich die Liste der Anomalien, \u00fcber jede kann man zur Single Metric Ansicht f\u00fcr eine detaillierte Analyse wechseln.<\/p>\n<h2>Population<\/h2>\n<p>\nUm Anomalien unter den Korrelationen zwischen verschiedenen Metriken im Elastic Stack zu suchen, gibt es eine spezialisierte Population-Analyse. Mithilfe dieser l\u00e4sst sich nach anormalen Werten in der Leistung eines Servers im Vergleich zu anderen suchen, zum Beispiel bei steigender Anzahl von Anfragen an das Zielsystem.<\/p>\n<p><img decoding=\"async\" alt=\"Wir betrachten Machine Learning im Elastic Stack (auch bekannt als Elasticsearch, auch bekannt als ELK)\" src=\"\/wp-content\/uploads\/2019\/06\/00542d57f2a937d424b2db5e692a6289.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nIn dieser Illustration zeigt das Feld Population den Wert, auf den sich die analysierten Metriken beziehen. In diesem Fall ist es der Prozessname. In der Folge sehen wir, wie die CPU-Auslastung jedes Prozesses sich gegenseitig beeinflusste.<\/p>\n<p>Bitte beachten Sie, dass das Diagramm der analysierten Daten von den F\u00e4llen mit Single Metric und Multi Metric abweicht. Dies wurde in Kibana absichtlich so gestaltet, um die Wahrnehmung der Verteilung der Werte analysierter Daten zu verbessern.<\/p>\n<p><img decoding=\"async\" alt=\"Wir betrachten Machine Learning im Elastic Stack (auch bekannt als Elasticsearch, auch bekannt als ELK)\" src=\"\/wp-content\/uploads\/2019\/06\/4af704044bf544ca6cd221404288e6c4.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nAus dem Diagramm ist ersichtlich, dass der Prozess <i>stress<\/i> (\u00fcbrigens verursacht durch ein spezielles Tool) auf dem Server <i>poipu<\/i>, der (oder eine Einflussnehmerin) auf das Auftreten dieser Anomalie Einfluss hatte.<\/p>\n<h2>Advanced<\/h2>\n<p>\nAnalyse mit feiner Abstimmung. Bei der erweiterten Analyse in Kibana erscheinen zus\u00e4tzliche Einstellungen. Nach dem Klicken im Erstellungsmen\u00fc auf das Kachel-Advanced \u00f6ffnet sich ein solches Fenster mit Tabs. Der Tab <i>Job Details<\/i> wurde absichtlich ausgelassen, dort befinden sich grundlegende Einstellungen, die nicht direkt zur Analyseeinstellung geh\u00f6ren.<\/p>\n<p><img decoding=\"async\" alt=\"Wir betrachten Machine Learning im Elastic Stack (auch bekannt als Elasticsearch, auch bekannt als ELK)\" src=\"\/wp-content\/uploads\/2019\/06\/abe7941ad56acf3ee7ab992fa5fe7b94.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nIm <i>summary_count_field_name<\/i> kann optional der Name des Feldes in Dokumenten angegeben werden, das aggregierte Werte enth\u00e4lt. In diesem Beispiel handelt es sich um die Anzahl der Ereignisse pro Minute. In <noindex><a rel=\"nofollow\" href=\"https:\/\/www.elastic.co\/guide\/en\/elastic-stack-overview\/current\/ml-configuring-categories.html\"><i>categorization_field_name<\/i><\/a><\/noindex> wird der Name des Feldes aus dem Dokument angegeben, das einen variablen Wert enth\u00e4lt. Nach diesem Feld k\u00f6nnen die analysierten Daten in Teilmengen unterteilt werden. Bitte beachten Sie die Schaltfl\u00e4che <i>Add detector<\/i> in der vorherigen Abbildung. Unten das Ergebnis des Klicks auf diese Schaltfl\u00e4che.<\/p>\n<p><img decoding=\"async\" alt=\"Wir betrachten Machine Learning im Elastic Stack (auch bekannt als Elasticsearch, auch bekannt als ELK)\" src=\"\/wp-content\/uploads\/2019\/06\/cce9a6401d6baa72c68b8e0c3c6ab209.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nHier ist ein zus\u00e4tzlicher Einstellungsblock zur Anpassung des Anomalie-Detektors an eine bestimmte Aufgabe. Konkrete Anwendungsf\u00e4lle (insbesondere im Bereich Sicherheit) planen wir in den kommenden Artikeln zu behandeln. Zum Beispiel, <noindex><a rel=\"nofollow\" href=\"https:\/\/discuss.elastic.co\/t\/dec-4th-2018-en-ml-rarity-analysis-with-machine-learning\/158979\">schauen Sie sich<\/a><\/noindex> einen der behandelten F\u00e4lle an. Er steht im Zusammenhang mit der Suche nach selten auftretenden Werten und wird durch <noindex><a rel=\"nofollow\" href=\"https:\/\/www.elastic.co\/guide\/en\/elastic-stack-overview\/7.1\/ml-rare-functions.html\">die Funktion rare<\/a><\/noindex>.<\/p>\n<p>Im Feld <i>function<\/i> kann eine bestimmte Funktion zur Anomaliesuche ausgew\u00e4hlt werden. Neben <i>rare<\/i>, gibt es noch ein paar interessante Funktionen \u2014 <noindex><a rel=\"nofollow\" href=\"https:\/\/www.elastic.co\/guide\/en\/elastic-stack-overview\/7.1\/ml-time-functions.html\"><i>time_of_day<\/i> und <i>time_of_week<\/i><\/a><\/noindex>. Sie identifizieren Anomalien im Verhalten der Metriken im Verlauf des Tages oder der Woche. Weitere Analysefunktionen <noindex><a rel=\"nofollow\" href=\"https:\/\/www.elastic.co\/guide\/en\/elastic-stack-overview\/7.1\/ml-functions.html\">finden Sie in der Dokumentation<\/a><\/noindex>.<\/p>\n<p>Im <i>field_name<\/i> gibt das Dokumentenfeld an, nach dem die Analyse durchgef\u00fchrt wird. <i>By_field_name<\/i> kann verwendet werden, um die Analyseergebnisse nach jedem einzelnen Wert des hier angegebenen Dokumentenfeldes zu trennen. Wenn Sie <i>over_field_name<\/i> ausf\u00fcllen, erhalten wir die Population-Analyse, die wir oben behandelt haben. Wenn ein Wert in <i>partition_field_name<\/i>, angegeben wird, werden f\u00fcr dieses Dokumentenfeld separate Basislinien f\u00fcr jeden Wert berechnet (als Wert k\u00f6nnen beispielsweise der Name des Servers oder der Prozess auf dem Server fungieren). In <i>exclude_frequent<\/i> kann ausgew\u00e4hlt werden <i>all<\/i> oder <i>none<\/i>, was bedeutet, dass h\u00e4ufige Werte des Dokumentenfeldes ausgeschlossen (oder einbezogen) werden.<\/p>\n<p>In diesem Artikel haben wir versucht, eine m\u00f6glichst knappe Vorstellung von den M\u00f6glichkeiten des maschinellen Lernens im Elastic Stack zu geben, es gibt jedoch noch viele Details, die unerw\u00e4hnt geblieben sind. Erz\u00e4hlen Sie in den Kommentaren, welche Anwendungsf\u00e4lle Sie mit Elastic Stack l\u00f6sen konnten und f\u00fcr welche Aufgaben Sie es verwenden. F\u00fcr die Kontaktaufnahme mit uns k\u00f6nnen Sie pers\u00f6nliche Nachrichten auf Habr oder <noindex><a rel=\"nofollow\" href=\"https:\/\/gals.software\/solutions\/elasticstack\">das Kontaktformular auf der Website verwenden.<\/a><\/noindex>.<br \/>\n<br \/>Quelle: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/galssoftware\/blog\/455387\/\">habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u041d\u0430\u043f\u043e\u043c\u043d\u0438\u043c, \u0447\u0442\u043e \u0432 \u043e\u0441\u043d\u043e\u0432\u0435 Elastic Stack \u043b\u0435\u0436\u0430\u0442 \u043d\u0435\u0440\u0435\u043b\u044f\u0446\u0438\u043e\u043d\u043d\u0430\u044f \u0431\u0430\u0437\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 Elasticsearch, \u0432\u0435\u0431-\u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441 Kibana \u0438 \u0441\u0431\u043e\u0440\u0449\u0438\u043a\u0438-\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 (\u0441\u0430\u043c\u044b\u0439 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u0439 Logstash, \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 Beats, APM \u0438 \u0434\u0440\u0443\u0433\u0438\u0435). \u041e\u0434\u043d\u043e \u0438\u0437 \u043f\u0440\u0438\u044f\u0442\u043d\u044b\u0445 \u0434\u043e\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0439 \u0432\u0441\u0435\u0433\u043e \u043f\u0435\u0440\u0435\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u0441\u0442\u0435\u043a\u0430 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432 \u2014 \u0430\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445 \u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u0412 \u0441\u0442\u0430\u0442\u044c\u0435 \u043c\u044b \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0435\u043c\u0441\u044f \u0447\u0442\u043e \u0438\u0437 \u0441\u0435\u0431\u044f \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442 \u044d\u0442\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b. \u041f\u0440\u043e\u0441\u0438\u043c \u043f\u043e\u0434 \u043a\u0430\u0442. \u041c\u0430\u0448\u0438\u043d\u043d\u043e\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":26487,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-35274","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.2 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u041d\u0430\u043f\u043e\u043c\u043d\u0438\u043c.\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/razbiraemsya-s-machine-learning-v-elastic-stack-on-zhe-elasticsearch-on-zhe-elk\" \/>\n\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.2\" \/>\n\t\t<meta property=\"og:locale\" content=\"de_DE\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u0420\u0430\u0437\u0431\u0438\u0440\u0430\u0435\u043c\u0441\u044f \u0441 Machine Learning \u0432 Elastic Stack (\u043e\u043d \u0436\u0435 Elasticsearch, \u043e\u043d \u0436\u0435 ELK) | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u041d\u0430\u043f\u043e\u043c\u043d\u0438\u043c.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/razbiraemsya-s-machine-learning-v-elastic-stack-on-zhe-elasticsearch-on-zhe-elk\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2019-10-31T19:03:22+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2019-10-31T19:03:22+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Wir besch\u00e4ftigen uns mit Machine Learning im Elastic Stack (auch bekannt als Elasticsearch oder ELK) | ProHoster","description":"Wir erinnern Sie daran.","canonical_url":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/razbiraemsya-s-machine-learning-v-elastic-stack-on-zhe-elasticsearch-on-zhe-elk","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"de_DE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u0420\u0430\u0437\u0431\u0438\u0440\u0430\u0435\u043c\u0441\u044f \u0441 Machine Learning \u0432 Elastic Stack (\u043e\u043d \u0436\u0435 Elasticsearch, \u043e\u043d \u0436\u0435 ELK) | ProHoster","og:description":"\u041d\u0430\u043f\u043e\u043c\u043d\u0438\u043c.","og:url":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/razbiraemsya-s-machine-learning-v-elastic-stack-on-zhe-elasticsearch-on-zhe-elk","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T19:03:22+00:00","article:modified_time":"2019-10-31T19:03:22+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"35274","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-21 22:37:19","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 02:07:28","updated":"2026-01-21 22:37:19","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/35274","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/comments?post=35274"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/35274\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media\/26487"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media?parent=35274"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/categories?post=35274"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/tags?post=35274"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}