Loosst eis drun erënneren datt den Elastic Stack baséiert op der net-relationaler Elasticsearch Datebank, der Kibana Web Interface an Datesammler a Prozessoren (de bekannteste Logstash, verschidde Beats, APM an anerer). Ee vun de flotten Ergänzunge fir de ganze opgezielte Produktstack ass Datenanalyse mat Maschinnléieralgorithmen. Am Artikel verstoen mir wat dës Algorithmen sinn. Weg ënner Kaz.
Maschinnléieren ass eng bezuelte Feature vum Shareware Elastic Stack an ass am X-Pack abegraff. Fir et ze benotzen, aktivéiert just den 30 Deeg Test no der Installatioun. Nodeems d'Proufzäit ofleeft, kënnt Dir Ënnerstëtzung ufroen fir se ze verlängeren oder en Abonnement ze kafen. D'Abonnementskäschte ginn berechent net op Basis vum Volume vun den Donnéeën, mee op der Unzuel vun den Noden benotzt. Nee, de Volume vun den Donnéeën beaflosst natierlech d'Zuel vun den erfuerderlechen Noden, awer nach ëmmer ass dës Approche fir d'Lizenz méi human a Relatioun mam Budget vun der Firma. Wann et kee Besoin fir héich Produktivitéit ass, kënnt Dir Sue spueren.
ML am Elastic Stack ass an C++ geschriwwen a leeft ausserhalb vum JVM, an deem Elasticsearch selwer leeft. Dat ass, de Prozess (iwwregens, et gëtt Autodetect genannt) verbraucht alles wat de JVM net drénkt. Op engem Demo Stand ass dëst net sou kritesch, awer an engem Produktiounsëmfeld ass et wichteg separat Noden fir ML Aufgaben ze verdeelen.
Maschinn Léieren Algorithmen falen an zwou Kategorien - и . Am Elastesche Stack ass den Algorithmus an der Kategorie "net iwwerwaacht". Vun Dir kënnt de mathemateschen Apparat vu Maschinnléiere Algorithmen gesinn.
Fir d'Analyse auszeféieren, benotzt de Maschinnléier Algorithmus Daten, déi an Elasticsearch Indexen gespäichert sinn. Dir kënnt Aufgaben fir Analyse souwuel aus der Kibana Interface an duerch d'API erstellen. Wann Dir dëst duerch Kibana maacht, da musst Dir e puer Saachen net wëssen. Zum Beispill zousätzlech Indizes déi den Algorithmus während senger Operatioun benotzt.
Zousätzlech Indizes déi am Analyseprozess benotzt ginn.ml-Staat - Informatiounen iwwer statistesch Modeller (Analyse Astellungen);
.ml-Anomalies-* - Resultater vun ML Algorithmen;
.ml-Notifikatiounen - Astellunge fir Notifikatiounen op Basis vun Analyseresultater.
D'Datestruktur an der Elasticsearch Datebank besteet aus Indexen an Dokumenter déi an hinnen gespäichert sinn. Wann Dir mat enger relationaler Datebank vergläicht, kann en Index mat engem Datebankschema verglach ginn, an en Dokument mat engem Rekord an enger Tabell. Dëse Verglach ass bedingt a gëtt zur Verfügung gestallt fir d'Verstoe vu weidert Material ze vereinfachen fir déi, déi nëmmen iwwer Elasticsearch héieren hunn.
Déi selwecht Funktionalitéit ass verfügbar iwwer d'API wéi iwwer d'Webinterface, also fir Kloerheet a Verständnis vun de Konzepter wäerte mir weisen wéi et duerch Kibana konfiguréiert gëtt. Am Menü op der lénker Säit gëtt et eng Machine Learning Sektioun wou Dir en neien Job erstellt. Am Kibana Interface gesäit et aus wéi d'Bild hei drënner. Elo wäerte mir all Zort vun Aufgab analyséieren a weisen d'Typen vun Analyse déi hei konstruéiert kënne ginn.
Single Metric - Analyse vun enger Metrik, Multi Metric - Analyse vun zwou oder méi Metriken. A béide Fäll gëtt all Metrik an engem isoléierten Ëmfeld analyséiert, d.h. den Algorithmus berücksichtegt d'Behuele vu parallele analyséierte Metriken net, wéi et am Fall vu Multi Metric schéngt. Fir Berechnungen auszeféieren andeems Dir d'Korrelatioun vu verschiddene Metriken berücksichtegt, kënnt Dir Bevëlkerungsanalyse benotzen. An Advanced finjustéiert d'Algorithmen mat zousätzlech Optiounen fir verschidden Aufgaben.
Eenzel Metric
Analyse vun Ännerungen an enger eenzeger Metrik ass déi einfachst Saach déi hei gemaach ka ginn. Nodeems Dir op Job erstellen klickt, sicht den Algorithmus no Anomalien.
Am Beräich Aggregatioun Dir kënnt eng Approche wielen fir no Anomalien ze sichen. Zum Beispill, wann niddreg Wäerter ënner typesche Wäerter ginn als anomal ugesinn. Iessen Max, Héich mëttler, niddereg, mëttler, ënnerscheet an anerer. Beschreiwunge vun all Funktiounen kann fonnt ginn .
Am Beräich Beräich weist dat numerescht Feld am Dokument un op deem mir d'Analyse maachen.
Am Beräich - Granularitéit vun Intervalle op der Timeline laanscht déi d'Analyse duerchgefouert gëtt. Dir kënnt d'Automatisatioun vertrauen oder manuell wielen. D'Bild hei drënner ass e Beispill vu Granularitéit ze niddreg - Dir kënnt d'Anomalie verpassen. Mat dëser Astellung kënnt Dir d'Sensibilitéit vum Algorithmus op Anomalien änneren.
D'Dauer vun den gesammelten Donnéeën ass eng Schlëssel Saach déi d'Effektivitéit vun der Analyse beaflosst. Wärend der Analyse identifizéiert den Algorithmus widderhuelend Intervalle, berechent Vertrauensintervallen (Basislinnen) an identifizéiert Anomalien - atypesch Ofwäichunge vum gewéinleche Verhalen vun der Metrik. Just zum Beispill:
Baselines mat engem klenge Stéck Daten:
Wann den Algorithmus eppes ze léieren huet, gesäit d'Basislinn esou aus:
Nom Start vun der Aufgab bestëmmt den Algorithmus anomal Ofwäichunge vun der Norm a rangéiert se no der Wahrscheinlechkeet vun enger Anomalie (d'Faarf vum entspriechende Label gëtt an Klammeren uginn):
Warnung (blo): manner wéi 25
Mannerjäreger (giel): 25-50
Major (orange): 50-75
kritesch (rout): 75-100
D'Grafik hei ënnen weist e Beispill vun den fonnt Anomalien.
Hei kënnt Dir d'Nummer 94 gesinn, déi d'Wahrscheinlechkeet vun enger Anomalie beweist. Et ass kloer datt well de Wäert no bei 100 ass, heescht et datt mir eng Anomalie hunn. D'Kolonn ënner der Grafik weist déi pejorativ kleng Wahrscheinlechkeet vun 0.000063634% vum metresche Wäert deen do erschéngt.
Zousätzlech fir no Anomalien ze sichen, kënnt Dir Prognosen zu Kibana lafen. Dëst gëtt einfach gemaach an aus der selwechter Vue mat Anomalien - Knäppchen prognostizéiert am Eck uewe riets.
D'Prognose gëtt fir maximal 8 Wochen am Viraus gemaach. Och wann Dir wierklech wëllt, ass et net méi duerch Design méiglech.
A verschiddene Situatiounen wäert d'Prognose ganz nëtzlech sinn, zum Beispill wann Dir d'Benotzerbelaaschtung op der Infrastruktur iwwerwaacht.
Multi Metresch
Loosst eis op déi nächst ML Feature am Elastesche Stack goen - e puer Metriken an enger Batch analyséieren. Awer dëst bedeit net datt d'Ofhängegkeet vun enger Metrik vun enger anerer analyséiert gëtt. Dëst ass d'selwecht wéi Single Metric, awer mat multiple Metriken op engem Écran fir einfache Verglach vum Impakt vun engem op deen aneren. Mir schwätzen iwwer d'Analyse vun der Ofhängegkeet vun enger Metrik vun enger anerer an der Populatiounssektioun.
Nodeems Dir op de Quadrat mat Multi Metric klickt, erschéngt eng Fënster mat Astellungen. Loosst eis se méi am Detail kucken.
Als éischt musst Dir d'Felder fir Analyse an Datenaggregatioun op hinnen auswielen. D'Aggregatiounsoptiounen hei sinn d'selwecht wéi fir Single Metric (Max, Héich mëttler, niddereg, mëttler, ënnerscheet an anerer). Weider, wann Dir wëllt, ginn d'Donnéeën an ee vun de Felder opgedeelt (Feld Split Daten). Am Beispill hu mir dat duerch Feld gemaach OriginAirportID. Notéiert datt d'Metrikgrafik op der rietser elo als Multiple Grafike presentéiert gëtt.
Beräich Schlësselfelder (Influencer) beaflosst direkt déi entdeckt Anomalien. Par défaut gëtt et ëmmer op d'mannst ee Wäert hei, an Dir kënnt zousätzlech dobäi. Den Algorithmus wäert den Afloss vun dëse Felder bei der Analyse berücksichtegen an déi meescht "aflossräich" Wäerter weisen.
Nom Start erschéngt sou eppes an der Kibana Interface.
Dëst ass de sougenannte Hëtzt Kaart vun Anomalien fir all Feld Wäert OriginAirportID, déi mir uginn an Split Daten. Wéi mat Single Metric, weist d'Faarf den Niveau vun der anormaler Ofwäichung un. Et ass bequem eng ähnlech Analyse ze maachen, zum Beispill op Aarbechtsstatiounen fir déi mat enger verdächteger grousser Zuel vun Autorisatiounen ze verfolgen, etc. Mir hu scho geschriwwen , déi och hei gesammelt an analyséiert kënne ginn.
Ënnert der Hëtztkaart ass eng Lëscht vun Anomalien, vun all kënnt Dir op d'Single Metric Vue fir eng detailléiert Analyse wiesselen.
Populatioun
Fir no Anomalien tëscht Korrelatiounen tëscht verschiddene Metriken ze sichen, huet den Elastesche Stack eng spezialiséiert Bevëlkerungsanalyse. Et ass mat senger Hëllef datt Dir no anomal Wäerter an der Leeschtung vun engem Server am Verglach mat aneren kuckt, wann zum Beispill d'Zuel vun Ufroe fir den Zilsystem eropgeet.
An dëser Illustratioun weist d'Bevëlkerungsfeld de Wäert un, op deen déi analyséiert Metriken bezéien. An dësem Fall ass et den Numm vum Prozess. Als Resultat wäerte mir gesinn wéi d'Prozessorbelaaschtung vun all Prozess géigesäiteg beaflosst.
Notéiert w.e.g. datt d'Grafik vun den analyséierten Donnéeën vun de Fäll mat Single Metric a Multi Metric ënnerscheet. Dëst gouf zu Kibana vum Design gemaach fir eng verbessert Perceptioun vun der Verdeelung vu Wäerter vun den analyséierten Donnéeën.
D'Grafik weist datt de Prozess sech anormal behuelen Stress (iwwregens, vun engem speziellen Utility generéiert) um Server poipu, deen d'Optriede vun dëser Anomalie beaflosst (oder sech als Influencer erausgestallt huet).
Détailléiert
Analytics mat Feintuning. Mat Advanced Analyse erschéngen zousätzlech Astellungen an Kibana. Nodeems Dir op d'Advanced Fliesen am Erstellungsmenü klickt, erschéngt dës Fënster mat Tabs. Tab Job Detailer Mir hunn et virsiichteg iwwersprangen, et gi Basisastellungen déi net direkt mat der Opstellung vun der Analyse verbonne sinn.
В summary_count_field_name Optional kënnt Dir den Numm vun engem Feld aus Dokumenter spezifizéieren mat aggregéierte Wäerter. An dësem Beispill, d'Zuel vun Evenementer pro Minutt. IN weist den Numm an de Wäert vun engem Feld aus dem Dokument un, deen e puer variabelen Wäert enthält. Mat der Mask op dësem Feld kënnt Dir déi analyséiert Donnéeën an Ënnersätz opdeelen. Opgepasst op de Knäppchen Füügt Detektor an der viregter Illustratioun. Drënner ass d'Resultat vum Klick op dëse Knäppchen.
Hei ass en zousätzleche Block vun Astellunge fir den Anomalidetektor fir eng spezifesch Aufgab ze konfiguréieren. Mir plangen spezifesch Benotzungsfäll (besonnesch Sécherheet) an de folgenden Artikelen ze diskutéieren. Zum Beispill, ee vun de demontéiert Fäll. Et ass verbonne mat der Sich no selten erschénge Wäerter a gëtt ëmgesat .
Am Beräich Funktioun Dir kënnt eng spezifesch Funktioun auswielen fir no Anomalien ze sichen. Ausser seelen, et ginn e puer méi interessant Funktiounen - . Si identifizéieren Anomalien am Verhalen vu Metriken am ganzen Dag oder Woch, respektiv. Aner Analyse Funktiounen .
В field_name weist d'Feld vum Dokument un, op deem d'Analyse duerchgefouert gëtt. By_field_name kann benotzt ginn fir d'Analyseresultater fir all eenzel Wäert vum Dokumentfeld ze trennen, deen hei spezifizéiert ass. Wann Dir fëllt over_field_name Dir kritt d'Bevëlkerungsanalyse déi mir hei uewen diskutéiert hunn. Wann Dir e Wäert uginn an partition_field_name, da fir dëst Feld vum Dokument getrennte Baselines fir all Wäert berechent (de Wäert kann zum Beispill den Numm vum Server oder de Prozess um Server sinn). IN exclude_heefeg ka wielen all oder keent, wat bedeit datt dacks geschitt Dokumentfeldwäerter ausgeschloss (oder abegraff sinn).
An dësem Artikel hu mir probéiert sou präzis wéi méiglech eng Iddi ze ginn iwwer d'Fäegkeete vum Maschinnléieren am Elastesche Stack; et sinn nach ëmmer vill Detailer hannert de Kulisse hannerlooss. Sot eis an de Kommentaren wéi eng Fäll Dir et fäerdeg bruecht hutt mat Elastic Stack ze léisen a fir wéi eng Aufgaben Dir et benotzt. Fir eis ze kontaktéieren, kënnt Dir perséinlech Messagen op Habré oder .
Source: will.com