Räägime Machine Learningist Elastic Stackis (tuntud ka kui Elasticsearch, ELK)

Tulet meenutama, et Elastic Stacki aluseks on mitte-suhteline andmebaas Elasticsearch, veebiliides Kibana ja andmete kogumise töötlejad (kõige tuntum on Logstash, erinevad Beats, APM ja teised). Üks meeldiv lisand kogu sellele tootevalikule on andmete analüüs masinõppe algoritmide abil. Artiklis uurime, mis need algoritmid endast kujutavad. Palun, lugege edasi.

Masinõpe on tasuline funktsioon tingimuslikult tasuta Elastic Stackis ja kuulub X-Packi paketti. Selle kasutamiseks on piisav, kui aktiveerida 30 päeva prooviversioon pärast installimist. Prooviperioodi lõppemisel saab taotleda selle pikendamist või osta tellimuse. Tellimuse hind ei sõltu andmemahust, vaid kasutatavate nodede arvust. Jah, andmemahu suurus mõjutab tõepoolest vajalike node'ide arvu, kuid selline litsentsimise lähenemine on siiski ettevõtte eelarve suhtes humanitaarsem. Kui kõrge jõudlus pole vajalik, on võimalik ka kokku hoida.

ML Elastic Stackis on kirjutatud C++ ja töötab väljaspool JVM-i, kus Elasticsearch ise töötab. See tähendab, et protsess (mis muide on nimetatud autodetectiks) kasutab kõik, mida JVM ei kasuta. Demoversioonis ei ole see nii kriitiline, kuid tootmiskeskkonnas on oluline eraldada eraldi sõlmed ML ülesannete jaoks.

Masinõppe algoritmid jagunevad kaheks kategooriaks — õpetusega ja ilma õpetuseta. Elastic Stackis on algoritm kategooriast „ilma õpetuseta“. Matemaatikaaparaati masinõppe algoritmidest saab vaadata. . Seal on kirjeldatud arhitektuuri Analüüsi teostamiseks kasutab masinõppe algoritm kasutatavand dataid, mis on salvestatud Elasticsearchi indeksitesse. Analüüsivõimalusi saab luua nii Kibana liidese kui ka API kaudu. Kui kasutada Kibana, ei pea mõningaid asju teadma. Näiteks täiendavad indeksid, mida algoritm tööprotsessis kasutab.

Täiendavad indeksid, mida kasutatakse analüüsi käigus

.ml-state — teave statistiliste mudelite (analüüsi seadistuste) kohta;.ml-anomalies-* — masinõppe algoritmide töö tulemused;
.ml-notifications — teavitamise seadistused analüüsi tulemuste kohta.
.ml-notifications — analüüsi tulemuste teavitamise seaded.

Elasticsearchi andmeestruktuur koosneb indeksitest ja neid sisaldavatest dokumentidest. Kui võrrelda seda relatsioonilise andmebaasiga, siis saab indeksit võrrelda andmebaasi skeemiga ja dokumenti tabeli kirjeiga. See võrdlus on tingimuslik ja on toodud arusaadavuse lihtsustamiseks nendele, kes on Elasticsearchi kohta vaid kuulnud.

API kaudu on saadaval sama funktsionaalsus nagu veebiliidese kaudu, seetõttu näitame selguse ja kontseptsioonide mõistmise huvides, kuidas seadeid Kibana kaudu seadistada. Vasakul menüüs on sektsioon Machine Learning, kus saab luua uue ülesande (Job). Kibana liideses näeb see välja nagu alloleval pildil. Nüüd käsitleme iga ülesande tüüpi ja näitame analüüse, mida siin luua on võimalik.

Üksik mõõdik — ühe mõõdiku analüüs, mitme mõõdiku — kahe või enama mõõdiku analüüs. Mõlemal juhul analüüsitakse iga mõõdikut isoleeritud keskkonnas, st algoritm ei arvesta paralleelselt analüüsitud mõõdikute käitumist, nagu võiks tunduda mitme mõõdiku puhul. Erinevate mõõdikute korrelatsiooni arvestamiseks võib kasutada populatsiooni analüüsi. Täiustatud — see on algoritmide täiendav seadistamine lisavõimalustega kindlate ülesannete jaoks.

Üksik mõõdik

Üheainsa mõõdiku muutuste analüüs on kõige lihtsam, mida siinkohal teha. Pärast nupu 'Loo töö' vajutamist otsib algoritm anomaaliaid.

Väljal Kogumine võib valida anomaaliate otsimise lähenemisviisi. Näiteks, kui Min peetakse anomaalseteks väärtusi, mis on allpool tüüpilisi. On Max, Kõrge keskmine, Madal, Keskmine, Erakordne ja teised. Kõiki funktsioone saab vaadata lingi kaudu.

Väljal Väli märgitakse dokumentis numbriline väli, mille põhjal teeme analüüsi.

Väljal Konteineri ulatus — ajakava granulaarsus, mille alusel analüüs viiakse läbi. Saate usaldada automaatset süsteemi või valida manuaalselt. Alloleval pildil on toodud liiga madala granulaarsuse näide — võite jätta tähelepanuta anomaalia. Selle seadistuse abil saate muuta algoritmi tundlikkust anomaaliate suhtes.

Kogutud andmete kestus on võtmetegur, mis mõjutab analüüsi tõhusust. Analüüsi käigus määrab algoritm korduvad ajavahemikud, arvutab usaldusintervallid (põhisirged) ja tuvastab anomaaliad — ebatavalised kõrvalekalded meetri tavapärasest käitumisest. Lihtsaks näiteks:

Põhisirged väikese andmeosalusega:

Kui algoritmil on, mille põhjal õppida — näevad põhisirged välja sellised:

Pärast ülesande käivitamist tuvastab algoritm normist anomaalsed kõrvalekalded ja järjestab need anomaalia tõenäosuse alusel (kõrvaltoodud number tähistab vastava sildi värvi):

Warning (sinine): vähem kui 25
Minor (kollane): 25-50
Major (oranž): 50-75
Critical (punane): 75-100

Alloleval graafikul on toodud näide leitud anomaaliatest.

Siin on näha arvu 94, mis näitab anomaalia tõenäosust. Kui väärtus on lähedane 100-le, siis me näeme anomaaliat. Diagrammi all oleva veeru jaoks on näidatud tähtsusetult väike tõenäosus 0,000063634% selle metrika väärtuse ilmnemiseks.

Kibanas anomaaliate otsimise kõrval võib käivitada ka prognoosimise. Seda saab teha hõlpsalt samast anomaalia vaatest — nupp Prognoos paremas ülanurgas.

Prognoos ehitatakse maksimaalselt 8 nädalat ette. Isegi kui väga tahaks, ei saa rohkem — selline on disain.

Mõnel juhul on prognoos väga kasulik, näiteks kui jälgitakse kasutaja koormust infrastruktuurile.

Multi Metric

Liigume järgmise ML funktsiooni juurde Elastic Stackis — mitme metrika analüüs samaaegselt. Kuid see ei tähenda, et analüüsitakse ühe metri mõju teisele. See on sama, mis Single Metric, ainult et mitme metrikaga ühel ekraanil, et võrrelda nende mõju üksteisele. Ühe metrika sõltuvuse analüüsimisest räägime osas Population.

Pärast Multi Metric ruudu vajutamist ilmub seadeakna avamine. Neile peatume lähemalt.

Esmaltamiseks peab esmalt valima analüüsi väljad ja andmete konsolideerimise need. Konsolideerimise võimalused on samad, mis Single Metric jaoks (Max, Kõrge keskmine, Madal, Keskmine, Erakordne ja teised). Seejärel jagatakse andmed soovi korral ühe välja järgi (väli Split Data). Näites oleme seda teinud välja OriginAirportID. Pange tähele, et paremal poolel olevate mõõdikute graafik on nüüd esitatud mitme graafikuna.

Väli Key Fields (Influencers) mõjutab otseselt leitud anomaaliaid. Vaikimisi on siin alati vähemalt üks väärtus, kuid te saate lisada täiendavaid. Algoritm arvestab nende väljade mõju analüüsi käigus ja näitab kõige „mõjukamaid“ väärtusi.

Pärast käivitamist ilmub Kibana liidesesse umbes selline pilt.

See on nn anomaaliate soojuskaardiga iga väljade väärtuse kohta OriginAirportID, mille oleme määranud Split Data. Nagu Single Metric puhul, tähistab värv anomaalse kõrvalekalde taset. Sarnast analüüsi on mugav teha näiteks tööjaamade puhul, et jälgida neid, kus on kahtlaselt palju volitusi jne. Oleme juba kirjutanud kahtlastest sündmustest Windowsi EventLogis, mida saab samuti siia koguda ja analüüsida.

Soojuskaardi all on anomaaliate loetelu, kust saab minna Ühe Mõõtme kuvamise juurde üksikasjalikuks analüüsiks.

Populatsioon

Aneomaliate otsimiseks erinevate mõõtmete vahelise korrelatsiooni seas Elastic Stackis on olemas spetsialiseeritud populatsioonianalüüs. Just selle abil saab otsida anomaalseid väärtusi mõne serveri jõudluses võrreldes teistega, näiteks suureneva päringute arvu korral sihtsüsteemile.

Selles illustratsioonis on populatsiooni väljas näidatud väärtus, mille suhtes analüüsitavad mõõtmed viitavad. Antud juhul on see protsessi nimi. Tulemusena näeme, kuidas iga protsessi protsessorikoormus omavahel mõjutas.

Märkusena, et analüüsitavate andmete graafik erineb Ühe Mõõtme ja Mitme Mõõtme juhtudest. See on Kibana disaini poolt loodud, et parandada analüüsitavate andmete väärtuste jaotuse tajumist.

Graafikult on näha, et protsess stress (ütleme nii, et see on genereeritud spetsiaalse utiliidi kaudu) serveris poipu, mis mõjutas (või oli selle anomaalia mõjutaja) selle anomaalia tekkimist.

Advanced

Täpsustatud analüüs. Advanced analüüsi puhul ilmuvad Kibanas täiendavad sätted. Pärast Advanced plaatide loomiseks menüüs klikkimist avaneb selline aken vahekaartidega. Vahekaart Töö üksikasjad jäeti teadlikult vahele, seal on põhiseaded, mis ei seondu otseselt analüüsi seadistamisega.

V summary_count_field_name on vabatahtlik, et määrata välja dokumentides olev välja nimi, mis sisaldab agrageeritud väärtusi. Antud näites — sündmuste arv minutis. V categorization_field_name määrab välja nime, mille väärtus dokument sisaldab mingit muutlikku väärtust. Selle välja mustri järgi saab analüüsitud andmeid jagada alagrupikseks. Pange tähele nuppu Lisa detektor eelneval illustratsioonil. Allpool on tulemused pärast selle nupu vajutamist.

Siin on täiendav seadistuste plokk detektori seadistamiseks teatud ülesande jaoks. Konkreetsete kasutusjuhtumite (eriti turvalisuse osas) üle arutame järgmistes artiklites. Näiteks, vaadake ühte selgitatud juhtumit. See on seotud harva esinevate väärtuste otsimisega ja see realiseeritakse funktsiooniga rare.

Väljal function saad valida kindla funktsiooni anomaaliate leidmiseks. Lisaks haruldane, on veel paar huvitavat funktsiooni — päeva_aeg ja nädala_aeg. Need tuvastavad metoodika käitumise anomaaliad päeva või nädala jooksul. Ülejäänud analüüsifunktsioonid on dokumentatsioonis.

V väli_nimi märkige dokumentide väli, mille alusel analüüs toimub. Välja_nime järgi saab kasutada tulemuste analüüsi jagamiseks iga konkreetse väärtuse järgi, mis on siin dokumendi väljas märgitud. Kui täidate üle_välja_nime saate populatsiooni analüüsi, millest juba varem rääkisime. Kui määrata väärtus jaotuse_välja_nimi, siis selle dokumendi välja alusel arvutatakse eraldi baasjooned iga väärtuse jaoks (näiteks võib väärtus olla serveri või serveriprotsessi nimi). välja_sage saab valida all või ei midagi, mis tähendaks sagedaste dokumendi väli väärtuste välistamist (või kaasamist).

Artiklis püüdsime lühidalt tutvustada masinõppe võimalusi Elastic Stackis, kuid palju detaile jäi katte alla. Rääkige kommentaarides, milliseid juhtumeid olete Elastic Stacki abil lahendanud ja milliste ülesannete jaoks te seda kasutate. Meiega ühenduse saamiseks võite kasutada isiklikke sõnumeid Habril või tagasisidevormi meie veebisaidil.

Allikas: habr.com