Uurime Machine Learning'i Elastic Stackis (tuntud ka kui Elasticsearch, ELK)

Tuletame meelde, et Elastic Stacki alus on mitte-suhteandmebaas Elasticsearch, veebiliides Kibana ja andmete töötlemise kogujad (kõige tuntumad on Logstash, erinevad Beats, APM ja teised). Üks meeldiv lisa kogu sellele tootehulgale on andmete analüüs masinõppe algoritmide abil. Selles artiklis tutvume nende algoritmidega. Palun vaata allapoole.

Masinõpe on tasuline funktsioon tinglikult tasuta Elastic Stackis ja kuulub X-Packi paketisse. Selle kasutamiseks piisab, kui aktiveerida pärast installimist 30-päevane prooviversioon. Prooviperioodi lõppedes saab taotleda toe pikendamist või osta tellimust. Tellimuse hind ei arvestata andmehulga järgi, vaid kasutatavaid sõlmi. Jah, andmehulga suurus mõjutab kindlasti vajalike sõlmede arvu, kuid selline litsentseerimise lähenemine on ettevõtte eelarve suhtes märksa humanitaarsem. Kui kõrge jõudlus pole vajalik, saab ka säästa.

Elastic Stacki masinõpe on kirjutatud C++-s ja töötab väljaspool JVM-i, kus töötab ka Elasticsearch. See tähendab, et protsess (mida muide nimetatakse autodetekteerimiseks) kasutab kõike, mida JVM ei suuda töödelda. Demovariandis ei ole see nii kriitiline, kuid tootmisolukordades on oluline eraldada masinõppe ülesannete jaoks eraldi sõlmed.

Masinõppe algoritmid jagunevad kaheks kategooriaks — õpetusega ja ilma õpetuseta. Elastic Stackis on algoritm kategoriiast "ilma õpetuseta". Matemaatikale tuginevaid masinõppe algoritme saab vaadata, sellel lingil matemaatiliste algoritmide kohta.

Analüüsi läbiviimiseks kasutab masinõppe algoritm andmeid, mis on salvestatud Elasticsearchi indeksitesse. Analüüsitööde loomine on võimalik nii Kibana liidesest kui ka API kaudu. Kui seda teha Kibana kaudu, ei pea te paljusid asju teadma. Näiteks täiendavad indeksid, mida algoritm tööprotsessis kasutab.

Täiendavad indeksid, mida kasutatakse analüüsi käigus.ml-state — teave statistiliste mudelite (analüüsiseadistuste) kohta;
.ml-anomalies-* — masinõppe algoritmide tulemused;
.ml-notifications — teavitamise seaded analüüsi tulemuste kohta.

Elasticsearchi andmeehitus koosneb indeksitest ja nendes hoitavatest dokumentidest. Kui võrrelda relatsioonilise andmebaasiga, siis indeksit võib võrrelda andmebaasi skeemiga, samas kui dokument vastab tabeli reale. See võrdlus on tingimuslik ja on esitatud, et lihtsustada edasise materjali mõistmist neile, kes on Elasticsearchist vaid kuulnud.

API kaudu on saadaval sama funktsionaalsus, mis veebiliidese kaudu, seega, et näidata kontseptsioonide seadistamist, vaatame, kuidas seadistada läbi Kibana. Vasakul menüüs on jaotis Machine Learning, kus saab luua uue ülesande (Job). Kibana liideses näeb see välja nagu alloleval pildil. Praegu käsitleme iga ülesande tüüpi ja näitame analüüsi vorme, mida siin saab konstruida.

Single Metric — ühe metri analüüs, Multi Metric — kahe või enama metri analüüs. Mõlemal juhul analüüsitakse iga metri eraldi, st algoritm ei arvesta samal ajal analüüsitavate metrikate käitumist, nagu võiks Multi Metric korral tunduda. Erinevate metrikate korrelatsiooni arvesse võtmiseks saab rakendada populatsiooni analüüsi. Advanced — see on algoritmide peenhäälestamine täiendavate valikutega spetsiifiliste ülesannete jaoks.

Single Metric

Ühe ainulaadse metri muutuste analüüs on kõige lihtsam, mida siin teha saab. Pärast Create Job nuppu vajutamist otsib algoritm anomaaliaid.

Väljal Aggregation saab valida anomaaliate otsimise lähenemise. Näiteks, kui Min peetakse anomaaliateks väärtusi, mis on madalamad tüüpilistest. On olemas Max, High Mean, Low, Mean, Distinct ja teised. Kõiki funktsioone saab vaadata linki pidi.

Väljal Field moodustab numbrilise väli dokumendis, mille põhjal teeme analüüsi.

Väljal Bucket span — ajaskaalal analüüsimiseks valitud intervallide täpsus. Võid usaldada automaatikat või valida käsitsi. Alloleval pildil on toodud näide liiga madalast täpsusest — võid anomaalia maha magada. Selle seadistusega saab muuta algoritmi tundlikkust anomaaliate suhtes.

Kogutud andmete kestus on peamine asi, mis mõjutab analüüsi efektiivsust. Analüüsi käigus määrab algoritm korduvad intervallid, arvutab usaldusinterval (põhilinid) ja tuvastab anomaaliad — ebatüüpilised kõrvalekalded tavapärasest metri käitumisest. Lihtsa näitena:

Põhijooned väikese andmeosa puhul:

Kui algoritmil on, millelt õppida — näevad põhijooned välja nii:

Pärast ülesande käivitamist määrab algoritm normist kõrvalekaldumisi ja järjestab need tõenäosuse järgi (nende vastavate siltide värv on näidatud sulgudes):

Warning (sinine): alla 25
Minor (kollane): 25-50
Major (oranž): 50-75
Critical (punane): 75-100

Alloleval graafikul näide leitud kõrvalekaldumistest.

Siin on number 94, mis tähistab kõrvalekalde tõenäosust. Selge on, et kuna väärtus on lähedane 100-le, siis on meil tõepoolest kõrvalekalle. Graafiku all olevas veerus on näidatud ebatavaliselt madal tõenäosus 0.000063634% selle mõõtme väärtuse ilmumiseks.

Lisaks kõrvalekallete leidmisele Kibanas saab käivitada ka prognooside koostamise. Seda on lihtne teha ja sama anomaaliate vaate kaudu — nupp Forecast paremas ülanurgas.

Prognoos koostatakse maksimaalselt 8 nädala võrra ette. Isegi kui väga sooviks — rohkem ei saa, see on disaini osa.

Teatud olukordades on prognoos väga kasulik, näiteks kui jälgitakse kasutajakoormust infrastruktuurile.

Multi Metric

Liigume järgmise ML võimaluse juurde Elastic Stackis — mitme mõõtme samal ajal analüüs. Kuid see ei tähenda, et analüüsitakse ühe mõõtme sõltuvust teisest. See on sama, mis Single Metric, lihtsalt mitme mõõtme jaoks ühel ekraanil mugavuse huvides, et võrrelda üksteise mõju. Ühe mõõtme sõltuvuse analüüsimisest räägime jaotises Population.

Pärast Multi Metrici ruudule klikimist ilmub seadistuste aken. Neid peatume üksikasjalikumalt.

Esmalt tuleb valida analüüsimiseks väljad ja andmete agregatsioon nende järgi. Agregatsioonivõimalused on samad, mis Single Metrici puhul (Max, High Mean, Low, Mean, Distinct ja muud). Edasi jagatakse andmed soovi korral ühe välja järgi (väli Split Data). Näites oleme seda teinud välja OriginAirportID. Pange tähele, et paremal kõrvalekallete graafik on nüüd esitatud hulga graafikute kujul.

Väli Key Fields (Influencers) mõjutavad otseselt leitud kõrvalekaldeid. Vaikimisi on siin alati vähemalt üks väärtus, kuid saate lisada täiendavaid. Algoritm arvestab nende väljade mõju analüüsi käigus ja näitab kõige „mõjulisemaid” väärtusi.

Pärast käivitamist ilmub Kibana kasutajaliideses enam-vähem selline pilt.

See on nn anomaaliate soojuskaart iga välja kohta OriginAirportID, mille me määrasime Split Data. Nagu ka Single Metric puhul, värv näitab ebanormaalse kõrvalekalde taset. Sarnast analüüsi on mugav teha näiteks tööjaamade puhul, et jälgida neid, kus on kahtlaselt palju autentimisi jne. Oleme juba kirjutanud kahtlastest sündmustest EventLog Windowsis, mida saab samuti siia koguda ja analüüsida.

Soojuskaardi all on anomaaliate loetelu, millest igast saab minna Single Metric vaatesse detailanalüüsiks.

Populatsioon

Ebanormaalsete korrelatsioonide otsimiseks erinevate metrikate vahel Elastic Stackis on spetsialiseerunud populatsiooni analüüs. Kui suurendada nõudluse arvu sihtsüsteemile, saab selle abil otsida ebanormaalseid väärtusi mingi serveri jõudluses võrreldes teistega.

Selles illustratsioonis on populatsiooni väljas näidatud väärtus, millega analüüsitavad metrikad seonduvad. Antud juhul on see protsessi nimi. Tulemuseks näeme, kuidas iga protsessi protsessorikoormus omavahel mõjutas.

Pange tähele, et analüüsitavate andmete graafik erineb Single Metric ja Multi Metric juhtudest. See on tehtud Kibana's disainitud viisil, et parandada analüüsitavate andmete väärtuste jaotuse tajumist.

Graafikult on näha, et protsess toimis ebanormaalselt stress (mille tõi esile spetsiaalne utiliit) serveris poipu, mis mõjutas (või oli mõjutaja) selle anomaalia tekkimist.

Advanced

Täpne analüütika. Advanced analüüsis kuvatakse Kibana's täiendavad seaded. Pärast loomise menüü tile Advanced klikkimist avaneb selline aken vahekategooriatega. Kategooriat Job Details jäeti tahtlikult vahele, seal on põhiseaded, mis ei ole otseselt seotud analüüsi seadistamisega.

Uues summary_count_field_name võib valikuliselt täpsustada dokumentide väljal, mis sisaldab agreggeeritud väärtusi. Selles näites — sündmuste arv minutis. categorization_field_name mille puhul määratakse dokumendi välja nimi, mis sisaldab mingit muutuvat väärtust. Selle välja mustri järgi saab analüüsitavaid andmeid jagada alagruppideks. Pange tähele nuppu Add detector eelnevas illustratsioonis. Allpool on näha tulemused, kui sellele nupule vajutada.

Siin on täiendav seadistuste plokk anomaaliade tuvastaja kohandamiseks konkreetse ülesande jaoks. Konkreetseid kasutusjuhtumeid (eriti turvalisuse osas) kavatseme arutada järgmistes artiklites. Näiteks, vaadake üht analüüsitud juhtumit. See on seotud harvaesinevate väärtuste otsimisega ja rakendatakse funktsiooni rare.

Väljal function võite valida konkreetse funktsiooni anomaaliade otsimise jaoks. Lisaks rare, on veel paar huvitavat funktsiooni — time_of_day ja time_of_week. Need tuvastavad aheldumisi metrikate käitumises päeva või nädala jooksul vastavalt. Ülejäänud analüüsifunktsioonid leidub dokumentatsioonis.

Uues field_name märgib dokumenti välja, mille alusel analüüs toimub. By_field_name võib kasutada analüüsi tulemuste jagamiseks iga eraldi väärtuse põhjal, mida antud välja dokumentis kuvab. Kui täita over_field_name saadakse population-analüüs, millest rääkisime varem. Kui määrata väärtus partition_field_name, siis selle välja põhjal arvutatakse eraldi alusjooned iga väärtuse jaoks (väärtusena võivad esineda näiteks serveri või serveril töötava protsessi nimed). exclude_frequent saab valida all või none, mis tähendab, et sagedasti esinevaid dokumendi väljade väärtusi välistatakse (või lisatakse).

Artiklis püüdsime võimalikult lühidalt anda ülevaate masinõppe võimalustest Elastic Stackis, samas jäi palju detaile kajastamata. Jagage kommentaarides, milliseid juhtumeid olete Elastic Stacki abil lahendanud ja milliste ülesannete jaoks seda kasutate. Meiega ühenduse võtmiseks võite kasutada isiklikke sõnumeid Habr's või tagasisidevormi meie veebisaidil.

Allikas: habr.com