Við skulum muna að Elastic Stack er byggður á Elasticsearch gagnagrunninum sem er ekki tengdur, Kibana vefviðmótinu og gagnasöfnurum og örgjörvum (frægasta Logstash, ýmsir Beats, APM og fleiri). Ein af góðu viðbótunum við allan skráðan vörustafla er gagnagreining með því að nota vélræna reiknirit. Í greininni skiljum við hver þessi reiknirit eru. Vinsamlegast undir kött.
Vélnám er greiddur eiginleiki í deilihugbúnaðinum Elastic Stack og er innifalinn í X-Pack. Til að byrja að nota það skaltu bara virkja 30 daga prufuáskriftina eftir uppsetningu. Eftir að prufutímabilið rennur út geturðu beðið um aðstoð til að framlengja hann eða kaupa áskrift. Kostnaður við áskrift er ekki reiknaður út frá gagnamagni heldur fjölda hnúta sem notaðir eru. Nei, magn gagna hefur auðvitað áhrif á fjölda nauðsynlegra hnúta, en samt sem áður er þessi aðferð við leyfisveitingar mannúðlegri miðað við fjárhagsáætlun fyrirtækisins. Ef það er engin þörf á mikilli framleiðni geturðu sparað peninga.
ML í Elastic Stack er skrifað í C++ og keyrir utan JVM, þar sem Elasticsearch sjálft keyrir. Það er, ferlið (við the vegur, það er kallað sjálfvirk skynjun) eyðir öllu sem JVM gleypir ekki. Á kynningarstandi er þetta ekki svo mikilvægt, en í framleiðsluumhverfi er mikilvægt að úthluta aðskildum hnútum fyrir ML verkefni.
Vélræn reiknirit falla í tvo flokka - и . Í teygjanlega staflanum er reikniritið í flokknum „eftirlitslaust“. By Þú getur séð stærðfræðibúnað vélrænna reiknirita.
Til að framkvæma greininguna notar vélnámsreikniritið gögn sem eru geymd í Elasticsearch vísitölum. Þú getur búið til verkefni til greiningar bæði úr Kibana viðmótinu og í gegnum API. Ef þú gerir þetta í gegnum Kibana, þá þarftu ekki að vita suma hluti. Til dæmis, viðbótarvísitölur sem reikniritið notar við notkun þess.
Viðbótarvísitölur sem notaðar eru í greiningarferlinu.ml-state — upplýsingar um tölfræðileg líkön (greiningarstillingar);
.ml-frávik-* — niðurstöður ML reiknirit;
.ml-tilkynningar — stillingar fyrir tilkynningar byggðar á greiningarniðurstöðum.
Gagnauppbyggingin í Elasticsearch gagnagrunninum samanstendur af skrám og skjölum sem geymd eru í þeim. Þegar borið er saman við tengslagagnagrunn er hægt að líkja vísitölu við gagnagrunnsskema og skjal við færslu í töflu. Þessi samanburður er skilyrtur og er veittur til að einfalda skilning á frekara efni fyrir þá sem hafa aðeins heyrt um Elasticsearch.
Sama virkni er fáanleg í gegnum API og í gegnum vefviðmótið, þannig að til að skýra og skilja hugtökin munum við sýna hvernig á að stilla það í gegnum Kibana. Í valmyndinni til vinstri er vélanámshluti þar sem þú getur búið til nýtt starf. Í Kibana viðmótinu lítur það út eins og myndin hér að neðan. Nú munum við greina hverja tegund verkefna og sýna þær tegundir greiningar sem hægt er að smíða hér.
Single Metric - greining á einum mælikvarða, Multi Metric - greining á tveimur eða fleiri mæligildum. Í báðum tilfellum er hver mælikvarði greind í einangruðu umhverfi, þ.e. reikniritið tekur ekki tillit til hegðunar samhliða greindra mælikvarða, eins og það gæti virst í tilfelli Multi Metric. Til að framkvæma útreikninga með hliðsjón af fylgni ýmissa mælikvarða er hægt að nota íbúagreiningu. Og Advanced er að fínstilla reiknirit með viðbótarvalkostum fyrir ákveðin verkefni.
Stakur mælikvarði
Að greina breytingar á einum mælikvarða er það einfaldasta sem hægt er að gera hér. Eftir að hafa smellt á Búa til starf mun reikniritið leita að frávikum.
Á sviði Sameining þú getur valið aðferð til að leita að frávikum. Til dæmis, hvenær Min gildi undir dæmigerðum gildum verða talin afbrigðileg. Borða Hámark, hátt meðaltal, lágt, meðaltal, greinilegt og aðrir. Lýsingar á öllum aðgerðum má finna .
Á sviði Field gefur til kynna talnareitinn í skjalinu sem við munum framkvæma greininguna á.
Á sviði — nákvæmni millibila á tímalínunni sem greiningin fer fram eftir. Þú getur treyst sjálfvirkninni eða valið handvirkt. Myndin hér að neðan er dæmi um að kornið sé of lítið - þú gætir misst af frávikinu. Með þessari stillingu geturðu breytt næmi reikniritsins fyrir frávikum.
Lengd gagna sem safnað er er lykilatriði sem hefur áhrif á skilvirkni greiningarinnar. Við greiningu greinir reikniritið endurtekið bil, reiknar út öryggisbil (grunnlínur) og greinir frávik - óhefðbundin frávik frá venjulegri hegðun mælisins. Bara til dæmis:
Grunnlínur með litlum gögnum:
Þegar reikniritið hefur eitthvað til að læra af lítur grunnlínan svona út:
Eftir að verkefnið er hafið, ákvarðar reikniritið óeðlileg frávik frá norminu og raðar þeim í samræmi við líkur á fráviki (litur samsvarandi merkimiða er tilgreindur í sviga):
Viðvörun (blá): færri en 25
Minniháttar (gult): 25-50
Dúr (appelsínugult): 50-75
Critical (rautt): 75-100
Grafið hér að neðan sýnir dæmi um frávik sem fundust.
Hér má sjá töluna 94 sem gefur til kynna líkur á fráviki. Það er ljóst að þar sem gildið er nálægt 100 þýðir það að við höfum frávik. Dálkurinn fyrir neðan línuritið sýnir niðurlægjandi litlar líkur á 0.000063634% af metragildinu sem birtist þar.
Auk þess að leita að frávikum geturðu keyrt spá í Kibana. Þetta er gert einfaldlega og frá sama útsýni með frávikum - hnappinn Spá í efra hægra horninu.
Spáð er að hámarki 8 vikur fram í tímann. Jafnvel ef þú vilt virkilega, þá er það ekki lengur mögulegt með hönnun.
Í sumum tilfellum mun spáin vera mjög gagnleg, til dæmis þegar fylgst er með álagi notenda á innviðina.
Multi Metric
Við skulum halda áfram í næsta ML eiginleika í teygjanlegu staflanum - greina nokkrar mælikvarðar í einni lotu. En þetta þýðir ekki að ósjálfstæði einnar mælikvarða á annarri verði greind. Þetta er það sama og Single Metric, en með mörgum mæligildum á einum skjá til að auðvelda samanburð á áhrifum einnar á annan. Við munum tala um að greina hversu háð einn mælikvarði er háður annarri í íbúahlutanum.
Eftir að hafa smellt á ferninginn með Multi Metric birtist gluggi með stillingum. Við skulum skoða þau nánar.
Fyrst þarftu að velja reiti fyrir greiningu og gagnasöfnun á þeim. Söfnunarvalkostirnir hér eru þeir sömu og fyrir Single Metric (Hámark, hátt meðaltal, lágt, meðaltal, greinilegt og aðrir). Ennfremur, ef þess er óskað, er gögnunum skipt í einn af reitunum (reitur Skiptu gögnum). Í dæminu gerðum við þetta eftir sviðum OriginAirportID. Taktu eftir að mælingargrafið til hægri er nú sett fram sem mörg línurit.
Field Lykilsvið (áhrifavaldar) hefur bein áhrif á greindar frávik. Sjálfgefið er að það sé alltaf að minnsta kosti eitt gildi hér og þú getur bætt við fleiri. Reikniritið mun taka tillit til áhrifa þessara sviða við greiningu og sýna „áhrifamestu“ gildin.
Eftir ræsingu mun eitthvað eins og þetta birtast í Kibana viðmótinu.
Þetta er svokallað hitakort af frávikum fyrir hvert reitgildi OriginAirportID, sem við bentum á í Skiptu gögnum. Eins og með Single Metric, gefur litur til kynna hversu óeðlilegt frávik er. Það er þægilegt að gera svipaða greiningu, til dæmis á vinnustöðvum til að fylgjast með þeim sem eru með grunsamlega mikið af heimildum o.s.frv. Við skrifuðum þegar , sem einnig er hægt að safna og greina hér.
Fyrir neðan hitakortið er listi yfir frávik, frá hverjum er hægt að skipta yfir í Single Metric skjáinn til að fá nákvæma greiningu.
Íbúafjöldi
Til að leita að frávikum milli fylgni milli mismunandi mælikvarða hefur teygjanlegur stafli sérhæfða íbúagreiningu. Það er með hjálp þess sem þú getur leitað að afbrigðilegum gildum í frammistöðu netþjóns samanborið við aðra þegar, til dæmis, fjöldi beiðna til markkerfisins eykst.
Í þessari mynd sýnir reiturinn Mannfjöldi gildið sem greindar mælingar munu tengjast. Í þessu tilviki er það nafnið á ferlinu. Fyrir vikið munum við sjá hvernig örgjörvaálag hvers ferlis hafði áhrif á hvert annað.
Vinsamlegast athugaðu að línurit greindu gagnanna er frábrugðið tilvikunum með Single Metric og Multi Metric. Þetta var gert í Kibana með hönnun til að bæta skynjun á dreifingu gilda greindra gagna.
Grafið sýnir að ferlið hegðaði sér óeðlilega streita (við the vegur, búið til af sérstöku tóli) á þjóninum poipu, sem hafði áhrif (eða reyndist vera áhrifavaldur) tilvik þessa fráviks.
Ítarlegri
Greining með fínstillingu. Með Ítarlegri greiningu birtast viðbótarstillingar í Kibana. Eftir að hafa smellt á Advanced flísina í sköpunarvalmyndinni birtist þessi gluggi með flipa. Tab upplýsingar starf Við slepptum því viljandi, það eru grunnstillingar sem tengjast ekki beint uppsetningu greiningarinnar.
В summary_count_field_name Valfrjálst er hægt að tilgreina heiti svæðis úr skjölum sem innihalda uppsöfnuð gildi. Í þessu dæmi er fjöldi atburða á mínútu. IN gefur til kynna nafn og gildi reits úr skjalinu sem inniheldur eitthvert breytugildi. Með því að nota grímuna á þessum reit geturðu skipt greindu gögnunum í undirmengi. Gefðu gaum að hnappinum Bæta við skynjara í fyrri myndinni. Hér að neðan er niðurstaðan af því að smella á þennan hnapp.
Hér er viðbótarblokk af stillingum til að stilla fráviksskynjarann fyrir tiltekið verkefni. Við ætlum að ræða sérstök notkunartilvik (sérstaklega öryggismál) í eftirfarandi greinum. Til dæmis, eitt af teknum í sundur. Það tengist leitinni að gildum sem sjaldan birtast og er útfært .
Á sviði virka Þú getur valið ákveðna aðgerð til að leita að frávikum. Nema mjög sjaldgæfar, það eru nokkrar áhugaverðar aðgerðir í viðbót - . Þeir bera kennsl á frávik í hegðun mælinga allan daginn eða vikuna, í sömu röð. Aðrar greiningaraðgerðir .
В reitanafn gefur til kynna svæði skjalsins sem greiningin verður gerð á. By_field_name er hægt að nota til að aðgreina greiningarniðurstöður fyrir hvert einstakt gildi skjalsreitsins sem tilgreint er hér. Ef þú fyllir yfir_field_name þú færð íbúagreininguna sem við ræddum hér að ofan. Ef þú tilgreinir gildi í heiti skiptingarreitar, þá verða aðskildar grunnlínur reiknaðar fyrir hvert gildi fyrir þennan reit skjalsins (gildið getur td verið nafn þjónsins eða ferli á þjóninum). IN útiloka_tíðar getur valið allt eða enginn, sem þýðir að útiloka (eða taka með) gildi skjalareita sem oft koma fyrir.
Í þessari grein reyndum við að gefa eins stutta hugmynd og hægt er um getu vélanáms í teygjanlegu staflanum; það eru enn fullt af smáatriðum eftir á bak við tjöldin. Segðu okkur í athugasemdunum hvaða tilvik þú tókst að leysa með Elastic Stack og til hvaða verkefna þú notar það. Til að hafa samband við okkur geturðu notað persónuleg skilaboð á Habré eða .
Heimild: www.habr.com