Ejja nfakkru li l-Elastic Stack huwa bbażat fuq id-database Elasticsearch mhux relazzjonali, l-interface tal-web Kibana u l-kolletturi u l-proċessuri tad-dejta (l-aktar famużi Logstash, diversi Beats, APM u oħrajn). Waħda miż-żidiet sbieħ għall-munzell kollu tal-prodott elenkat hija l-analiżi tad-dejta bl-użu ta 'algoritmi ta' tagħlim bil-magni. Fl-artiklu nifhmu x'inhuma dawn l-algoritmi. Jekk jogħġbok taħt qattus.
It-tagħlim bil-magni huwa karatteristika mħallsa tas-shareware Elastic Stack u huwa inkluż fl-X-Pack. Biex tibda tużaha, biss attiva l-prova ta '30 jum wara l-installazzjoni. Wara li jiskadi l-perjodu ta' prova, tista' titlob appoġġ biex testendih jew tixtri abbonament. L-ispiża ta 'abbonament hija kkalkulata mhux ibbażata fuq il-volum ta' dejta, iżda fuq in-numru ta 'nodi użati. Le, il-volum tad-dejta, ovvjament, jaffettwa n-numru ta 'nodi meħtieġa, iżda xorta dan l-approċċ għal-liċenzjar huwa aktar uman fir-rigward tal-baġit tal-kumpanija. Jekk ma jkunx hemm bżonn ta 'produttività għolja, tista' tiffranka l-flus.
ML fil-Elastic Stack huwa miktub f'C++ u jaħdem barra l-JVM, li fih jaħdem Elasticsearch innifsu. Jiġifieri, il-proċess (mill-mod, huwa msejjaħ autodetect) jikkonsma dak kollu li l-JVM ma tiblax. Fuq stand demo dan mhux daqshekk kritiku, iżda f'ambjent ta 'produzzjoni huwa importanti li jiġu allokati nodi separati għall-kompiti ML.
L-algoritmi tat-tagħlim bil-magni jaqgħu f'żewġ kategoriji − и . Fil-Elastic Stack, l-algoritmu jinsab fil-kategorija "mhux sorveljat". Permezz Tista 'tara l-apparat matematiku tal-algoritmi tat-tagħlim tal-magni.
Biex twettaq l-analiżi, l-algoritmu tat-tagħlim tal-magni juża data maħżuna fl-indiċi Elasticsearch. Tista 'toħloq kompiti għall-analiżi kemm mill-interface Kibana kif ukoll permezz tal-API. Jekk tagħmel dan permezz ta 'Kibana, allura m'għandekx bżonn tkun taf xi affarijiet. Per eżempju, indiċi addizzjonali li l-algoritmu juża waqt it-tħaddim tiegħu.
Indiċijiet addizzjonali użati fil-proċess ta 'analiżi.ml-state — informazzjoni dwar mudelli statistiċi (settings ta' analiżi);
.ml-anomalies-* — riżultati ta' algoritmi ML;
.ml-notifications — settings għan-notifiki bbażati fuq ir-riżultati tal-analiżi.
L-istruttura tad-dejta fid-database Elasticsearch tikkonsisti f'indiċi u dokumenti maħżuna fihom. Meta mqabbel ma 'database relazzjonali, indiċi jista' jiġi mqabbel ma 'skema ta' database, u dokument ma 'rekord f'tabella. Dan il-paragun huwa kundizzjonali u huwa pprovdut biex jissimplifika l-fehim ta 'aktar materjal għal dawk li semgħu biss dwar Elasticsearch.
L-istess funzjonalità hija disponibbli permezz tal-API bħal permezz tal-interface tal-web, għalhekk għaċ-ċarezza u l-fehim tal-kunċetti, se nuru kif tikkonfiguraha permezz ta 'Kibana. Fil-menu fuq ix-xellug hemm sezzjoni ta’ Machine Learning fejn tista’ toħloq Impjieg ġdid. Fl-interface Kibana jidher bħall-immaġni hawn taħt. Issa se nanalizzaw kull tip ta 'kompitu u nuru t-tipi ta' analiżi li jistgħu jinbnew hawn.
Metriku Uniku - analiżi ta 'metrika waħda, Multi Metric - analiżi ta' żewġ metriċi jew aktar. Fiż-żewġ każijiet, kull metrika tiġi analizzata f’ambjent iżolat, i.e. l-algoritmu ma jqisx l-imġiba ta 'metriċi analizzati paralleli, kif jista' jidher fil-każ ta 'Multi Metric. Biex twettaq kalkoli filwaqt li tqis il-korrelazzjoni ta 'metriċi varji, tista' tuża l-Analiżi tal-Popolazzjoni. U Advanced qed jirfina l-algoritmi b'għażliet addizzjonali għal ċerti kompiti.
Metrika Unika
L-analiżi tal-bidliet f'metrika waħda hija l-aktar ħaġa sempliċi li tista' ssir hawn. Wara li tikklikkja fuq Oħloq Xogħol, l-algoritmu se jfittex anomaliji.
Fil-qasam Aggregazzjoni tista' tagħżel approċċ għat-tiftix ta' anomaliji. Per eżempju, meta Min Valuri taħt il-valuri tipiċi se jitqiesu bħala anomali. Kul Max, Medja Għolja, Baxxa, Medja, Distinta u oħrajn. Jistgħu jinstabu deskrizzjonijiet tal-funzjonijiet kollha .
Fil-qasam Qasam jindika l-qasam numeriku fid-dokument li fuqu se nwettqu l-analiżi.
Fil-qasam — il-granularità tal-intervalli fuq il-linja taż-żmien li matulha se titwettaq l-analiżi. Tista 'tafda l-awtomazzjoni jew tagħżel manwalment. L-immaġni hawn taħt hija eżempju ta 'granularità baxxa wisq - tista' titlef l-anomalija. Billi tuża dan l-issettjar, tista 'tbiddel is-sensittività tal-algoritmu għal anomaliji.
It-tul tad-dejta miġbura hija ħaġa ewlenija li taffettwa l-effettività tal-analiżi. Matul l-analiżi, l-algoritmu jidentifika intervalli ripetuti, jikkalkula intervalli ta 'kunfidenza (linji bażi) u jidentifika anomaliji - devjazzjonijiet atipiċi mill-imġieba tas-soltu tal-metrika. Per eżempju biss:
Linji bażi b'biċċa żgħira ta' dejta:
Meta l-algoritmu jkollu xi ħaġa minn fejn jitgħallem, il-linja bażi tidher bħal din:
Wara li jibda l-kompitu, l-algoritmu jiddetermina devjazzjonijiet anomali min-norma u jikklassifikahom skond il-probabbiltà ta 'anomalija (il-kulur tat-tikketta korrispondenti huwa indikat fil-parentesi):
Twissija (blu): inqas minn 25
Minuri (isfar): 25-50
Maġġuri (oranġjo): 50-75
Kritika (aħmar): 75-100
Il-graff ta' hawn taħt turi eżempju tal-anomaliji misjuba.
Hawnhekk tista 'tara n-numru 94, li jindika l-probabbiltà ta' anomalija. Huwa ċar li peress li l-valur huwa qrib il-100, dan ifisser li għandna anomalija. Il-kolonna taħt il-graff turi l-probabbiltà pejorattivament żgħira ta '0.000063634% tal-valur metriku li jidher hemmhekk.
Minbarra t-tiftix għal anomaliji, tista 'tmexxi tbassir f'Kibana. Dan isir sempliċiment u mill-istess ħsieb b'anomaliji - buttuna Tbassir fir-rokna ta’ fuq tal-lemin.
It-tbassir isir għal massimu ta’ 8 ġimgħat bil-quddiem. Anke jekk verament trid, m'għadux possibbli bid-disinn.
F'xi sitwazzjonijiet, it-tbassir se jkun utli ħafna, pereżempju, meta tissorvelja t-tagħbija tal-utent fuq l-infrastruttura.
Multimetriku
Ejja ngħaddu għall-karatteristika ML li jmiss fil-Elastic Stack - tanalizza diversi metriċi f'lott wieħed. Iżda dan ma jfissirx li d-dipendenza ta’ metrika fuq oħra se tiġi analizzata. Dan huwa l-istess bħal Metriku Uniku, iżda b'metriċi multipli fuq skrin wieħed għal tqabbil faċli tal-impatt ta 'wieħed fuq ieħor. Aħna ser nitkellmu dwar l-analiżi tad-dipendenza ta 'metrika waħda fuq oħra fit-taqsima Popolazzjoni.
Wara li tikklikkja fuq il-kwadru b'Multi Metric, se tidher tieqa b'settings. Ejja nħarsu lejhom f'aktar dettall.
L-ewwel trid tagħżel l-oqsma għall-analiżi u l-aggregazzjoni tad-dejta fuqhom. L-għażliet ta' aggregazzjoni hawnhekk huma l-istess bħal għal Metriku Uniku (Max, Medja Għolja, Baxxa, Medja, Distinta u oħrajn). Barra minn hekk, jekk mixtieq, id-dejta tinqasam f'wieħed mill-oqsma (field Split Data). Fl-eżempju, għamilna dan skont il-qasam OriġiniAjruportID. Innota li l-grafika tal-metriċi fuq il-lemin issa hija ppreżentata bħala graffs multipli.
Qasam Oqsma Ewlenin (Influencers) jaffettwa direttament l-anomaliji misjuba. B'mod awtomatiku dejjem se jkun hemm mill-inqas valur wieħed hawn, u tista 'żżid oħrajn addizzjonali. L-algoritmu se jqis l-influwenza ta 'dawn l-oqsma meta janalizza u juri l-aktar valuri "influwenti".
Wara t-tnedija, xi ħaġa bħal din se tidher fl-interface Kibana.
Dan huwa l-hekk imsejjaħ mappa tas-sħana ta' anomaliji għal kull valur tal-kamp OriġiniAjruportID, li indikajna fi Split Data. Bħal fil-każ tal-Metriku Uniku, il-kulur jindika l-livell ta 'devjazzjoni anormali. Huwa konvenjenti li tagħmel analiżi simili, pereżempju, fuq stazzjonijiet tax-xogħol biex jintraċċaw dawk b'numru suspettuż kbir ta 'awtorizzazzjonijiet, eċċ. Aħna diġà ktibna , li jistgħu wkoll jinġabru u jiġu analizzati hawn.
Taħt il-mappa tas-sħana hemm lista ta 'anomaliji, minn kull waħda tista' taqleb għall-veduta Metrika Unika għal analiżi dettaljata.
Popolazzjoni
Biex tfittex anomaliji fost korrelazzjonijiet bejn metriċi differenti, l-Elastic Stack għandu analiżi tal-Popolazzjoni speċjalizzata. Huwa bl-għajnuna tagħha li tista 'tfittex valuri anomali fil-prestazzjoni ta' server meta mqabbla ma 'oħrajn meta, pereżempju, in-numru ta' talbiet għas-sistema fil-mira jiżdied.
F'din l-illustrazzjoni, il-qasam Popolazzjoni jindika l-valur li miegħu se jirrelataw il-metriċi analizzati. F'dan il-każ huwa l-isem tal-proċess. Bħala riżultat, se naraw kif it-tagħbija tal-proċessur ta 'kull proċess influwenzat lil xulxin.
Jekk jogħġbok innota li l-grafika tad-dejta analizzata hija differenti mill-każijiet b'Metriku Uniku u Multimetriku. Dan sar f'Kibana bid-disinn għal perċezzjoni mtejba tad-distribuzzjoni tal-valuri tad-dejta analizzata.
Il-graff turi li l-proċess ġab ruħu b'mod anormali istress (mill-mod, iġġenerat minn utilità speċjali) fuq is-server poipu, li influwenza (jew irriżulta li kien influencer) l-okkorrenza ta 'din l-anomalija.
Avvanzata
Analitiċi b'irfinar. Bl-analiżi Avvanzata, settings addizzjonali jidhru f'Kibana. Wara li tikklikkja fuq il-maduma Avvanzata fil-menu tal-ħolqien, tidher din it-tieqa bit-tabs. Tab dettalji impjieg Aħna qbiżna apposta, hemm settings bażiċi mhux direttament relatati mat-twaqqif tal-analiżi.
В summary_count_field_name B'għażla, tista' tispeċifika l-isem ta' qasam minn dokumenti li fihom valuri aggregati. F'dan l-eżempju, in-numru ta 'avvenimenti kull minuta. IN jindika l-isem u l-valur ta’ qasam mid-dokument li fih xi valur varjabbli. Bl-użu tal-maskra fuq dan il-qasam, tista 'taqsam id-dejta analizzata f'sottogruppi. Oqgħod attent għall-buttuna Żid detector fl-illustrazzjoni preċedenti. Hawn taħt hemm ir-riżultat li tikklikkja din il-buttuna.
Hawnhekk hawn blokk addizzjonali ta 'settings għall-konfigurazzjoni tad-ditekter ta' anomaliji għal kompitu speċifiku. Qed nippjanaw li niddiskutu każijiet speċifiċi ta’ użu (speċjalment dawk ta’ sigurtà) fl-artikoli li ġejjin. Pereżempju, wieħed mill-każijiet żarmati. Hija assoċjata mat-tfittxija għal valuri li rarament jidhru u hija implimentata .
Fil-qasam funzjoni Tista' tagħżel funzjoni speċifika biex tfittex anomaliji. Ħlief rari, hemm ftit funzjonijiet aktar interessanti - . Huma jidentifikaw anomaliji fl-imġieba tal-metriċi matul il-ġurnata jew il-ġimgħa, rispettivament. Funzjonijiet oħra ta' analiżi .
В isem_qasam jindika l-qasam tad-dokument li fuqu se titwettaq l-analiżi. Permezz tal-isem_qasam jista' jintuża biex jissepara r-riżultati tal-analiżi għal kull valur individwali tal-qasam tad-dokument speċifikat hawn. Jekk timla over_field_name ikollok l-analiżi tal-popolazzjoni li ddiskutejna hawn fuq. Jekk tispeċifika valur fi partition_field_name, imbagħad għal dan il-qasam tad-dokument se jiġu kkalkulati linji bażi separati għal kull valur (il-valur jista 'jkun, pereżempju, l-isem tas-server jew proċess fuq is-server). IN exclude_frequent jistgħu jagħżlu kollha jew xejn, li se jfisser li jiġu esklużi (jew inklużi) valuri tal-qasam tad-dokument li jseħħu ta' spiss.
F'dan l-artikolu, ippruvajna nagħtu idea konċiża kemm jista' jkun dwar il-kapaċitajiet tat-tagħlim tal-magni fil-Elastic Stack; għad fadal ħafna dettalji wara l-kwinti. Għidilna fil-kummenti liema każijiet irnexxielek issolvi billi tuża Elastic Stack u għal liema kompiti tużah. Biex tikkuntattjana, tista’ tuża messaġġi personali fuq Habré jew .
Sors: www.habr.com