Sei o tatou manatua o le Elastic Stack e faʻavae i luga ole faʻamaumauga ole Elasticsearch e le o fesoʻotaʻiga, o le upega tafaʻilagi a Kibana ma le aoina o faʻamaumauga ma le gaosiga (o le Logstash sili ona lauiloa, Beats eseese, APM ma isi). O se tasi o faʻaopoopoga matagofie i le lisi atoa o oloa faʻapipiʻi o faʻamaumauga faʻamaumauga e faʻaaoga ai masini aʻoaʻoga algorithms. I totonu o le tusiga matou te malamalama i mea nei algorithms. Faamolemole i lalo o pusi.
O le a'oa'oina o masini o se vaega totogi o le shareware Elastic Stack ma o lo'o aofia i le X-Pack. Ina ia amata faʻaaogaina, naʻo le faʻagaoioia o le 30-aso faʻataʻitaʻiga pe a uma ona faʻapipiʻi. A uma le vaitaimi o le faamasinoga, e mafai ona e talosagaina le lagolago e faʻalautele pe faʻatau se saofaga. O le tau o se saofaga e le faʻatatau i luga o le tele o faʻamaumauga, ae i luga o le numera o nodes faʻaaogaina. Leai, o le tele o faʻamaumauga, ioe, e aʻafia ai le numera o nodes manaʻomia, ae o lenei faiga i le laiseneina e sili atu le faʻaletagata e tusa ai ma le paketi a le kamupani. Afai e le manaʻomia le maualuga o le gaosiga, e mafai ona e faʻasaoina tupe.
ML i le Elastic Stack o loʻo tusia i le C ++ ma tamoʻe i fafo o le JVM, lea e tamoe ai Elasticsearch lava ia. O lona uiga, o le faagasologa (i le ala, ua taʻua o le autodetect) e faʻaaogaina mea uma e le foloina e le JVM. I luga o se tulaga faʻataʻitaʻiga e le o se mea taua tele, ae i se siosiomaga gaosiga e taua le tuʻufaʻatasia o nodes mo galuega ML.
Algoritimi a'oa'oga masini e pa'ū i ni vaega se lua − и . I totonu o le Elastic Stack, o le algorithm o loʻo i totonu o le vaega "le faʻatonutonuina". E E mafai ona e vaʻai i le numera o masini aʻoaʻoga algorithms.
Ina ia faia le auʻiliʻiliga, e faʻaogaina e le masini aʻoaʻoga algorithm faʻamaumauga o loʻo teuina i faʻamaumauga Elasticsearch. E mafai ona e faia galuega mo au'ili'iliga mai le Kibana fa'aoga ma ala ile API. Afai e te faia lenei mea e ala i Kibana, ona e le manaʻomia lea ona e iloa nisi mea. Mo se faʻataʻitaʻiga, faʻamatalaga faʻaopoopo o loʻo faʻaogaina e le algorithm i le taimi o lana gaioiga.
Fa'ailoga fa'aopoopo o lo'o fa'aaogaina ile fa'agasologa o su'esu'ega.ml-state - faʻamatalaga e uiga i faʻataʻitaʻiga faʻafuainumera (faʻasologa o suʻesuʻega);
.ml-anomalies-* - taunuuga o ML algorithms;
.ml-notifications - faʻatulagaina mo faʻamatalaga e faʻavae i luga o faʻamatalaga auʻiliʻili.
O faʻamaumauga faʻamaumauga i totonu o le Elasticsearch database e aofia ai faʻamatalaga ma pepa o loʻo teuina i totonu. Pe a faʻatusatusa i se faʻamaumauga fesoʻotaʻiga, e mafai ona faʻatusatusa se faʻasino i se faʻamaumauga faʻamaumauga, ma se pepa i se faʻamaumauga i totonu o se laulau. O lenei faʻatusatusaga e tuʻufaʻatasia ma ua tuʻuina atu e faʻafaigofie ai le malamalama i isi mea mo i latou na faʻalogo e uiga i le Elasticsearch.
Ole fa'atinoga lava e tasi e maua ile API e ala ile upega tafa'ilagi, o lea mo le manino ma le malamalama i manatu, o le a matou faʻaalia le auala e faʻapipiʻi ai e ala i Kibana. I le lisi o loʻo i le agavale o loʻo i ai se vaega o le Machine Learning e mafai ona e fatuina ai se galuega fou. I le Kibana interface e pei o le ata o loʻo i lalo. O lenei o le a matou faʻavasega ituaiga taʻitasi o galuega ma faʻaalia ituaiga o auiliiliga e mafai ona fausia iinei.
Fuafuaga Tasi - su'esu'ega o le tasi metric, Multi Metric - au'ili'iliga o fua fa'atatau e lua pe sili atu. I tulaga uma e lua, o metric taitasi e suʻesuʻeina i se siosiomaga tuʻufua, i.e. e le amana'ia e le algorithm le amio o metric su'esu'e tutusa, e pei ona foliga mai i le tulaga o le Multi Metric. Ina ia faia faʻatusatusaga ma amanaʻia le faʻamaopoopoina o metrics eseese, e mafai ona e faʻaogaina le Population Analysis. Ma o le Advanced o loʻo faʻafetaui lelei algorithms ma isi filifiliga mo nisi galuega.
Metika Tasi
O le su'esu'eina o suiga i se tasi metric o le mea sili lea ona faigofie e mafai ona faia iinei. A maeʻa ona kiliki i luga o le Create Job, o le algorithm o le a suʻe ni mea faʻaletonu.
I le fanua Faʻasalaga e mafai ona e filifilia se auala e su'e ai fa'aletonu. Mo se faataitaiga, o afea min o tau i lalo ifo o tau masani o le a manatu e le masani. 'A'ai Max, Maualuluga Mean, Low, Mean, Distinct ma isi. E mafai ona maua fa'amatalaga o galuega uma .
I le fanua laufanua fa'aalia le numera numera i totonu o le pepa o le a matou faia ai le auiliiliga.
I le fanua - fa'asologa o va'aiga i luga ole taimi ole a fa'atino ai le au'ili'iliga. E mafai ona e faʻatuatuaina le masini pe filifili ma le lima. O le ata o loʻo i lalo o se faʻataʻitaʻiga o le granularity ua maualalo tele - atonu e te misia le anomaly. I le faʻaaogaina o lenei faʻatulagaga, e mafai ona e suia le lagona o le algorithm i faʻalavelave.
O le umi o faʻamaumauga na aoina o se mea taua e aʻafia ai le aoga o le auiliiliga. I le taimi o suʻesuʻega, o le algorithm e faʻaalia ai le toe faia o vaeluaga, faʻatusatusa taimi faʻamaonia (baselines), ma faʻailoa mea faʻaletonu-atypical deviations mai amioga masani a le metric. Mo se fa'ata'ita'iga:
Fa'avae fa'atasi ma se vaega itiiti o fa'amaumauga:
A i ai i le algorithm se mea e aʻoaʻoina mai ai, o le laina faʻavae e pei o lenei:
A maeʻa ona amata le galuega, o le algorithm e faʻamautu ai suiga faʻaletonu mai le masani ma faʻatulagaina i latou e tusa ai ma le avanoa o se anomaly (o le lanu o le igoa tutusa o loʻo faʻaalia i puipui):
Lapataiga (lanumoana): itiiti ifo i le 25
Laiti (samasama): 25-50
Tele (lanu moli): 50-75
Mata'utia (mumu): 75-100
O le kalafi o loʻo i lalo o loʻo faʻaalia ai se faʻataʻitaʻiga o faʻalavelave na maua.
O iinei e mafai ona e vaʻai i le numera 94, lea e faʻaalia ai le avanoa o se faʻalavelave. E manino lava talu ai o le tau e latalata i le 100, o lona uiga o loʻo i ai se tatou anomaly. O le koluma i lalo o le kalafi o loʻo faʻaalia ai le faʻalavelave laʻititi o le 0.000063634% o le tau metric o loʻo faʻaalia iina.
E le gata i le su'eina o mea fa'aletonu, e mafai ona e fa'ata'ita'i fa'ata'ita'i ile Kibana. E faia lenei mea faigofie ma mai le vaaiga tutusa ma anomalies - button vāloʻaga i le tulimanu pito i luga taumatau.
Ole fa'aaliga e faia mo le maualuga ole 8 vaiaso a'o lumana'i. E tusa lava pe e te manaʻo moni i ai, e le toe mafai e ala i le mamanu.
I nisi o tulaga, o le faʻamatalaga o le a aoga tele, mo se faʻataʻitaʻiga, pe a mataʻituina le utaina o tagata i luga o atinaʻe.
Tele metric
Se'i o tatou aga'i atu i le isi vaega ML ile Elastic Stack - su'esu'e ni metric i le tasi vaega. Ae e le o lona uiga o le faalagolago o le tasi metric i le isi o le a suʻesuʻeina. E tutusa lea ma le Metric Nofofua, ae faʻatasi ma le tele o fua faʻatatau i luga o le tasi lau mo faʻatusatusaga faigofie o le aʻafiaga o le tasi i le isi. O le a tatou talanoa e uiga i le suʻesuʻeina o le faʻalagolago o le tasi metric i le isi i le vaega o Tagata.
A maeʻa ona kiliki i luga ole sikuea ma Multi Metric, o le a faʻaalia se faʻamalama ma faʻatulagaga. Se'i o tatou va'ai atili i ai.
Muamua e tatau ona e filifilia fanua mo auʻiliʻiliga ma faʻamaumauga faʻamaumauga i luga oi latou. Ole tu'ufa'atasiga o filifiliga iinei e tutusa ma le Single Metric (Max, Maualuluga Mean, Low, Mean, Distinct ma isi). E le gata i lea, pe a manaʻomia, o faʻamaumauga e vaevaeina i se tasi o fanua (field Vaevae Fa'amatalaga). I le faʻataʻitaʻiga, na matou faia lenei mea i le fanua OriginAirportID. Matauina o le kalafi fua i le itu taumatau o loʻo faʻaalia nei o ni kalafi e tele.
laufanua Avanoa Autu (A'afiaga) e a'afia sa'o ai fa'aletonu ua iloa. I le faaletonu o le ai ai pea le itiiti ifo ma le tasi le tau iinei, ma e mafai ona e faaopoopo i ai isi mea. O le algorithm o le a amanaʻia le aʻafiaga o nei fanua i le taimi o suʻesuʻega ma faʻaalia le sili ona "aʻafia" tau.
A maeʻa le faʻalauiloaina, o se mea faʻapenei o le a faʻaalia i le Kibana interface.
O le mea lea e ta'u fa'afanua vevela o fa'aletonu mo tau fanua ta'itasi OriginAirportID, lea na matou faailoa atu i totonu Vaevae Fa'amatalaga. E pei o le Metric Nofofua, o le lanu e faʻaalia ai le maualuga o le faʻalavelave faʻafuaseʻi. E faigofie le faia o se suʻesuʻega tutusa, mo se faʻataʻitaʻiga, i luga o fale faigaluega e siaki ai i latou o loʻo i ai se numera masalosalo tele o faʻatagaga, ma isi. Ua uma ona matou tusia , lea e mafai foi ona aoina ma auʻiliʻili iinei.
I lalo ifo o le vevela faʻafanua o loʻo i ai se lisi o faʻalavelave, mai taʻitasi e mafai ona e fesuiaʻi i le Suʻega Metric View mo auiliiliga auiliili.
Faitau aofai
Ina ia va'ava'ai mo fa'aletonu i fa'atasiga i le va o metric 'ese'ese, o le Elastic Stack o lo'o iai se su'esu'ega fa'apitoa mo tagata. Faatasi ai ma lana fesoasoani e mafai ai ona e suʻeina tulaga taua i le faʻatinoina o se 'auʻaunaga pe a faʻatusatusa i isi pe a, mo se faʻataʻitaʻiga, faʻateleina le numera o talosaga i le polokalama faʻatulagaina.
I lenei fa'ata'ita'iga, o lo'o fa'ailoa mai e le fa'afanua o le faitau aofa'i le tau o le a fa'atatau i fua fa'atatau. I lenei tulaga o le igoa o le faagasologa. O le iʻuga, o le a tatou vaʻai pe faʻafefea ona aʻafia le tasi i le isi le uta o le gaosiga o gaioiga taʻitasi.
Fa'amolemole maitau o le kalafi o fa'amaumauga su'esu'e e ese mai mataupu e tasi le Metric ma Multi Metric. Na faia lenei mea i Kibana e ala i le mamanu mo se faʻaleleia atili o le faʻasoaina o tau o faʻamaumauga faʻamaonia.
O le kalafi o lo'o fa'aalia ai le fa'agasologa o amioga fa'aletonu meafaigatā (i le ala, gaosia e se aoga faʻapitoa) i luga o le 'auʻaunaga poipu, o le na fa'aaafiaina (pe na avea ma fa'alavelave) le tupu mai o lenei fa'alavelave.
maoaʻe
Iloiloga faʻatasi ma le faʻaleleia lelei. Fa'atasi ai ma su'esu'ega fa'apitoa, o fa'aopoopo fa'aopoopo e aliali mai i Kibana. A maeʻa ona kiliki i luga o le Advanced tile i le lisi o le foafoaga, o lenei faʻamalama ma faʻamau e aliali mai. Tab Job Details Na matou misia i luga o le faʻamoemoe, o loʻo i ai tulaga faʻavae e le o fesoʻotaʻi saʻo i le faʻatulagaina o le auiliiliga.
В summary_count_field_name Ile filifiliga, e mafai ona e fa'amaoti le igoa o se fanua mai pepa o lo'o iai fa'atasiga fa'atatau. I lenei faʻataʻitaʻiga, o le numera o mea na tutupu i le minute. IN o lo'o fa'ailoa mai ai le igoa ma le tau o se fanua mai le pepa o lo'o iai se tau fesuia'i. I le fa'aogaina o le matapulepule i luga o lenei fanua, e mafai ona e vaevae fa'amaumauga su'esu'e i vaega laiti. Fa'alogo lelei ile fa'amau Fa'aopoopo le mea e iloa ai i le ata muamua. O lo'o i lalo le taunu'uga o le kilikiina o lenei fa'amau.
Ole poloka fa'aopoopo lea o fa'atulagaga mo le fa'atulagaina o le anomaly detector mo se galuega fa'apitoa. Matou te fuafua e talanoaina faʻamatalaga faʻaoga faʻapitoa (aemaise lava le saogalemu) i mataupu o loʻo mulimuli mai. Faataitaiga, o se tasi o mataupu ua fa'amavae. E fesoʻotaʻi ma le suʻesuʻeina o tau e seasea faʻaalia ma faʻatinoina .
I le fanua galuega tauave E mafai ona e filifilia se galuega fa'apitoa e su'e ai fa'aletonu. Vagana ai mauagatā, o lo'o i ai ni nai galuega sili ona manaia - . Latou te fa'ailoa fa'aletonu i le amio a metric i le aso po'o le vaiaso, ta'itasi. O isi galuega su'esu'e .
В fanua_igoa o lo'o fa'ailoa mai ai le fanua o le pepa o le a fa'atino ai le su'esu'ega. By_field_name e mafai ona fa'aoga e tu'u'ese'ese ai fa'ai'uga o au'ili'iliga mo tau ta'itasi ta'itasi o le fanua pepa fa'amaoti mai iinei. Afai e te faatumuina over_field_name e te maua le faitau aofaʻi o tagata na matou talanoaina i luga. Afai e te faʻamaonia se tau i partition_field_name, ona faʻatatau lea mo lenei vaega o le pepa faʻavae laina faʻavae eseese mo tau taʻitasi (o le tau e mafai, mo se faʻataʻitaʻiga, le igoa o le server poʻo le faagasologa i luga o le server). IN tuuese_faisoo mafai ona filifili uma poʻo leai se isi, o lona uiga e le aofia ai (po'o le aofia ai) fa'asologa o fa'amaumauga o fa'amaumauga.
I lenei tusiga, na matou taumafai e tuʻuina atu se manatu faʻapitoa e uiga i le gafatia o le aʻoaʻoina o masini i le Elastic Stack o loʻo i ai pea le tele o faʻamatalaga o loʻo totoe i tua o vaaiga. Ta'u mai i fa'amatalaga po'o a mataupu na e mafai ona fo'ia i le fa'aaogaina o le Elastic Stack ma po'o a galuega e te fa'aaogaina ai. Ina ia faʻafesoʻotaʻi i matou, e mafai ona e faʻaogaina savali patino ile Habré poʻo .
puna: www.habr.com