Se pou nou sonje ke Elastic Stack la baze sou baz done Elasticsearch ki pa relasyon, koòdone entènèt Kibana ak pèseptè done ak processeurs (Logstash ki pi popilè, divès kalite Beats, APM ak lòt moun). Youn nan adisyon yo bèl nan tout pil pwodwi ki nan lis la se analiz done lè l sèvi avèk algoritm aprantisaj machin. Nan atik la nou konprann ki sa algoritm sa yo ye. Tanpri anba chat.
Aprantisaj machin se yon karakteristik peye nan Elastic Stack shareware la epi li enkli nan X-Pack la. Pou kòmanse itilize li, jis aktive esè 30 jou apre enstalasyon an. Apre peryòd esè a ekspire, ou ka mande sipò pou pwolonje li oswa achte yon abònman. Pri a nan yon abònman kalkile pa baze sou volim nan done, men sou kantite nœuds yo itilize. Non, volim nan done, nan kou, afekte kantite nœuds obligatwa yo, men yo toujou apwòch sa a nan lisans se pi imen an relasyon ak bidjè konpayi an. Si pa gen okenn nesesite pou gwo pwodiktivite, ou ka ekonomize lajan.
ML nan Elastic Stack ekri nan C++ epi li kouri deyò JVM a, nan ki Elasticsearch tèt li kouri. Sa vle di, pwosesis la (pa chemen an, yo rele sa otodeteksyon) konsome tout bagay ki JVM a pa vale. Sou yon kanpe Demo sa a pa tèlman kritik, men nan yon anviwònman pwodiksyon li enpòtan pou asiyen nœuds separe pou travay ML.
Algoritm aprantisaj machin yo tonbe nan de kategori - и . Nan Elastic Stack, algorithm la soti nan kategori "san sipèvizyon". Pa Ou ka wè aparèy matematik algorithm aprantisaj machin yo.
Pou fè analiz la, algorithm aprantisaj machin lan itilize done ki estoke nan endèks Elasticsearch. Ou ka kreye travay pou analiz tou de nan koòdone Kibana ak atravè API a. Si ou fè sa atravè Kibana, Lè sa a, ou pa bezwen konnen kèk bagay. Pou egzanp, endis adisyonèl ke algorithm la itilize pandan operasyon li yo.
Endis adisyonèl yo itilize nan pwosesis analiz la.ml-state — enfòmasyon sou modèl estatistik (anviwònman analiz);
.ml-anomalies-* — rezilta algoritm ML;
.ml-notifications — anviwònman pou notifikasyon ki baze sou rezilta analiz yo.
Estrikti done nan baz done Elasticsearch konsiste de endèks ak dokiman ki estoke nan yo. Lè yo konpare ak yon baz done relasyon, yon endèks ka konpare ak yon chema baz done, ak yon dokiman ak yon dosye nan yon tablo. Konparezon sa a se kondisyonèl epi yo bay yo senplifye konpreyansyon yo genyen sou plis materyèl pou moun ki te sèlman tande pale sou Elasticsearch.
Menm fonksyonalite a disponib atravè API a kòm atravè koòdone entènèt la, kidonk pou klè ak konpreyansyon nan konsèp yo, nou pral montre ki jan yo konfigirasyon li nan Kibana. Nan meni ki sou bò gòch la gen yon seksyon Machine Learning kote ou ka kreye yon nouvo travay. Nan koòdone Kibana li sanble imaj ki anba a. Koulye a, nou pral analize chak kalite travay epi montre ki kalite analiz ki ka konstwi isit la.
Single metrik - analiz de yon metrik, Multi metrik - analiz de oswa plis metrik. Nan de ka yo, chak metrik analize nan yon anviwònman izole, i.e. algorithm a pa pran an kont konpòtman paralèl analize metrik, jan li ta ka sanble nan ka a nan Multi Metric. Pou fè kalkil pran an kont korelasyon divès kalite metrik, ou ka itilize analiz Popilasyon. Ak Advanced ap ajiste algorithm yo ak opsyon adisyonèl pou sèten travay.
Selibatè metrik
Analize chanjman nan yon sèl metrik se bagay ki pi senp ki ka fè isit la. Apre klike sou Kreye Travay, algorithm la ap chèche anomali.
Nan jaden an Aggregasyon ou ka chwazi yon apwòch pou chèche anomali. Pou egzanp, lè Min valè ki anba a valè tipik yo pral konsidere kòm anomal. Manje Max, segondè vle di, ba, vle di, diferan ak lòt moun. Ou ka jwenn deskripsyon tout fonksyon yo .
Nan jaden an Jaden endike jaden an nimerik nan dokiman an sou ki nou pral fè analiz la.
Nan jaden an — granularite nan entèval sou delè nan ki analiz la pral fèt. Ou ka fè konfyans automatisation a oswa chwazi manyèlman. Imaj ki anba a se yon egzanp granularite ki twò ba - ou ka rate anomali nan. Sèvi ak anviwònman sa a, ou ka chanje sansiblite nan algorithm nan anomali.
Dire done yo kolekte se yon bagay kle ki afekte efikasite analiz la. Pandan analiz, algorithm la idantifye entèval repete, kalkile entèval konfyans (debaz) ak idantifye anomali - devyasyon atipik nan konpòtman abityèl metrik la. Jis pou egzanp:
Liy de baz ak yon ti moso done:
Lè algorithm la gen yon bagay pou aprann nan, debaz la sanble sa a:
Apre yo fin kòmanse travay la, algorithm la detèmine devyasyon anomali nan nòmal la epi klase yo selon pwobabilite pou yon anomali (koulè etikèt ki koresponn lan endike nan parantèz):
Avètisman (ble): mwens pase 25
Minè (jòn): 25-50
Gwo (zoranj): 50-75
Kritik (wouj): 75-100
Graf ki anba a montre yon egzanp anomali yo jwenn.
Isit la ou ka wè nimewo a 94, ki endike pwobabilite pou yon anomali. Li klè ke depi valè a se tou pre 100, sa vle di ke nou gen yon anomali. Kolòn ki anba graf la montre pwobabilite peyorativman ti pou 0.000063634% valè metrik ki parèt la.
Anplis de rechèch pou anomali, ou ka kouri prévisions nan Kibana. Sa a se fè tou senpleman ak soti nan gade nan menm ak anomali - bouton Pwedi nan kwen anwo dwat.
Previzyon an fèt pou yon maksimòm de 8 semèn davans. Menm si ou reyèlman vle, li pa posib ankò pa konsepsyon.
Nan kèk sitiyasyon, pwevwa a pral trè itil, pou egzanp, lè kontwole chaj itilizatè sou enfrastrikti a.
Multimetrik
Ann ale nan pwochen karakteristik ML nan Elastic Stack la - analize plizyè paramèt nan yon sèl pakèt. Men, sa pa vle di ke yo pral analize depandans yon metrik sou yon lòt. Sa a se menm jan ak Single Metric, men ak mezi miltip sou yon sèl ekran pou konparezon fasil nan enpak youn sou lòt. Nou pral pale sou analiz depandans yon metrik sou yon lòt nan seksyon Popilasyon an.
Apre klike sou kare ki gen Multi Metric, yon fenèt ak paramèt ap parèt. Ann gade yo nan plis detay.
Premye ou bezwen chwazi jaden yo pou analiz ak agrégation done sou yo. Opsyon agrégasyon yo isit la se menm jan ak pou Single Metric (Max, segondè vle di, ba, vle di, diferan ak lòt moun). Anplis de sa, si yo vle, done yo divize an youn nan jaden yo (jaden Done divize). Nan egzanp lan, nou te fè sa pa jaden OrijinAirportID. Remake ke graf metrik sou bò dwat la prezante kounye a kòm graf miltip.
Jaden Domen kle (enfliyans) dirèkteman afekte anomali yo detekte. Pa default ap toujou gen omwen yon valè isit la, epi ou ka ajoute lòt. Algorithm la pral pran an kont enfliyans nan jaden sa yo lè analize epi montre valè ki pi "enfliyan".
Apre lansman, yon bagay tankou sa a ap parèt nan koòdone Kibana.
Sa a se sa yo rele kat chalè anomalies pou chak valè jaden OrijinAirportID, ki nou endike nan Done divize. Menm jan ak Single Metric, koulè endike nivo devyasyon nòmal. Li bon pou fè yon analiz menm jan an, pou egzanp, sou estasyon travay yo swiv moun ki gen yon kantite sispèk gwo otorizasyon, elatriye. Nou deja ekri , ki kapab tou kolekte epi analize isit la.
Anba kat jeyografik chalè a gen yon lis anomali, nan chak ou ka chanje nan gade nan Single Metric pou analiz detaye.
Popilasyon
Pou chèche anomali nan mitan korelasyon ant diferan mezi, Elastic Stack la gen yon analiz Popilasyon espesyalize. Li se avèk èd li ke ou ka chèche valè anomali nan pèfòmans nan yon sèvè konpare ak lòt moun lè, pou egzanp, kantite demann nan sistèm sib la ogmante.
Nan ilistrasyon sa a, jaden Popilasyon an endike valè a ki mezire analize yo pral gen rapò. Nan ka sa a li se non an nan pwosesis la. Kòm yon rezilta, nou pral wè ki jan chaj la processeur nan chak pwosesis enfliyanse youn ak lòt.
Tanpri sonje ke graf la nan done yo analize diferan de ka yo ak yon sèl metrik ak plizyè metrik. Sa a te fè nan Kibana pa konsepsyon pou yon pèsepsyon amelyore nan distribisyon an nan valè done yo analize.
Grafik la montre ke pwosesis la te konpòte anòmalman estrès (nan chemen an, ki te pwodwi pa yon sèvis piblik espesyal) sou sèvè a poipu, ki moun ki enfliyanse (oswa yo te tounen yon enfliyans) ensidan an nan anomali sa a.
avanse
Analytics ak bon réglage. Avèk analiz avanse, paramèt adisyonèl parèt nan Kibana. Apre klike sou mozayik Avanse nan meni kreyasyon an, fenèt sa a ak onglè parèt. Tab detay travay Nou sote li espre, gen paramèt debaz ki pa dirèkteman gen rapò ak mete kanpe analiz la.
В summary_count_field_name Opsyonèlman, ou ka presize non yon jaden nan dokiman ki gen valè total. Nan egzanp sa a, kantite evènman pou chak minit. NAN endike non ak valè yon jaden nan dokiman an ki gen kèk valè varyab. Sèvi ak mask la sou jaden sa a, ou ka divize done yo analize an sou-ansanm. Peye atansyon sou bouton an Ajoute detektè nan ilistrasyon anvan an. Anba a se rezilta klike sou bouton sa a.
Isit la se yon blòk anplis nan anviwònman pou konfigirasyon detektè a anomali pou yon travay espesifik. Nou planifye pou diskite sou ka itilizasyon espesifik (sitou sa yo sekirite) nan atik sa yo. Pa egzanp, youn nan ka yo demonte. Li asosye ak rechèch la pou valè raman parèt epi li aplike .
Nan jaden an fonksyon Ou ka chwazi yon fonksyon espesifik pou chèche anomali. Eksepte ra, gen yon koup plis fonksyon enteresan - . Yo idantifye anomali nan konpòtman mezi pandan jounen an oswa semèn, respektivman. Lòt fonksyon analiz .
В field_name endike jaden an nan dokiman an sou ki analiz la pral fèt. By_field_name ka itilize pou separe rezilta analiz yo pou chak valè endividyèl jaden dokiman ki espesifye isit la. Si ou ranpli over_field_name ou jwenn analiz popilasyon an ke nou te diskite pi wo a. Si ou presize yon valè nan partition_field_name, Lè sa a, pou jaden sa a nan dokiman an debaz separe yo pral kalkile pou chak valè (valè a ka, pou egzanp, non an nan sèvè a oswa pwosesis sou sèvè a). NAN exclude_frequent ka chwazi tout oswa Pa gen okenn, ki pral vle di eskli (oswa enkli) valè jaden dokiman ki rive souvan.
Nan atik sa a, nou te eseye bay yon lide pi kout ke posib sou kapasite aprantisaj machin nan Elastic Stack la; gen toujou anpil detay ki rete dèyè sèn yo. Di nou nan kòmantè yo ki ka ou jere rezoud lè l sèvi avèk Elastic Stack ak pou ki travay ou itilize li. Pou kontakte nou, ou ka itilize mesaj pèsonèl sou Habré oswa .
Sous: www.habr.com