Aoka hotsaroantsika fa ny Elastic Stack dia mifototra amin'ny angona Elasticsearch tsy misy ifandraisany, ny tranonkala Kibana sy ny mpanangona angona ary ny processeur (ilay Logstash malaza indrindra, Beats isan-karazany, APM sy ny hafa). Ny iray amin'ireo fanampiana mahafinaritra amin'ny stack vokatra voatanisa manontolo dia ny famakafakana data amin'ny alàlan'ny algorithm fianarana milina. Ao amin'ny lahatsoratra dia takatsika hoe inona ireo algorithm ireo. Azafady eo ambany saka.
Ny fianarana milina dia endri-javatra karama amin'ny Shareware Elastic Stack ary tafiditra ao amin'ny X-Pack. Hanombohana mampiasa azy, ampio fotsiny ny fitsapana 30 andro aorian'ny fametrahana. Rehefa tapitra ny fotoam-pitsarana dia azonao atao ny mangataka fanohanana hanitarana izany na hividianana famandrihana. Ny vidin'ny famandrihana dia tsy mifototra amin'ny habetsahan'ny angona, fa amin'ny isan'ny nodes ampiasaina. Tsia, ny habetsaky ny angon-drakitra, mazava ho azy, dia misy fiantraikany amin'ny isan'ireo nodes ilaina, saingy mbola maha-olombelona kokoa ity fomba fiasa amin'ny fahazoan-dàlana ity raha oharina amin'ny teti-bolan'ny orinasa. Raha tsy mila vokatra avo lenta ianao dia afaka mitahiry vola.
ML ao amin'ny Elastic Stack dia voasoratra ao amin'ny C ++ ary mihazakazaka ivelan'ny JVM, izay i Elasticsearch mihitsy no mihazakazaka. Izany hoe, ny dingana (amin'ny fomba, antsoina hoe autodetect) dia mandany izay rehetra tsy ateliny JVM. Amin'ny sehatra demo dia tsy dia manakiana loatra izany, fa amin'ny tontolon'ny famokarana dia zava-dehibe ny fizarana node misaraka ho an'ny asa ML.
Ny algorithm fianarana milina dia mizara ho sokajy roa − и . Ao amin'ny Elastic Stack, ny algorithm dia ao amin'ny sokajy "tsy voafehy". ny Azonao atao ny mahita ny fitaovana matematika amin'ny algorithm fianarana milina.
Mba hanatanterahana ny famakafakana, ny algorithm fianarana milina dia mampiasa angona voatahiry ao amin'ny indeksan'ny Elasticsearch. Azonao atao ny mamorona asa ho an'ny fanadihadiana na avy amin'ny interface Kibana na amin'ny alàlan'ny API. Raha manao izany amin'ny alàlan'ny Kibana ianao, dia tsy mila mahafantatra zavatra sasany ianao. Ohatra, fanondroana fanampiny izay ampiasain'ny algorithm mandritra ny asany.
Fanondro fanampiny ampiasaina amin'ny dingan'ny famakafakana.ml-state — fampahalalana momba ny maodely statistika (fametrahana analyse);
.ml-anomalies-* — vokatry ny algorithm ML;
.ml-notifications — firafitry ny fampahafantarana mifototra amin'ny valin'ny fanadihadiana.
Ny rafitra angon-drakitra ao amin'ny angon-drakitra Elasticsearch dia misy indexes sy antontan-taratasy voatahiry ao aminy. Raha ampitahaina amin'ny angon-drakitra mifandraika, ny index dia azo ampitahaina amin'ny schema database, ary ny antontan-taratasy amin'ny rakitra ao anaty latabatra. Ity fampitahana ity dia misy fepetra ary omena mba hanatsorana ny fahatakarana ny fitaovana fanampiny ho an'ireo izay nandre momba ny Elasticsearch.
Ny fiasa mitovy amin'izany dia azo alaina amin'ny alàlan'ny API toy ny amin'ny alàlan'ny interface Internet, noho izany dia hasehontsika ny fomba fanamboarana azy amin'ny alàlan'ny Kibana mba hanazavana sy fahatakarana ireo hevitra. Ao amin'ny sakafo eo ankavia dia misy fizarana Machine Learning izay ahafahanao mamorona asa vaovao. Ao amin'ny interface Kibana dia toa ny sary etsy ambany. Ankehitriny dia hamakafaka ny karazana asa tsirairay isika ary hampiseho ireo karazana fanadihadiana azo amboarina eto.
Metrika tokana - famakafakana metrika iray, Metrika maro - famakafakana metrika roa na maromaro. Amin'ireo tranga roa ireo, ny metrika tsirairay dia anadihadiana amin'ny tontolo mitoka-monina, izany hoe. ny algorithm dia tsy miraharaha ny fitondran-tenan'ireo metrika voadinika mifanitsy, araka ny mety ho hita amin'ny tranga Multi Metric. Mba hanatanterahana ny kajikajy amin'ny fijerena ny fifandraisan'ny metrika isan-karazany dia azonao ampiasaina ny fanadihadiana momba ny mponina. Ary ny Advanced dia manatsara ny algorithm miaraka amin'ny safidy fanampiny ho an'ny asa sasany.
Mika tokana
Ny famakafakana fiovana amin'ny metrika tokana no zavatra tsotra indrindra azo atao eto. Aorian'ny fipihana amin'ny Create Job, ny algorithm dia hitady anomalies.
Tany an-tsaha Aggregation azonao atao ny misafidy fomba fitadiavana tsy mety. Ohatra, rehefa Min ny soatoavina ambanin'ny soatoavina mahazatra dia heverina ho tsy misy dikany. Hanina Max, ambony midika, ambany, mean, miavaka sy ny hafa. Ny famaritana ny asa rehetra dia azo jerena .
Tany an-tsaha Field manondro ny saha isa ao amin'ny antontan-taratasy izay hanaovana ny fanadihadiana.
Tany an-tsaha - fampitomboana ny elanelam-potoana eo amin'ny fandaharam-potoana hanaovana ny famakafakana. Afaka matoky ny automatique ianao na misafidy amin'ny tanana. Ity sary etsy ambany ity dia ohatra iray amin'ny tsy fahampian-tsakafo ho ambany loatra - mety tsy ho hitanao ilay anomaly. Amin'ny fampiasana an'io toe-javatra io dia azonao atao ny manova ny fahatsapan'ny algorithm amin'ny tsy fetezana.
Ny faharetan'ny angon-drakitra voangona dia zavatra manan-danja izay misy fiantraikany amin'ny fahombiazan'ny fanadihadiana. Mandritra ny famakafakana, ny algorithm dia mamaritra ny elanelam-potoana miverimberina, manao kajy ny elanelan'ny fahatokisana (baselines) ary mamaritra ny anomalies - fivilian-dàlana atypical amin'ny fitondran-tena mahazatra ny metrika. Ohatra fotsiny:
Baseline misy angona kely:
Rehefa manana zavatra ianarana ny algorithm, dia toy izao ny baseline:
Rehefa avy natomboka ny asa, ny algorithm dia mamaritra ny tsy fitoviana amin'ny fenitra ary mametraka azy ireo araka ny mety hisian'ny anomaly (ny lokon'ny marika mifanaraka amin'izany dia aseho ao anaty fononteny):
Fampitandremana (manga): latsaky ny 25
Minor (mavo): 25-50
Major (voasary): 50-75
Mitsikera (mena): 75-100
Ny tabilao etsy ambany dia mampiseho ohatra iray amin'ireo tsy mety hita.
Eto ianao dia afaka mahita ny isa 94, izay manondro ny mety hisian'ny anomaly. Mazava fa satria efa manakaiky ny 100 ny sandany dia midika izany fa misy anomaly eto amintsika. Ny tsanganana eo ambanin'ny tabilao dia mampiseho ny mety ho kely indrindra amin'ny 0.000063634% amin'ny sanda metrika miseho eo.
Ho fanampin'ny fitadiavana tsy mety, azonao atao ny manao vinavina ao Kibana. Izany dia atao tsotra sy mitovy fijery amin'ny anomalies - bokotra Forecast eo amin'ny zoro ambony havanana.
Ny vinavina dia atao mandritra ny 8 herinandro mialoha indrindra. Na dia tena tianao aza dia tsy azo atao intsony izany amin'ny alàlan'ny famolavolana.
Amin'ny toe-javatra sasany dia tena ilaina ny vinavina, ohatra, rehefa manara-maso ny enta-mavesatry ny mpampiasa amin'ny fotodrafitrasa.
Multi metric
Andao hiroso amin'ny endri-javatra ML manaraka ao amin'ny Elastic Stack - mamakafaka metrika maromaro ao anaty andiany iray. Saingy tsy midika izany fa hodinihina ny fiankinan'ny metrika iray amin'ny iray hafa. Mitovy amin'ny Single Metric izany, saingy misy metrika maromaro amin'ny efijery iray mba hampitahana mora ny fiantraikan'ny iray amin'ny iray hafa. Hiresaka momba ny famakafakana ny fiankinan'ny metrika iray amin'ny iray hafa isika ao amin'ny fizarana Population.
Rehefa avy manindry ny kianja miaraka amin'ny Multi Metric, dia hiseho ny varavarankely misy fikandrana. Andeha hojerentsika amin'ny antsipiriany bebe kokoa izy ireo.
Voalohany dia mila mifidy ny saha ho an'ny famakafakana sy ny fanangonana angona momba azy ireo ianao. Ny safidy fanangonana eto dia mitovy amin'ny Single Metric (Max, ambony midika, ambany, mean, miavaka sy ny hafa). Ankoatra izany, raha tianao, ny angon-drakitra dia zaraina ho iray amin'ireo saha (field Mizara Data). Ao amin'ny ohatra, nanao izany tamin'ny saha izahay OriginAirportID. Mariho fa ny kisary metrika eo ankavanana dia aseho amin'ny endrika maromaro.
saha Sahan-dehibe (Influencers) miantraika mivantana amin'ireo anomalies hita. Amin'ny alàlan'ny default dia hisy sanda iray farafahakeliny foana eto, ary azonao ampiana fanampiny. Ny algorithm dia handinika ny fiantraikan'ireo sehatra ireo rehefa mamakafaka sy mampiseho ny soatoavina "mahery vaika indrindra".
Aorian'ny fandefasana dia hiseho eo amin'ny interface Kibana ny zavatra tahaka izao.
Io ilay atao hoe sarintany hafanana amin'ny anomalies ho an'ny sandan'ny saha tsirairay OriginAirportID, izay nambaranay tao Mizara Data. Toy ny amin'ny Single Metric, ny loko dia manondro ny haavon'ny fiviliana tsy ara-dalàna. Tsara ny manao famakafakana mitovy amin'izany, ohatra, amin'ny toeram-piasana mba hanaraha-maso ireo manana fanomezan-dàlana mampiahiahy, sns. Efa nanoratra izahay , izay azo angonina sy hamakafaka eto ihany koa.
Eo ambanin'ny sarintanin'ny hafanana dia misy lisitr'ireo tsy mety, avy amin'ny tsirairay dia azonao atao ny mifindra amin'ny fijery Metrika tokana ho an'ny famakafakana amin'ny antsipiriany.
Mponina
Mba hitadiavana ny tsy fitoviana eo amin'ny fifandraisana misy eo amin'ny metrika samihafa, ny Elastic Stack dia manana fanadihadiana manokana momba ny mponina. Miaraka amin'ny fanampiany dia azonao atao ny mitady soatoavina tsy misy dikany amin'ny fanatanterahana ny serivisy raha oharina amin'ny hafa rehefa mitombo, ohatra, ny fangatahana amin'ny rafitra kendrena.
Amin'ity fanoharana ity, ny sahan'ny mponina dia manondro ny sanda ifandraisan'ny metrika nodinihina. Amin'ity tranga ity dia ny anaran'ny dingana. Vokatr'izany dia ho hitantsika ny fiantraikan'ny enta-mavesatry ny processeur tsirairay.
Mariho fa ny kirin'ny angon-drakitra voadinika dia tsy mitovy amin'ny tranga miaraka amin'ny Metrika tokana sy Metrika maro. Izany dia natao tao Kibana tamin'ny alàlan'ny famolavolana mba hanatsarana ny fiheverana ny fizarana ny soatoavin'ny angon-drakitra nodinihina.
Asehon'ny kisary fa nihetsika tsy araka ny tokony ho izy ilay dingana adin-tsaina (amin'ny fomba, novokarin'ny fitaovana manokana) amin'ny mpizara poipu, izay nitaona (na nivadika ho influencer) ny fisian'ity anomaliana ity.
Advanced
Analytics miaraka amin'ny fanitsiana tsara. Miaraka amin'ny famakafakana mandroso dia miseho ao amin'ny Kibana ny firafitry fanampiny. Aorian'ny fipihana ny taila Advanced ao amin'ny menio famoronana dia miseho ity varavarankely misy tabilao ity. kiheba Job Details Notsindrianay an-tsaina izany, misy ny toe-javatra fototra tsy mifandray mivantana amin'ny fametrahana ny famakafakana.
В summary_count_field_name Raha azo atao dia azonao atao ny mamaritra ny anaran'ny saha iray avy amin'ny antontan-taratasy misy sanda mitambatra. Amin'ity ohatra ity, ny isan'ny hetsika isa-minitra. IN manondro ny anarana sy ny sandan'ny saha iray avy amin'ny antontan-taratasy misy sanda miovaova. Amin'ny fampiasana ny saron-tava amin'ity sehatra ity, azonao atao ny mizara ny angon-drakitra voadinika ho ampahany. Tandremo ny bokotra Ampio mpitsikilo ao amin’ilay fanoharana teo aloha. Ity ambany ity ny vokatry ny fipihana ity bokotra ity.
Ity misy sakana fanampiny amin'ny fandrindrana ny mpitsikilo anomaly ho an'ny asa manokana. Mikasa ny hiresaka momba ny fampiasana manokana (indrindra fa ny fiarovana) ao amin'ny lahatsoratra manaraka. Ohatra, iray amin'ireo tranga voaravaka. Ampifandraisina amin'ny fitadiavana soatoavina tsy fahita firy izy io ary ampiharina .
Tany an-tsaha function Azonao atao ny misafidy asa manokana hitadiavana tsy mety. afa-tsy tsy fahita firy, misy fiasa mahaliana roa hafa - . Izy ireo dia mamaritra ny tsy mety amin'ny fitondran-tenan'ny metrika mandritra ny andro na herinandro, tsirairay avy. Asa fanadihadiana hafa .
В saha_anarana manondro ny sahan'ny antontan-taratasy izay hanaovana ny fanadihadiana. By_field_name azo ampiasaina hanasaraka ny valin'ny famakafakana ho an'ny sandan'ny tsirairay amin'ny saha antontan-taratasy voalaza eto. Raha mameno over_field_name azonao ny fanadihadiana momba ny mponina izay noresahinay tetsy ambony. Raha manondro sanda ao amin'ny partition_field_name, dia ho an'ity sahan'ny antontan-taratasy ity dia hokajiana ny tsipika mitokana ho an'ny sanda tsirairay (ny sanda dia mety ho, ohatra, ny anaran'ny mpizara na ny dingana eo amin'ny mpizara). IN exclude_frequent afaka misafidy rehetra na tsy misy, izay midika fa manilika (na mampiditra) ny sandan'ny saha antontan-taratasy matetika.
Ao amin'ity lahatsoratra ity, niezaka nanome hevitra fohy araka izay azo atao momba ny fahaizan'ny fianarana milina ao amin'ny Elastic Stack izahay; mbola be dia be ny antsipiriany tavela ao ambadiky ny sehatra. Lazao anay ao amin'ny fanehoan-kevitra hoe inona ireo tranga azonao voavaha tamin'ny alàlan'ny Elastic Stack sy ny asa ampiasainao. Raha hifandray aminay dia afaka mampiasa hafatra manokana amin'ny Habré na .
Source: www.habr.com