Jẹ ki a ranti pe Stack Elastic da lori data Elasticsearch ti kii ṣe ibatan, wiwo oju opo wẹẹbu Kibana ati awọn agbowọ data ati awọn ilana (Logstash olokiki julọ, ọpọlọpọ awọn Beats, APM ati awọn miiran). Ọkan ninu awọn afikun ti o wuyi si gbogbo akopọ ọja ti a ṣe akojọ jẹ itupalẹ data nipa lilo awọn algoridimu ikẹkọ ẹrọ. Ninu nkan naa a loye kini awọn algoridimu wọnyi jẹ. Jọwọ labẹ ologbo.
Ẹkọ ẹrọ jẹ ẹya isanwo ti Shareware Elastic Stack ati pe o wa ninu X-Pack naa. Lati bẹrẹ lilo rẹ, kan mu idanwo ọjọ 30 ṣiṣẹ lẹhin fifi sori ẹrọ. Lẹhin akoko idanwo naa pari, o le beere atilẹyin lati fa sii tabi ra ṣiṣe alabapin kan. Iye idiyele ṣiṣe-alabapin jẹ iṣiro ko da lori iwọn data, ṣugbọn lori nọmba awọn apa ti a lo. Rara, iwọn didun data, dajudaju, ni ipa lori nọmba awọn apa ti a beere, ṣugbọn sibẹ ọna yii si iwe-aṣẹ jẹ diẹ sii ti eniyan ni ibatan si isuna ile-iṣẹ naa. Ti ko ba si iwulo fun iṣelọpọ giga, o le fi owo pamọ.
ML ninu Stack Elastic ti kọ sinu C ++ ati ṣiṣe ni ita JVM, ninu eyiti Elasticsearch funrararẹ nṣiṣẹ. Iyẹn ni, ilana naa (nipasẹ ọna, o pe ni autodetect) jẹ ohun gbogbo ti JVM ko gbe. Lori iduro demo eyi kii ṣe pataki, ṣugbọn ni agbegbe iṣelọpọ o ṣe pataki lati pin awọn apa lọtọ fun awọn iṣẹ ṣiṣe ML.
Awọn algorithms ẹkọ ẹrọ ṣubu si awọn ẹka meji - и . Ninu Stack Elastic, algorithm wa ninu ẹka “aisi abojuto”. Nipasẹ O le wo ohun elo mathematiki ti awọn algoridimu ikẹkọ ẹrọ.
Lati ṣe itupalẹ naa, ẹrọ ikẹkọ algorithm nlo data ti o fipamọ sinu awọn atọka Elasticsearch. O le ṣẹda awọn iṣẹ ṣiṣe fun itupalẹ mejeeji lati wiwo Kibana ati nipasẹ API. Ti o ba ṣe eyi nipasẹ Kibana, lẹhinna o ko nilo lati mọ diẹ ninu awọn nkan. Fun apẹẹrẹ, awọn atọka afikun ti algorithm nlo lakoko iṣẹ rẹ.
Awọn itọka afikun ti a lo ninu ilana itupalẹ.ml-ipinle - alaye nipa awọn awoṣe iṣiro (awọn eto itupalẹ);
.ml-anomalies-* - awọn abajade ti awọn algoridimu ML;
.ml-awọn iwifunni - awọn eto fun awọn iwifunni ti o da lori awọn abajade onínọmbà.
Eto data ninu aaye data Elasticsearch ni awọn atọka ati awọn iwe aṣẹ ti o fipamọ sinu wọn. Nigbati a ba fiwewe si ibi ipamọ data ibatan, atọka le ṣe afiwe si ero data data, ati iwe-ipamọ si igbasilẹ ninu tabili kan. Ifiwewe yii jẹ ipo ati pe o ti pese lati jẹ ki oye ti ohun elo siwaju sii fun awọn ti o ti gbọ nikan nipa Elasticsearch.
Iṣẹ ṣiṣe kanna wa nipasẹ API bi nipasẹ wiwo wẹẹbu, nitorinaa fun asọye ati oye ti awọn imọran, a yoo ṣafihan bi o ṣe le tunto nipasẹ Kibana. Ninu akojọ aṣayan ni apa osi apakan Ẹkọ Ẹrọ kan wa nibiti o le ṣẹda Job tuntun kan. Ni wiwo Kibana o dabi aworan ni isalẹ. Bayi a yoo ṣe itupalẹ iru iṣẹ-ṣiṣe kọọkan ati ṣafihan awọn iru itupalẹ ti o le ṣe nihin.
Metiriki ẹyọkan - igbekale metiriki kan, Multi Metric - itupalẹ awọn metiriki meji tabi diẹ sii. Ni awọn ọran mejeeji, a ṣe atupale metiriki kọọkan ni agbegbe ti o ya sọtọ, i.e. algorithm ko ṣe akiyesi ihuwasi ti awọn metiriki atupale ti o jọra, bi o ṣe le dabi ninu ọran ti Multi Metric. Lati ṣe awọn iṣiro ni akiyesi ibaramu ti ọpọlọpọ awọn metiriki, o le lo itupalẹ Olugbe. Ati Onitẹsiwaju jẹ atunṣe awọn algoridimu pẹlu awọn aṣayan afikun fun awọn iṣẹ ṣiṣe kan.
Metiriki Nikan
Ṣiṣayẹwo awọn iyipada ninu metiriki ẹyọkan jẹ ohun ti o rọrun julọ ti o le ṣee ṣe nibi. Lẹhin tite lori Ṣẹda Job, algorithm yoo wa awọn asemase.
Ni aaye alaropo o le yan ọna kan si wiwa fun anomalies. Fun apẹẹrẹ, nigbawo min awọn iye ti o wa ni isalẹ awọn iye aṣoju yoo jẹ aibikita. Jeun O pọju, Itumọ giga, Kekere, Itumọ, Iyatọ ati awọn miiran. Awọn apejuwe ti gbogbo awọn iṣẹ le ṣee ri .
Ni aaye Field tọka aaye nọmba ninu iwe lori eyiti a yoo ṣe itupalẹ naa.
Ni aaye - granularity ti awọn aaye arin lori Ago pẹlu eyi ti itupalẹ yoo ṣee ṣe. O le gbekele adaṣiṣẹ tabi yan pẹlu ọwọ. Aworan ti o wa ni isalẹ jẹ apẹẹrẹ ti granularity ti o kere ju - o le padanu anomaly naa. Lilo eto yii, o le yi ifamọ ti algoridimu pada si awọn aiṣedeede.
Iye akoko data ti a gba jẹ nkan pataki ti o ni ipa lori imunadoko onínọmbà. Lakoko itupalẹ, alugoridimu ṣe idanimọ awọn aarin atunwi, ṣe iṣiro awọn aarin igbẹkẹle (awọn ipilẹ) ati ṣe idanimọ awọn aiṣedeede - awọn iyapa atypical lati ihuwasi deede ti metric. Kan fun apẹẹrẹ:
Awọn ipilẹ pẹlu nkan kekere ti data:
Nigbati algoridimu ba ni nkan lati kọ ẹkọ lati, ipilẹṣẹ dabi eyi:
Lẹhin ti o bẹrẹ iṣẹ-ṣiṣe naa, algorithm pinnu awọn iyapa ailorukọ lati iwuwasi ati ipo wọn ni ibamu si iṣeeṣe ti anomaly (awọ aami ti o baamu jẹ itọkasi ni awọn akọmọ):
Ikilọ (buluu): kere ju 25
Kekere (ofeefee): 25-50
Pataki (osan): 50-75
Lominu ni (pupa): 75-100
Aworan ti o wa ni isalẹ fihan apẹẹrẹ ti awọn aiṣedeede ti a rii.
Nibi o le wo nọmba 94, eyiti o tọka si iṣeeṣe ti anomaly. O han gbangba pe niwon iye naa ti sunmọ 100, o tumọ si pe a ni anomaly. Awọn iwe ni isalẹ awọn awonya fihan awọn pejoratively kekere iṣeeṣe ti 0.000063634% ti awọn metric iye han nibẹ.
Ni afikun si wiwa awọn aiṣedeede, o le ṣiṣe asọtẹlẹ ni Kibana. Eyi ni a ṣe ni irọrun ati lati wiwo kanna pẹlu awọn anomalies - bọtini apesile ni oke ọtun igun.
Asọtẹlẹ naa jẹ ti o pọju awọn ọsẹ 8 ni ilosiwaju. Paapa ti o ba fẹ gaan, ko ṣee ṣe nipasẹ apẹrẹ.
Ni diẹ ninu awọn ipo, asọtẹlẹ naa yoo wulo pupọ, fun apẹẹrẹ, nigbati o ba n ṣe abojuto fifuye olumulo lori awọn amayederun.
Olona Metiriki
Jẹ ki a lọ siwaju si ẹya ML atẹle ni Elastic Stack - ṣe itupalẹ ọpọlọpọ awọn metiriki ni ipele kan. Ṣugbọn eyi ko tumọ si pe igbẹkẹle ti metiriki kan lori omiiran yoo ṣe itupalẹ. Eyi jẹ kanna bii Metiriki Nikan, ṣugbọn pẹlu awọn metiriki pupọ lori iboju kan fun lafiwe irọrun ti ipa ọkan lori ekeji. A yoo sọrọ nipa ṣiṣe itupalẹ igbẹkẹle ti metiriki kan si omiiran ni apakan Olugbe.
Lẹhin tite lori square pẹlu Multi Metric, window kan pẹlu awọn eto yoo han. Jẹ ki a wo wọn ni awọn alaye diẹ sii.
Ni akọkọ o nilo lati yan awọn aaye fun itupalẹ ati akopọ data lori wọn. Awọn aṣayan akojọpọ nibi jẹ kanna bi fun Metiriki Nikan (O pọju, Itumọ giga, Kekere, Itumọ, Iyatọ ati awọn miiran). Siwaju sii, ti o ba fẹ, data ti pin si ọkan ninu awọn aaye (aaye Pipin Data). Ni apẹẹrẹ, a ṣe eyi nipasẹ aaye OriginAirportID. Ṣe akiyesi pe awọn metiriki ti o wa ni apa ọtun ti gbekalẹ bi awọn aworan pupọ.
Aaye Awọn aaye bọtini (Awọn ipa) taara yoo ni ipa lori awọn anomalies ti a rii. Nipa aiyipada nigbagbogbo yoo wa ni o kere ju iye kan nibi, ati pe o le ṣafikun awọn afikun. Algoridimu yoo ṣe akiyesi ipa ti awọn aaye wọnyi nigbati o ba ṣe itupalẹ ati ṣafihan awọn iye “agbara” julọ.
Lẹhin ifilọlẹ, nkan bii eyi yoo han ni wiwo Kibana.
Eyi ni ohun ti a npe ni ooru maapu ti asemase fun kọọkan oko iye OriginAirportID, eyiti a tọka si Pipin Data. Gẹgẹbi pẹlu Metiriki Nikan, awọ tọkasi ipele iyapa ajeji. O rọrun lati ṣe itupalẹ ti o jọra, fun apẹẹrẹ, lori awọn ibi iṣẹ lati tọpa awọn ti o ni ifura nla ti awọn aṣẹ, ati bẹbẹ lọ. A ti kọ tẹlẹ , eyi ti o tun le gba ati atupale nibi.
Ni isalẹ maapu ooru ni atokọ ti awọn asemase, lati ọkọọkan o le yipada si wiwo Metric Nikan fun itupalẹ alaye.
olugbe
Lati wa awọn aiṣedeede laarin awọn ibamu laarin awọn metiriki oriṣiriṣi, Elastic Stack ni itupalẹ Olugbe pataki kan. O jẹ pẹlu iranlọwọ rẹ pe o le wa awọn iye ailorukọ ninu iṣẹ ti olupin ni akawe si awọn miiran nigbati, fun apẹẹrẹ, nọmba awọn ibeere si eto ibi-afẹde naa pọ si.
Ninu apejuwe yii, aaye Olugbe tọkasi iye si eyiti awọn metiriki atupale yoo ṣe ibatan. Ni idi eyi o jẹ orukọ ilana naa. Bi abajade, a yoo rii bii fifuye ero isise ti ilana kọọkan ṣe ni ipa lori ara wọn.
Jọwọ ṣe akiyesi pe iyaya ti data atupale yatọ si awọn ọran pẹlu Metiriki Nikan ati Multi Metric. Eyi ni a ṣe ni Kibana nipasẹ apẹrẹ fun iwo ilọsiwaju ti pinpin awọn iye ti data atupale.
Aworan naa fihan pe ilana naa ṣe aiṣedeede wahala (nipasẹ ọna, ti ipilẹṣẹ nipasẹ ohun elo pataki) lori olupin naa poipu, ti o ni ipa (tabi ti o yipada lati jẹ oludaniloju) iṣẹlẹ ti anomaly yii.
To ti ni ilọsiwaju
Atupale pẹlu itanran yiyi. Pẹlu Ilọsiwaju onínọmbà, awọn eto afikun han ni Kibana. Lẹhin titẹ lori Tile To ti ni ilọsiwaju ninu akojọ ẹda, window yii pẹlu awọn taabu han. Taabu Awọn alaye Job A fo o lori idi, nibẹ ni o wa ipilẹ eto ko taara jẹmọ si eto soke awọn onínọmbà.
В summary_count_field_orukọ Ni yiyan, o le pato orukọ aaye kan lati awọn iwe aṣẹ ti o ni awọn iye akojọpọ ninu. Ni apẹẹrẹ yii, nọmba awọn iṣẹlẹ fun iṣẹju kan. IN tọkasi orukọ ati iye aaye kan lati inu iwe-ipamọ ti o ni diẹ ninu iye oniyipada ninu. Lilo iboju-boju lori aaye yii, o le pin awọn data atupale sinu awọn ipin. San ifojusi si bọtini Fi oluwari kun ninu àkàwé išaaju. Ni isalẹ ni abajade ti titẹ bọtini yii.
Eyi ni afikun Àkọsílẹ ti awọn eto fun atunto aṣawari anomaly fun iṣẹ-ṣiṣe kan pato. A gbero lati jiroro lori awọn ọran lilo pato (paapaa awọn aabo) ninu awọn nkan atẹle. Fun apere, ọkan ninu awọn disassembled igba. O ni nkan ṣe pẹlu wiwa fun awọn iye ifarahan ti o ṣọwọn ati pe o ti ṣe imuse .
Ni aaye iṣẹ O le yan iṣẹ kan pato lati wa awọn aiṣedeede. Ayafi toje, nibẹ ni o wa kan tọkọtaya diẹ awon awọn iṣẹ-ṣiṣe - . Wọn ṣe idanimọ awọn aiṣedeede ni ihuwasi ti awọn metiriki jakejado ọjọ tabi ọsẹ, ni atele. Miiran onínọmbà awọn iṣẹ .
В aaye_orukọ tọka aaye ti iwe-ipamọ lori eyiti a yoo ṣe itupalẹ naa. Nipa_oko_orukọ le ṣee lo lati yapa awọn abajade itupalẹ fun iye kọọkan ti aaye iwe-ipamọ ti o ṣalaye nibi. Ti o ba kun over_field_name o gba itupalẹ olugbe ti a sọrọ loke. Ti o ba pato iye kan ninu partition_field_orukọ, lẹhinna fun aaye yii ti awọn ipilẹ-ipilẹ lọtọ yoo ṣe iṣiro fun iye kọọkan (iye le jẹ, fun apẹẹrẹ, orukọ olupin tabi ilana lori olupin). IN exclude_loorekoore le yan gbogbo tabi kò, eyi ti yoo tumọ si laisi (tabi pẹlu) awọn iye aaye iwe ti o nwaye nigbagbogbo.
Ninu nkan yii, a gbiyanju lati fun ni imọran kukuru bi o ti ṣee nipa awọn agbara ti ẹkọ ẹrọ ni Elastic Stack; ọpọlọpọ awọn alaye tun wa ti o fi silẹ lẹhin awọn iṣẹlẹ. Sọ fun wa ninu awọn asọye kini awọn ọran ti o ṣakoso lati yanju nipa lilo Stack Elastic ati awọn iṣẹ ṣiṣe wo ni o lo fun. Lati kan si wa, o le lo awọn ifiranṣẹ ti ara ẹni lori Habré tabi .
orisun: www.habr.com