Gogora dezagun Elastic Stack-ek erlaziorik gabeko Elasticsearch datu-basean, Kibana web interfazean eta datu biltzaile eta prozesadoreetan (Logstash, Beats ezberdinak, APM eta beste ezagunenak) oinarritzen dela. Zerrendatutako produktuen pila osoaren gehigarri politetako bat datuen analisia da ikaskuntza automatikoko algoritmoak erabiliz. Artikuluan algoritmo hauek zer diren ulertzen dugu. Mesedez katu azpian.
Machine Learning shareware Elastic Stack-en ordainpeko funtzio bat da eta X-Pack-en sartzen da. Erabiltzen hasteko, instalatu ondoren 30 eguneko proba aktibatu besterik ez dago. Proba-aldia amaitu ondoren, laguntza eska dezakezu luzatzeko edo harpidetza erosteko. Harpidetza baten kostua ez da datuen bolumenaren arabera kalkulatzen, erabilitako nodo kopuruaren arabera baizik. Ez, datu-bolumenak, noski, behar diren nodo kopuruari eragiten dio, baina hala ere lizentzien ikuspegi hori gizatiarragoa da konpainiaren aurrekontuari dagokionez. Produktibitate handiko beharrik ez badago, dirua aurreztu dezakezu.
Elastic Stack-eko ML C++-n idatzita dago eta JVMtik kanpo exekutatzen da, eta bertan Elasticsearch bera exekutatzen da. Hau da, prozesuak (bide batez, autodetekzioa deitzen zaio) JVMk irensten ez duen guztia kontsumitzen du. Demo stand batean hori ez da hain kritikoa, baina ekoizpen-ingurunean garrantzitsua da ML zereginetarako nodo bereiziak esleitzea.
Ikaskuntza automatikoko algoritmoak bi kategoriatan banatzen dira - ΠΈ . Elastic Stack-en, algoritmoa "gainbegiratu gabeko" kategorian dago. Nork Ikaskuntza automatikoko algoritmoen aparatu matematikoa ikus dezakezu.
Analisia egiteko, ikaskuntza automatikoko algoritmoak Elasticsearch indizeetan gordetako datuak erabiltzen ditu. Analisirako zereginak sor ditzakezu bai Kibana interfazetik bai APIaren bidez. Kibanaren bidez hau egiten baduzu, orduan ez dituzu gauza batzuk jakin behar. Adibidez, algoritmoak bere funtzionamenduan erabiltzen dituen indize gehigarriak.
Analisi-prozesuan erabilitako indize osagarriak.ml-state β eredu estatistikoei buruzko informazioa (analisiaren ezarpenak);
.ml-anomalies-* β ML algoritmoen emaitzak;
.ml-notifications β analisiaren emaitzetan oinarritutako jakinarazpenen ezarpenak.
Elasticsearch datu-baseko datu-egitura horietan gordetako indize eta dokumentuek osatzen dute. Datu-base erlazional batekin alderatuta, indize bat datu-basearen eskema batekin aldera daiteke, eta dokumentu bat taula bateko erregistro batekin. Konparaketa hau baldintzazkoa da eta Elasticsearch-i buruz bakarrik entzun dutenentzat material gehiago ulertzea errazteko eskaintzen da.
APIaren bidez eta web interfazearen bidez funtzionalitate bera dago eskuragarri, beraz, kontzeptuak argitzeko eta ulertzeko, Kibanaren bidez nola konfiguratu erakutsiko dugu. Ezkerreko menuan Machine Learning atal bat dago non Lan berri bat sor dezakezun. Kibana interfazean beheko irudiaren itxura du. Orain zeregin mota bakoitza aztertuko dugu eta hemen eraiki daitezkeen analisi motak erakutsiko ditugu.
Metrika bakarra - metrika baten analisia, metrika anitzekoa - metrika bi edo gehiagoren analisia. Bi kasuetan, metrika bakoitza ingurune isolatu batean aztertzen da, hau da. algoritmoak ez du kontuan hartzen analizatutako metrik paraleloen portaera, Multi Metric-en kasuan badirudi bezala. Hainbat metrikaren korrelazioa kontuan hartuta kalkuluak egiteko, Population analysis erabil dezakezu. Eta Advanced algoritmoak doitzen ari da zenbait zereginetarako aukera gehigarriekin.
Metrika bakarra
Aldaketak metrika bakarrean aztertzea da hemen egin daitekeen gauzarik errazena. Sortu lana sakatu ondoren, algoritmoak anomaliak bilatuko ditu.
eremuan Agregazioa anomaliak bilatzeko hurbilketa bat aukeratu dezakezu. Adibidez, noiz Min balio tipikoen azpitik dauden balioak anormaltzat hartuko dira. Jan Gehienezkoa, Batezbestekoa altua, Baxua, Batez bestekoa, Bereiztua eta besteak. Funtzio guztien deskribapenak aurki daitezke .
eremuan Field analisia egingo dugun dokumentuan zenbakizko eremua adierazten du.
eremuan β analisia egingo den denbora-lerroan tarteen granulartasuna. Automatizazioan fida zaitezke edo eskuz aukeratu. Beheko irudia granularitatea baxuegia den adibidea da; baliteke anomalia galtzea. Ezarpen hau erabiliz, algoritmoaren sentikortasuna anomalien alda dezakezu.
Bildutako datuen iraupena analisiaren eraginkortasunean eragiten duen funtsezko gauza da. Analisian, algoritmoak errepikatzen diren tarteak identifikatzen ditu, konfiantza-tarteak (oinarrizko lerroak) kalkulatzen ditu eta anomaliak identifikatzen ditu - metrikaren ohiko portaeraren desbideratze atipikoak. Adibidez:
Datu txiki batekin oinarri-lerroak:
Algoritmoak ikasteko zerbait duenean, oinarri-lerroa honelakoa da:
Ataza hasi ondoren, algoritmoak arauarekiko desbideratze anomaliak zehazten ditu eta anomalia baten probabilitatearen arabera sailkatzen ditu (dagokion etiketaren kolorea parentesi artean adierazten da):
Abisua (urdina): 25 baino gutxiago
Txikia (horia): 25-50
Nagusia (laranja): 50-75
Kritikoa (gorria): 75-100
Beheko grafikoak aurkitutako anomalien adibide bat erakusten du.
Hemen 94 zenbakia ikus dezakezu, anomalia baten probabilitatea adierazten duena. Argi dago balioa 100etik gertu dagoenez, anomalia bat dugula esan nahi duela. Grafikoaren azpiko zutabeak balio metrikoaren % 0.000063634 bertan agertzeko probabilitate peioratibo txikia erakusten du.
Anomaliak bilatzeaz gain, aurreikuspenak exekutatu ditzakezu Kibanan. Hau besterik gabe eta ikuspegi beretik egiten da anomaliekin - botoia Iragarpena goiko eskuineko izkinan.
Aurreikuspena gehienez 8 aste lehenago egiten da. Nahiz eta benetan nahi baduzu, jada ez da posible diseinuz.
Zenbait egoeratan, iragarpena oso erabilgarria izango da, adibidez, azpiegiturako erabiltzaileen karga kontrolatzerakoan.
Multimetrikoa
Joan gaitezen Elastic Stack-en hurrengo ML funtziora - lote batean hainbat metrika aztertuz. Baina horrek ez du esan nahi metrika batek bestearekiko duen menpekotasuna aztertuko denik. Hau metrika bakarraren berdina da, baina batak bestearengan duen eragina erraz alderatzeko hainbat metrika ditu pantaila batean. Biztanleria atalean metrika batek besteekiko duen menpekotasuna aztertzeari buruz hitz egingo dugu.
Multimetrikoa duen karratuan klik egin ondoren, ezarpenak dituen leiho bat agertuko da. Ikus ditzagun zehatzago.
Lehenik eta behin, analisirako eta datuen agregaziorako eremuak hautatu behar dituzu. Hemen agregazio-aukerak metrika bakarraren berdinak dira (Gehienezkoa, Batezbestekoa altua, Baxua, Batez bestekoa, Bereiztua eta besteak). Gainera, nahi izanez gero, datuak eremuetako batean banatzen dira (eremua Zatitu Datuak). Adibidean, eremuka egin dugu JatorriaAireportuarenID. Kontuan izan eskuineko metrika grafikoa grafiko anitz gisa aurkezten dela.
Field Gako-eremuak (eragintzaileak) antzemandako anomaliei zuzenean eragiten die. Lehenespenez, beti egongo da gutxienez balio bat hemen, eta beste batzuk gehi ditzakezu. Algoritmoak eremu horien eragina hartuko du kontuan balio βeragingarrienakβ aztertzean eta erakusterakoan.
Abiarazi ondoren, horrelako zerbait agertuko da Kibana interfazean.
Hau deitzen dena Eremu balio bakoitzeko anomalien bero-mapa JatorriaAireportuarenIDurtean adierazi duguna Zatitu Datuak. Metriko bakarrarekin gertatzen den bezala, koloreak desbideratze anormalaren maila adierazten du. Komenigarria da antzeko analisi bat egitea, adibidez, lantokietan baimen kopuru susmagarri handia dutenen jarraipena egiteko, etab. Dagoeneko idatzi dugu , hemen ere bildu eta aztertu daitekeena.
Bero-mapenaren azpian anomalien zerrenda dago, bakoitzetik metrika bakarreko ikuspegira alda dezakezu azterketa zehatza egiteko.
Biztanleria
Metriko ezberdinen arteko korrelazioen artean anomaliak bilatzeko, Elastic Stack-ek Population analisi espezializatu bat du. Bere laguntzarekin zerbitzari baten errendimenduan balio anormalak bilatu ditzakezu besteekin alderatuta, adibidez, xede-sistemari egindako eskaera kopurua handitzen denean.
Ilustrazio honetan, Population eremuak analizatutako neurketak zer baliorekin erlazionatuko dituen adierazten du. Kasu honetan prozesuaren izena da. Ondorioz, prozesu bakoitzaren prozesadorearen zamak elkarri nola eragiten dion ikusiko dugu.
Kontuan izan analizatutako datuen grafikoa metrika bakarra eta multimetria duten kasuetatik desberdina dela. Hori Kibanan egin zen, aztertutako datuen balioen banaketaren pertzepzioa hobetzeko.
Grafikoak erakusten du prozesua anormal portatu zela estresa (bide batez, utilitate berezi batek sortutakoa) zerbitzarian poipu, anomalia honen agerraldian eragin zuena (edo eragile izan zen).
Aurreratua
Analitika sintonizazio finarekin. Analisi aurreratuarekin, ezarpen gehigarriak agertzen dira Kibanan. Sorkuntza menuko Aurreratua fitxan klik egin ondoren, fitxak dituen leiho hau agertzen da. fitxa lana xehetasunak Nahita saltatu dugu, analisia konfiguratzearekin zuzenean lotuta ez dauden oinarrizko ezarpenak daude.
Π laburpena_zenbaketa_eremu_izena Aukeran, eremu baten izena zehaztu dezakezu balio agregatuak dituzten dokumentuetatik. Adibide honetan, minutuko gertaera kopurua. IN balio aldakorren bat duen dokumentuko eremu baten izena eta balioa adierazten du. Eremu honetako maskara erabiliz, aztertutako datuak azpimultzoetan zati ditzakezu. Erreparatu botoiari Gehitu detektagailua aurreko ilustrazioan. Jarraian botoi hau sakatzearen emaitza da.
Hona hemen zeregin zehatz baterako anomalien detektagailua konfiguratzeko ezarpenen bloke gehigarri bat. Hurrengo artikuluetan erabilera-kasu zehatzak (batez ere segurtasunak) eztabaidatzeko asmoa dugu. Adibidez, desmuntatutako kasuetako bat. Gutxitan agertzen diren balioen bilaketarekin lotuta dago eta inplementatzen da .
eremuan funtzioa Funtzio zehatz bat hauta dezakezu anomaliak bilatzeko. Salbu raras, funtzio interesgarri gehiago daude - . Metrikoen portaeran anomaliak identifikatzen dituzte egunean edo astean, hurrenez hurren. Beste analisi-funtzio batzuk .
Π eremu_izena analisia zein eremutan egingo den adierazten du. Eremu_izenaren arabera hemen zehaztutako dokumentu-eremuaren balio indibidual bakoitzaren analisiaren emaitzak bereizteko erabil daiteke. Betez gero gain_eremu_izena goian aipatu dugun populazioaren analisia lortzen duzu. Balio bat zehazten baduzu partizio_eremu_izena, orduan dokumentuaren eremu honetarako balio bakoitzerako oinarri-lerro bereiziak kalkulatuko dira (balioa izan daiteke, adibidez, zerbitzariaren edo prozesuaren izena). IN baztertu_maiz aukera dezake guztiak edo none, horrek maiz gertatzen diren dokumentu-eremuen balioak baztertzea (edo barneratzea) esan nahi du.
Artikulu honetan, Elastic Stack-en ikaskuntza automatikoaren gaitasunei buruz ahalik eta ideia zehatzena ematen saiatu gara; oraindik xehetasun asko geratzen dira atzean. Esan iezaguzu iruzkinetan Elastic Stack erabiliz zein kasu konpontzea lortu duzun eta zer zereginetarako erabiltzen duzun. Gurekin harremanetan jartzeko, mezu pertsonalak erabil ditzakezu HabrΓ© edo .
Iturria: www.habr.com