Werin em bînin bîra xwe ku Elastic Stack li ser bingeha databasa Elasticsearch-a ne-têkilî, navgîniya malperê ya Kibana û berhevok û pêvajoyên daneyê (ya herî navdar Logstash, Beatsên cihêreng, APM û yên din) ye. Yek ji lêzêdekirinên xweş ên tevahiya stûna hilberê ya navnîşkirî analîzkirina daneyê ye ku bi karanîna algorîtmayên fêrbûna makîneyê tê bikar anîn. Di gotarê de em fam dikin ku ev algorîtma çi ne. Ji kerema xwe binê pisîkê.
Fêrbûna makîneyê taybetmendiyek dravî ya shareware Elastic Stack e û di nav X-Packê de ye. Ji bo destpêkirina karanîna wê, tenê ceribandina 30-rojî piştî sazkirinê çalak bikin. Piştî ku heyama ceribandinê qediya, hûn dikarin piştgirî bixwazin ku wê dirêj bikin an jî abonetiyê bikirin. Mesrefa abonetiyê ne li gorî qebareya daneyê, lê li ser hejmara girêkên ku hatine bikar anîn tê hesibandin. Na, qebareya daneyê, bê guman, bandorê li ser hejmara girêkên pêwîst dike, lê dîsa jî ev nêzîkatiya lîsansê di derbarê budceya pargîdaniyê de mirovahîtir e. Ger hewcedariya hilberîna bilind tune, hûn dikarin drav bidin hev.
ML di Elastic Stack de di C++ de tê nivîsandin û li derveyî JVM-ê, ku tê de Elasticsearch bixwe dimeşîne, dimeşe. Ango, pêvajo (bi awayê, jê re otodetect tê gotin) her tiştê ku JVM daqurtîne dixwe. Li ser standek demo ev ne ew çend krîtîk e, lê di hawîrdorek hilberînê de girîng e ku ji bo peywirên ML girêkên cihêreng veqetînin.
Algorîtmayên fêrbûna makîneyê dikevin du kategoriyan - и . Di Elastic Stack de, algorîtma ji kategoriya "bêçavdêr" e. Ji Hûn dikarin amûra matematîkî ya algorîtmayên fêrbûna makîneyê bibînin.
Ji bo pêkanîna analîzê, algorîtmaya fêrbûna makîneyê daneyên ku di navnîşên Elasticsearch de hatine hilanîn bikar tîne. Hûn dikarin hem ji navrûya Kibana û hem jî bi navgîniya API-ê ji bo analîzê peywiran biafirînin. Ger hûn vê yekê bi riya Kibana bikin, wê hingê hûn ne hewce ne ku hin tiştan zanibin. Mînakî, pêvekên din ên ku algorîtma di dema xebata xwe de bikar tîne.
Nîşaneyên din ên ku di pêvajoya analîzê de têne bikar anîn.ml-state - agahdariya li ser modelên îstatîstîkî (mîhengên analîzê);
.ml-anomalies-* - encamên algorîtmayên ML;
.ml-notifications - mîhengên ragihandinê yên li ser bingeha encamên analîzê.
Avahiya daneyê ya di databasa Elasticsearch de ji navnîşan û belgeyên ku di wan de hatine hilanîn pêk tê. Dema ku bi databasek têkildar re were berhev kirin, indexek dikare bi şema databasê re, û belgeyek bi tomarek di tabloyek de were berhev kirin. Ev berhevok şert e û ji bo hêsankirina têgihiştina materyalê bêtir ji bo kesên ku tenê li ser Elasticsearch bihîstine tê peyda kirin.
Heman fonksîyon bi navgîniya API-yê ve wekî navgîniya malperê peyda dibe, ji ber vê yekê ji bo zelalbûn û têgihîştina têgînan, em ê nîşan bidin ka meriv wê çawa bi Kibana vesaz dike. Di pêşeka li milê çepê de beşa Fêrbûna Makîneyê heye ku hûn dikarin Karekî nû biafirînin. Di pêwendiya Kibana de ew mîna wêneya jêrîn xuya dike. Naha em ê her celeb karûbar analîz bikin û celebên analîzê yên ku li vir têne çêkirin nîşan bidin.
Metrîka Yekane - analîzkirina yek metrîkê, Pir Metrîk - analîzkirina du an zêdetir metrîkan. Di her du rewşan de, her metrik di hawîrdorek veqetandî de tê analîz kirin, ango. algorithm tevgerên metrîkên analîzkirî yên paralel li ber çavan nagire, wekî ku di doza Multi Metric de xuya dike. Ji bo ku hûn hesabên ku pêwendiya metrîkên cihêreng li ber çavan bigirin, hûn dikarin analîza nifûsê bikar bînin. Û Pêşveçûn ji bo hin karan algorîtmayan bi vebijarkên pêvek ve girêdide.
Yek Metric
Analîzkirina guhertinên di yek metrîkê de tiştê herî hêsan e ku li vir dikare were kirin. Piştî ku li ser Create Job bikirtînin, algorithm dê li anomaliyan bigere.
Di warê Kategoriyê hûn dikarin nêzîkatiyek ji bo lêgerîna anomaliyan hilbijêrin. Ji bo nimûne, dema ku Min nirxên li jêr nirxên tîpîk dê wekî anormal bêne hesibandin. Xwarin Max, Mean High, Nizm, Mean, Cûdahî û yên din. Danasîna hemî fonksiyonan dikare were dîtin .
Di warê Erd di belgeya ku em ê li ser wê analîzê bikin qada hejmarî nîşan dide.
Di warê - granularbûna navberên li ser dema ku analîz dê pê re were kirin. Hûn dikarin ji otomasyonê bawer bikin an bi destan hilbijêrin. Wêneya jêrîn mînakek hûrgelê ye ku pir kêm e - dibe ku hûn anomaliyê ji bîr nekin. Bi karanîna vê mîhengê, hûn dikarin hesasiya algorîtmê bi anomaliyan biguhezînin.
Demjimêra daneyên berhevkirî tiştek sereke ye ku bandorê li ser bandoriya analîzê dike. Di dema analîzê de, algorîtma navberên dûbare nas dike, navberên pêbaweriyê (xetên bingehîn) dihejmêre û anomalîyan nas dike - veqetînên netîpîkî yên ji tevgera asayî ya metrikê. Tenê ji bo nimûne:
Rêzikên bingehîn bi perçeyek piçûk a daneyê:
Dema ku algorîtmê tiştek heye ku jê fêr bibe, rêzika bingehîn bi vî rengî xuya dike:
Piştî ku dest bi peywirê dike, algorîtma guheztinên anormal ji normê destnîşan dike û wan li gorî îhtîmala anomalî rêz dike (rengê etîketa têkildar di nav parantezê de tê destnîşan kirin):
Hişyarî (şîn): ji 25 kêmtir
Biçûk (zer): 25-50
Mezin (porteqalî): 50-75
Krîtîk (sor): 75-100
Grafika jêrîn mînakek anomaliyên ku hatine dîtin nîşan dide.
Li vir hûn dikarin hejmara 94 bibînin, ku îhtîmala anomalî nîşan dide. Eşkere ye ku ji ber ku nirx nêzî 100 e, ev tê wê wateyê ku me anormaliyek heye. Stûna li jêr grafîkê îhtîmala piçûktir a %0.000063634 ya nirxa metrikê ku li wir xuya dibe nîşan dide.
Ji bilî lêgerîna anomalî, hûn dikarin li Kibana pêşbîniyê bimeşînin. Ev bi hêsanî û ji heman nêrînê bi anomaliyan tê kirin - bişkojk Pêşgotin li quncikê jorê rastê.
Pêşbîniya herî zêde 8 hefte berê tê çêkirin. Ger hûn bi rastî bixwazin jî, ew ji hêla sêwiranê ve êdî ne gengaz e.
Di hin rewşan de, pêşbînî dê pir bikêr be, mînakî, dema çavdêriya barkirina bikarhêner li ser binesaziyê.
Multi Metric
Ka em biçin taybetmendiya ML ya din a di Elastic Stack de - di yek komê de çend metrîkan analîz bikin. Lê ev nayê wê wateyê ku dê girêdayîbûna metrikek bi ya din were analîz kirin. Ev eynî wekî Metrîka Yekane ye, lê bi çend metrîkan li ser ekranek ji bo berhevdana hêsan a bandora yek li ser yekî din. Em ê di beşa Nifûsê de li ser analîzkirina girêdayîbûna metrîkê bi ya din biaxivin.
Piştî ku bi Multi Metric li çargoşe bikirtînin, pencereyek bi mîhengan dê xuya bibe. Ka em bi hûrgulî li wan binêrin.
Pêşî hûn hewce ne ku zeviyên ji bo analîz û berhevkirina daneyan li ser wan hilbijêrin. Vebijarkên berhevkirinê yên li vir wekî Metrîka Yekane (Max, Mean High, Nizm, Mean, Cûdahî û yên din). Wekî din, heke bixwaze, dane li yek ji qadan têne dabeş kirin (qad Daneyên Split). Di nimûneyê de, me ev yek bi zeviyê kir OriginAirportID. Bala xwe bidinê ku grafika metrîkê ya li rastê naha wekî grafikên pirjimar tê pêşkêş kirin.
warê Qadên sereke (bandorker) rasterast bandorê li ser anomaliyên diyarkirî dike. Bi xwerû dê her gav bi kêmî ve nirxek li vir hebe, û hûn dikarin yên din lê zêde bikin. Algorîtm dê dema ku analîz dike bandora van qadan bigire ber çavan û nirxên herî "bandor" nîşan bide.
Piştî destpêkirinê, tiştek wusa dê di navgîniya Kibana de xuya bibe.
Ev bi navê nexşeya germê ya anomaliyan ji bo her nirxa zeviyê OriginAirportID, ku me tê de destnîşan kir Daneyên Split. Mîna Metrîka Yekane, reng asta guheztina anormal nîşan dide. Mînakî, li ser qereqolên xebatê ji bo şopandina wan ên ku bi jimareyek pir gumanbar destûrnameyên wan hene rehet e ku meriv analîzek wusa bike, û hwd. Me berê nivîsand , ku dikare li vir jî were berhev kirin û analîz kirin.
Li jêr nexşeya germê navnîşek anomaliyan heye, ji her yekê hûn dikarin ji bo analîzên hûrgulî berê xwe bidin dîmena Metrîka Yekane.
Gelî
Ji bo dîtina anomaliyan di nav têkiliyên di navbera metrîkên cihêreng de, Elastic Stack xwedan analîzek nifûsê ya pispor e. Bi alîkariya wê ye ku hûn dikarin di performansa serverek de li gorî yên din li nirxên anormal bigerin dema ku, mînakî, hejmara daxwazên ji pergala armanc re zêde dibe.
Di vê nîgarê de, qada Nifûsê nirxa ku dê metrîkên vekolînkirî pê re têkildar bin destnîşan dike. Di vê rewşê de navê pêvajoyê ye. Wekî encamek, em ê bibînin ka barkirina pêvajoyê ya her pêvajoyê çawa bandor li hev kir.
Ji kerema xwe not bikin ku grafiya daneyên analîzkirî ji dozên bi Metrîka Yekane û Pir Metrîk cûda dibe. Ev li Kibana ji hêla sêwiranê ve ji bo têgihiştinek çêtir a belavkirina nirxên daneyên analîzkirî hate kirin.
Graf nîşan dide ku pêvajo bi rengek ne normal tevdigere dûbare (bi awayê, ji hêla karûbarek taybetî ve hatî çêkirin) li ser serverê poipu, yê ku bandor li ser rûdana vê anomalî kir (an jî derket holê ku bandorker e).
Pêşveçû
Analîtîk bi ahenga xweş. Bi analîza pêşkeftî re, mîhengên zêde li Kibana xuya dibin. Piştî ku di menuya afirandinê de li ser pêlika Pêşkeftî bikirtînin, ev pencereya bi tabloyan xuya dike. Tab Agahdariyên kar Me ew bi mebest jê derbas kir, mîhengên bingehîn hene ku rasterast bi sazkirina analîzê ve ne girêdayî ne.
В summary_count_field_name Bi vebijarkî, hûn dikarin navê zeviyek ji belgeyên ku nirxên hevgirtî vedihewînin diyar bikin. Di vê nimûneyê de, hejmara bûyeran di deqê de. LI nav û nirxa zeviyek ji belgeya ku hin nirxa guhêrbar tê de heye destnîşan dike. Bi karanîna maskê li ser vê zeviyê, hûn dikarin daneyên analîzkirî di binhevokan de parçe bikin. Bala xwe bidin bişkokê Detektor zêde bikin di nîgara berê de. Li jêr encama tikandina vê bişkojê ye.
Li vir bloka mîhengan a zêde heye ji bo mîhengkirina dedektora anomalî ji bo karek taybetî. Em plan dikin ku di gotarên jêrîn de dozên karanîna taybetî (bi taybetî yên ewlehiyê) nîqaş bikin. Bo nimûne, yek ji dozên jihevdexistin. Ew bi lêgerîna nirxên kêm xuya ve girêdayî ye û tête bicîh kirin .
Di warê karî Hûn dikarin fonksiyonek taybetî hilbijêrin ku li anomaliyan bigerin. Bê kêm, çend fonksiyonên balkêştir hene - . Ew bi rêzê ve di behreya metrîkan de di nav roj an hefteyê de anomaliyan nas dikin. Karên din ên analîzê .
В qada_name qada belgeya ku dê analîz li ser were kirin destnîşan dike. By_field_name dikare were bikar anîn da ku encamên analîzê ji bo her nirxa kesane ya qada belgeyê ya ku li vir hatî destnîşan kirin veqetîne. Ger hûn dagirin ser_field_name hûn analîza nifûsê ya ku me li jor behs kir bistînin. Ger hûn di nav de nirxek diyar bikin partition_field_name, wê hingê ji bo vê qada belgeyê dê ji bo her nirxê rêzikên bingehîn bêne hesibandin (nirx dikare, mînakî, navê serverê an pêvajoya li ser serverê be). LI exclude_frequent dikarin hilbijêrin gişt an netû, ku tê vê wateyê ku nirxên qada belgeyê ku pir caran diqewimin ji holê radike (an jî tê de).
Di vê gotarê de, me hewl da ku di derbarê kapasîteyên fêrbûna makîneyê de di Elastic Stack de bi qasî ku gengaz ramanek kurt bidin; hîna jî gelek hûrgulî li paş perdeyê mane. Di şîroveyan de ji me re vebêjin ka we çi dozan bi karanîna Elastic Stack çareser kir û hûn ji bo çi peywiran bikar tînin. Ji bo ku hûn bi me re têkilî daynin, hûn dikarin peyamên kesane li ser Habré an bikar bînin .
Source: www.habr.com