Foghlaim Meaisín a Thuiscint sa Chrua Leaisteacha (aka Elasticsearch, aka ELK)

Foghlaim Meaisín a Thuiscint sa Chrua Leaisteacha (aka Elasticsearch, aka ELK)

Lig dúinn a thabhairt chun cuimhne go bhfuil an Elastic Stack bunaithe ar an mbunachar sonraí Elasticsearch neamhchoibhneasta, comhéadan gréasáin Kibana agus bailitheoirí agus próiseálaithe sonraí (an Logstash is cáiliúla, Beats éagsúla, APM agus daoine eile). Ceann de na rudaí a cuireadh leis an gcruach táirgí liostaithe ar fad is ea anailís sonraí ag baint úsáide as halgartaim meaisínfhoghlama. San alt tuigimid cad iad na halgartaim seo. Le do thoil faoi cat.

Is gné íoctha í an mheaisínfhoghlaim den Stack Leaisteacha scair-earraí agus tá sé san áireamh san X-Pacáiste. Chun é a úsáid, níl le déanamh ach an triail 30 lá tar éis a shuiteáil a ghníomhachtú. Tar éis don tréimhse trialach dul in éag, is féidir leat tacaíocht a iarraidh chun é a shíneadh nó síntiús a cheannach. Ní ríomhtar costas síntiús bunaithe ar mhéid na sonraí, ach ar líon na nóid a úsáidtear. Ní hea, tá tionchar ag méid na sonraí, ar ndóigh, ar líon na nóid riachtanacha, ach fós féin tá an cur chuige seo maidir le ceadúnú níos daonnachtúla i ndáil le buiséad na cuideachta. Mura bhfuil gá le táirgiúlacht ard, is féidir leat airgead a shábháil.

Tá ML sa Elastic Stack scríofa i C++ agus ritheann sé lasmuigh den JVM, ina ritheann Elasticsearch féin. Is é sin, ídíonn an próiseas (dála an scéil, ar a dtugtar autodetect) gach rud nach bhfuil an JVM shlogtar. Ar sheastán taispeána níl sé seo chomh ríthábhachtach, ach i dtimpeallacht táirgthe tá sé tábhachtach nóid ar leith a leithdháileadh le haghaidh tascanna ML.

Titeann halgartaim meaisínfhoghlama in dhá chatagóir − leis an múinteoir и gan múinteoir. Sa Chruach Leaisteacha, tá an t-algartam sa chatagóir “gan mhaoirseacht”. Le an nasc seo Is féidir leat gaireas matamaitice na n-algartam meaisínfhoghlama a fheiceáil.

Chun an anailís a dhéanamh, úsáideann an algartam meaisínfhoghlama sonraí atá stóráilte in innéacsanna Elasticsearch. Is féidir leat tascanna a chruthú le haghaidh anailíse ó chomhéadan Kibana agus tríd an API. Má dhéanann tú é seo trí Kibana, ansin ní gá go mbeadh a fhios agat roinnt rudaí. Mar shampla, innéacsanna breise a úsáideann an algartam le linn a oibriú.

Innéacsanna breise a úsáidtear sa phróiseas anailíse.ml-state — faisnéis faoi shamhlacha staidrimh (socruithe anailíse);
.ml-aimhrialtachtaí-* — torthaí na n-algartam ML;
.ml-fógraí — socruithe le haghaidh fógraí bunaithe ar thorthaí anailíse.

Foghlaim Meaisín a Thuiscint sa Chrua Leaisteacha (aka Elasticsearch, aka ELK)

Is éard atá sa struchtúr sonraí i mbunachar sonraí Elasticsearch ná innéacsanna agus doiciméid atá stóráilte iontu. Nuair a chuirtear i gcomparáid le bunachar sonraí coibhneasta, is féidir innéacs a chur i gcomparáid le scéimre bunachar sonraí, agus doiciméad le taifead i dtábla. Tá an chomparáid seo coinníollach agus soláthraítear í chun tuiscint ar ábhar breise a shimpliú dóibh siúd nár chuala ach faoi Elasticsearch.

Tá an fheidhmiúlacht chéanna ar fáil tríd an API agus atá tríd an gcomhéadan gréasáin, mar sin ar mhaithe le soiléireacht agus tuiscint ar na coincheapa, taispeánfaimid conas é a chumrú trí Kibana. Sa roghchlár ar chlé tá rannán Meaisín Foghlama inar féidir leat Post nua a chruthú. I gcomhéadan Kibana tá sé cosúil leis an íomhá thíos. Anois déanfaimid anailís ar gach cineál taisc agus taispeánfaimid na cineálacha anailíse is féidir a dhéanamh anseo.

Foghlaim Meaisín a Thuiscint sa Chrua Leaisteacha (aka Elasticsearch, aka ELK)

Méadrach Aonair - anailís ar mhéadrach amháin, Ilmhéadrach - anailís ar dhá mhéadracht nó níos mó. Sa dá chás, déantar anailís ar gach méadrach i dtimpeallacht iargúlta, i.e. ní chuireann an t-algartam iompar na méadrachta comhthreomhaire anailísithe san áireamh, mar a d'fhéadfadh a bheith i gcás Ilmhéadrach. Chun ríomhaireachtaí a dhéanamh agus comhghaol na méadrachta éagsúla á gcur san áireamh, is féidir leat anailís Daonra a úsáid. Agus tá Advanced ag mionchoigeartú na halgartaim le roghanna breise le haghaidh tascanna áirithe.

Méadrach Aonair

Is é anailís a dhéanamh ar athruithe i méadrach amháin an rud is simplí is féidir a dhéanamh anseo. Tar éis cliceáil ar Cruthaigh Post, lorgóidh an algartam aimhrialtachtaí.

Foghlaim Meaisín a Thuiscint sa Chrua Leaisteacha (aka Elasticsearch, aka ELK)

I réimse Comhiomlánú is féidir leat cur chuige a roghnú maidir le cuardach a dhéanamh ar aimhrialtachtaí. Mar shampla, nuair a Min measfar luachanna faoi bhun luachanna tipiciúla a bheith aimhrialta. Ith Uasmhéid, Meán Ard, Íseal, Meán, Sainiúil agus Daoine eile. Is féidir cur síos ar na feidhmeanna go léir a fháil по ссылке.

I réimse Réimse léiríonn sé an réimse uimhriúil sa doiciméad ar a ndéanfaimid an anailís.

I réimse Réise buicéad — gráinneacht na dtréimhsí ar an amlíne a ndéanfar an anailís lena linn. Is féidir leat muinín an uathoibrithe nó a roghnú de láimh. Is sampla é an íomhá thíos den ghráinneacht a bheith ró-íseal - seans go gcaillfidh tú an aimhrialtacht. Ag baint úsáide as an socrú seo, is féidir leat íogaireacht an algartam a athrú go aimhrialtachtaí.

Foghlaim Meaisín a Thuiscint sa Chrua Leaisteacha (aka Elasticsearch, aka ELK)

Is príomhrud é fad na sonraí a bhailítear a théann i bhfeidhm ar éifeachtacht na hanailíse. Le linn na hanailíse, aithníonn an t-algartam eatraimh athfhillteacha, ríomhtar eatraimh muiníne (bunlínte) agus aithníonn sé aimhrialtachtaí - diallais aitíopúla ó ghnáth-iompraíocht na méadrach. Díreach mar shampla:

Bunlínte le píosa beag sonraí:

Foghlaim Meaisín a Thuiscint sa Chrua Leaisteacha (aka Elasticsearch, aka ELK)

Nuair a bhíonn rud éigin le foghlaim ón algartam, tá an chuma ar an mbunlíne mar seo:

Foghlaim Meaisín a Thuiscint sa Chrua Leaisteacha (aka Elasticsearch, aka ELK)

Tar éis dó an tasc a thosú, cinneann an t-algartam diallais aimhrialta ón norm agus déanann sé iad a rangú de réir dóchúlachta aimhrialtachta (léirítear dath an lipéid chomhfhreagrach i lúibíní):

Rabhadh (gorm): níos lú ná 25
Mion (buí): 25-50
Mór (oráiste): 50-75
Criticiúil (dearg): 75-100

Taispeánann an graf thíos sampla de na haimhrialtachtaí a fuarthas.

Foghlaim Meaisín a Thuiscint sa Chrua Leaisteacha (aka Elasticsearch, aka ELK)

Anseo is féidir leat an uimhir 94 a fheiceáil, rud a léiríonn an dóchúlacht go mbeidh aimhrialtacht ann. Is léir, ós rud é go bhfuil an luach gar do 100, go gciallaíonn sé go bhfuil aimhrialtacht againn. Taispeánann an colún thíos an ghraf an dóchúlacht chorrach bheag de 0.000063634% den luach méadrach a thaispeánfar ann.

Chomh maith le cuardach a dhéanamh ar aimhrialtachtaí, is féidir leat réamhaisnéis a rith i Kibana. Déantar é seo go simplí agus ón dearcadh céanna le haimhrialtachtaí - cnaipe Réamhaisnéis sa chúinne uachtarach ar dheis.

Foghlaim Meaisín a Thuiscint sa Chrua Leaisteacha (aka Elasticsearch, aka ELK)

Déantar an réamhaisnéis ar feadh 8 seachtaine ar a mhéid roimh ré. Fiú más mian leat, ní féidir é a dhearadh a thuilleadh.

Foghlaim Meaisín a Thuiscint sa Chrua Leaisteacha (aka Elasticsearch, aka ELK)

I gcásanna áirithe, beidh an réamhaisnéis an-úsáideach, mar shampla, nuair a dhéantar monatóireacht ar ualach úsáideoirí ar an mbonneagar.

Ilmhéadrach

Bogfaimid ar aghaidh go dtí an chéad ghné ML eile sa Chruach Leaisteacha - ag déanamh anailís ar roinnt méadracht i mbaisc amháin. Ach ní chiallaíonn sé seo go ndéanfar anailís ar spleáchas méadrach amháin ar mhéadracht eile. Tá sé seo mar an gcéanna le Méadrach Aonair, ach le méadracht iolrach ar scáileán amháin chun comparáid éasca a dhéanamh ar thionchar a chéile. Labhróimid faoi anailís a dhéanamh ar spleáchas méadrach amháin ar mhéadracht eile sa rannán Daonra.

Tar éis cliceáil ar an gcearnóg le Ilmhéadrach, feicfear fuinneog le socruithe. Breathnaímid orthu go mion.

Foghlaim Meaisín a Thuiscint sa Chrua Leaisteacha (aka Elasticsearch, aka ELK)

Ar dtús ní mór duit na réimsí a roghnú le haghaidh anailíse agus comhiomlánú sonraí orthu. Is ionann na roghanna comhiomlánaithe anseo agus na roghanna do Mhéadrach Aonair (Uasmhéid, Meán Ard, Íseal, Meán, Sainiúil agus Daoine eile). Thairis sin, más inmhianaithe, roinntear na sonraí i gceann de na réimsí (réimse Scoilt Sonraí). Sa sampla, rinneamar é seo de réir réimse OriginAirportID. Tabhair faoi deara go gcuirtear an graf méadrachta ar dheis i láthair anois mar graif iolracha.

Foghlaim Meaisín a Thuiscint sa Chrua Leaisteacha (aka Elasticsearch, aka ELK)

Réimse Príomhréimsí (Tionchair) tionchar díreach ar na haimhrialtachtaí braite. De réir réamhshocraithe beidh luach amháin ar a laghad anseo i gcónaí, agus is féidir leat cinn breise a chur leis. Cuirfidh an t-algartam tionchar na réimsí seo san áireamh agus anailís á déanamh agus na luachanna is “tionchar” á thaispeáint.

Tar éis seoladh, beidh rud éigin mar seo le feiceáil i gcomhéadan Kibana.

Foghlaim Meaisín a Thuiscint sa Chrua Leaisteacha (aka Elasticsearch, aka ELK)

Is é seo an mar a thugtar air léarscáil teasa d'aimhrialtachtaí do gach luach páirce OriginAirportID, rud a chuireamar in iúl i Scoilt Sonraí. Mar is amhlaidh le Méadrach Aonair, léiríonn dath an leibhéal diall neamhghnácha. Tá sé áisiúil anailís den chineál céanna a dhéanamh, mar shampla, ar stáisiúin oibre chun iad siúd a bhfuil líon mór údaruithe amhrasacha acu a rianú, etc. Scríobh muid cheana féin faoi ​​imeachtaí amhrasacha in EventLog Windows, ar féidir iad a bhailiú agus a anailísiú anseo freisin.

Thíos an léarscáil teasa tá liosta aimhrialtachtaí, ó gach ceann acu is féidir leat aistriú chuig an amharc Méadrach Aonair le haghaidh anailís mhionsonraithe.

daonra

Chun aimhrialtachtaí a lorg i measc na gcomhghaolta idir méadrachtaí éagsúla, tá anailís speisialaithe Daonra ag an gCruach Leaisteacha. Is lena chabhair atá tú in ann luachanna aimhrialta a lorg i bhfeidhmíocht freastalaí i gcomparáid le cinn eile nuair, mar shampla, go dtiocfaidh méadú ar líon na n-iarratas chuig an spriocchóras.

Foghlaim Meaisín a Thuiscint sa Chrua Leaisteacha (aka Elasticsearch, aka ELK)

Sa léiriú seo, léiríonn an réimse Daonra an luach lena mbainfidh an mhéadracht anailísithe. Sa chás seo is ainm an phróisis é. Mar thoradh air sin, feicfimid conas a chuaigh ualach próiseálaí gach próiseas i bhfeidhm ar a chéile.

Tabhair faoi deara le do thoil go bhfuil difríocht idir graf na sonraí a ndearnadh anailís orthu agus na cásanna a bhaineann le Méadrach Aonair agus Ilmhéadrach. Rinneadh é seo i Kibana trí dhearadh le haghaidh dearcadh feabhsaithe ar dháileadh luachanna na sonraí anailísithe.

Foghlaim Meaisín a Thuiscint sa Chrua Leaisteacha (aka Elasticsearch, aka ELK)

Léiríonn an graf gur iompair an próiseas mínormálta strus (dála an scéil, ginte ag fóntais speisialta) ar an bhfreastalaí poipu, a raibh tionchar aige (nó a d'iompaigh a bheith ina thioncharóir) ar tharla an aimhrialtacht seo.

Advanced

Anailísíocht le mionchoigeartú. Le hanailís Casta, feictear socruithe breise i Kibana. Tar éis cliceáil ar an tíl Casta sa roghchlár cruthú, feictear an fhuinneog seo le cluaisíní. Cluaisín sonraí poist Rinneamar é a sciobadh ar chuspóir, tá socruithe bunúsacha ann nach mbaineann go díreach le bunú na hanailíse.

Foghlaim Meaisín a Thuiscint sa Chrua Leaisteacha (aka Elasticsearch, aka ELK)

В achoimre_áireamh_réimse_ainm Roghnach, is féidir leat ainm réimse a shonrú ó dhoiciméid ina bhfuil luachanna comhiomlána. Sa sampla seo, líon na n-imeachtaí in aghaidh an nóiméid. IN catagóir_réimse_ainm léiríonn sé ainm agus luach réimse ón doiciméad ina bhfuil luach athraitheach éigin. Trí úsáid a bhaint as an masc ar an réimse seo, is féidir leat na sonraí anailísithe a roinnt ina bhfo-thacair. Tabhair aird ar an gcnaipe Cuir brathadóir leis sa léaráid roimhe seo. Anseo thíos tá an toradh ar chliceáil ar an gcnaipe seo.

Foghlaim Meaisín a Thuiscint sa Chrua Leaisteacha (aka Elasticsearch, aka ELK)

Seo bloc breise socruithe chun an brathadóir aimhrialtachta a chumrú le haghaidh tasc ar leith. Tá sé beartaithe againn cásanna úsáide sonracha a phlé (go háirithe cinn slándála) sna hailt seo a leanas. Mar shampla, Féach ceann de na cásanna díchumtha. Tá baint aige leis an gcuardach ar luachanna is annamh a fheictear agus cuirtear i bhfeidhm é feidhm annamh.

I réimse fheidhm Is féidir leat feidhm shonrach a roghnú chun aimhrialtachtaí a chuardach. Ach amháin annamh, tá cúpla feidhmeanna níos suimiúla - am_de_lae и am_na_seachtain. Aithníonn siad aimhrialtachtaí in iompar na méadrachta i rith an lae nó na seachtaine, faoi seach. Feidhmeanna anailíse eile atá sa doiciméadú.

В réimse_ainm léiríonn sé réimse an doiciméid ar a ndéanfar an anailís. De réir_ainm_réimse a úsáid chun torthaí na hanailíse a scaradh le haghaidh gach luacha ar leith den réimse doiciméad atá sonraithe anseo. Má líonann tú thar_ainm_réimse faigheann tú an anailís daonra a phléamar thuas. Má shonraíonn tú luach i críochdheighilt_réimse_ainm, ansin don réimse seo den doiciméad ríomhfar bonnlínte ar leith do gach luach (is féidir an luach a bheith, mar shampla, ainm an fhreastalaí nó an phróisis ar an bhfreastalaí). IN eisiamh_minic is féidir a roghnú gachnone, rud a chiallóidh luachanna réimse doiciméad a tharlaíonn go minic a eisiamh (nó a áireamh).

San Airteagal seo, rinneamar iarracht smaoineamh chomh achomair agus ab fhéidir a thabhairt faoi chumais na meaisínfhoghlama sa Chruach Leaisteacha; tá go leor sonraí fágtha taobh thiar de na radhairc fós. Inis dúinn sna tuairimí cad iad na cásanna ar éirigh leat a réiteach ag baint úsáide as Cruach Leaisteacha agus cad iad na tascanna a mbaineann tú úsáid astu. Chun teagmháil a dhéanamh linn, is féidir leat teachtaireachtaí pearsanta a úsáid ar Habré nó foirm aiseolais ar an suíomh Gréasáin.

Foinse: will.com

Add a comment