Cuimhnich gu bheil an Elastic Stack stèidhichte air an stòr-dàta Elasticsearch neo-cheangailte, eadar-aghaidh lìn Kibana agus luchd-cruinneachaidh dàta agus pròiseasairean (an Logstash as ainmeil, diofar Beats, APM agus feadhainn eile). Is e aon de na rudan math a chaidh a chur ris a’ chruach toraidh clàraichte gu lèir mion-sgrùdadh dàta a’ cleachdadh algorithms ionnsachadh innealan. Anns an artaigil tha sinn a 'tuigsinn dè a th' anns na h-algorithms sin. Feuch fo chat.
Tha ionnsachadh innealan na fheart pàighte den Elastic Stack shareware agus tha e air a ghabhail a-steach san X-Pack. Gus tòiseachadh air a chleachdadh, dìreach cuir an gnìomh an deuchainn 30-latha às deidh an stàladh. Às deidh don ùine deuchainn tighinn gu crìch, faodaidh tu taic iarraidh gus a leudachadh no ballrachd a cheannach. Tha cosgais ballrachd air a thomhas chan ann a rèir na tha de dhàta ann, ach air an àireamh de nodan a thathar a’ cleachdadh. Chan e, tha meud an dàta, gu dearbh, a’ toirt buaidh air an àireamh de nodan a tha a dhìth, ach fhathast tha an dòigh-obrach seo a thaobh ceadachd nas daonnaiche a thaobh buidseat na companaidh. Mura h-eil feum air cinneasachd àrd, faodaidh tu airgead a shàbhaladh.
Tha ML anns an Elastic Stack sgrìobhte ann an C ++ agus a’ ruith taobh a-muigh an JVM, anns a bheil Elasticsearch fhèin a’ ruith. Is e sin, bidh am pròiseas (co-dhiù, is e autodetect a chanar ris) ag ithe a h-uile dad nach bi an JVM a ’slugadh. Air ionad demo chan eil seo cho riatanach, ach ann an àrainneachd cinneasachaidh tha e cudromach nodan fa leth a riarachadh airson gnìomhan ML.
Tha algoirmean ionnsachaidh inneal a’ roinn ann an dà roinn - и . Anns an Elastic Stack, tha an algairim anns an roinn “gun stiùireadh”. Le bhith Chì thu uidheamachd matamataigeach algorithms ionnsachadh innealan.
Gus an anailis a dhèanamh, bidh an algairim ionnsachaidh inneal a’ cleachdadh dàta a tha air a stòradh ann an clàran-amais Elasticsearch. Faodaidh tu gnìomhan a chruthachadh airson mion-sgrùdadh an dà chuid bhon eadar-aghaidh Kibana agus tron API. Ma nì thu seo tro Kibana, cha leig thu leas a bhith eòlach air cuid de rudan. Mar eisimpleir, clàran-amais a bharrachd a bhios an algairim a’ cleachdadh fhad ‘s a tha e ag obair.
Clàr-amais a bharrachd air an cleachdadh sa phròiseas anailis.ml-stàite — fiosrachadh mu mhodailean staitistigeil (roghainnean anailis);
.ml-anomalies-* - toraidhean algorithms ML;
.ml-fios - roghainnean airson fiosan stèidhichte air toraidhean anailis.
Tha an structar dàta ann an stòr-dàta Elasticsearch air a dhèanamh suas de chlàran-amais agus sgrìobhainnean air an stòradh annta. An coimeas ri stòr-dàta dàimheach, faodar clàr-amais a choimeas ri sgeama stòr-dàta, agus sgrìobhainn ri clàr ann an clàr. Tha an coimeas seo gun chumhachan agus tha e air a thoirt seachad gus tuigse air tuilleadh stuthan a dhèanamh nas sìmplidhe dhaibhsan nach cuala ach mu Elasticsearch.
Tha an aon ghnìomhachd ri fhaighinn tron API agus tron eadar-aghaidh lìn, agus mar sin airson soilleireachd agus tuigse air na bun-bheachdan, seallaidh sinn mar a rèiticheas tu e tro Kibana. Anns a’ chlàr air an taobh chlì tha earrann Ionnsachadh Inneal far an urrainn dhut Iob ùr a chruthachadh. Ann an eadar-aghaidh Kibana tha e coltach ris an ìomhaigh gu h-ìosal. A-nis nì sinn mion-sgrùdadh air gach seòrsa gnìomh agus seallaidh sinn na seòrsaichean mion-sgrùdadh a ghabhas togail an seo.
Singilte Metric - mion-sgrùdadh air aon mheatrach, ioma-mheatrach - mion-sgrùdadh air dà mheatrach no barrachd. Anns gach cùis, thèid gach meatrach a sgrùdadh ann an àrainneachd iomallach, i.e. chan eil an algairim a’ toirt aire do ghiùlan meatrach mion-sgrùdaichte co-shìnte, mar a dh’ fhaodadh a bhith ann an cùis Multi Metric. Gus àireamhachadh a dhèanamh a 'gabhail a-steach co-dhàimh diofar mheatairean, faodaidh tu mion-sgrùdadh àireamh-sluaigh a chleachdadh. Agus tha Advanced a’ gleusadh na h-algorithms le roghainnean a bharrachd airson gnìomhan sònraichte.
Metric singilte
Is e mion-sgrùdadh atharrachaidhean ann an aon mheatrach singilte an rud as sìmplidh a ghabhas dèanamh an seo. Às deidh dhut briogadh air Cruthaich Iob, seallaidh an algairim airson neo-riaghailteachdan.
Anns an achadh Co-chruinneachadh faodaidh tu dòigh-obrach a thaghadh airson a bhith a’ lorg neo-riaghailteachdan. Mar eisimpleir, nuair a Am Faoilteach uairean bithear a’ beachdachadh air luachan fo luachan àbhaisteach neo-riaghailteach. Ith Àrd, Meadhanach, Ìosal, Meadhanach, Sònraichte agus feadhainn eile. Gheibhear tuairisgeul air a h-uile gnìomh .
Anns an achadh Field a’ nochdadh an raon àireamhach anns an sgrìobhainn air am bi sinn a’ dèanamh an anailis.
Anns an achadh - granularity nan amannan air an loidhne-tìm air an tèid am mion-sgrùdadh a dhèanamh. Faodaidh tu earbsa a bhith agad san fèin-ghluasad no taghadh le làimh. Tha an ìomhaigh gu h-ìosal na eisimpleir de ghranularity a bhith ro ìosal - is dòcha gu bheil thu ag ionndrainn an neo-riaghailteachd. A’ cleachdadh an t-suidheachaidh seo, faodaidh tu cugallachd an algairim atharrachadh gu neo-riaghailteachdan.
Tha fad an dàta a chaidh a chruinneachadh na phrìomh rud a bheir buaidh air èifeachdas an anailis. Rè mion-sgrùdadh, bidh an algairim a’ comharrachadh amannan ath-aithris, a’ cunntadh amannan misneachd (bun-loidhnichean) agus a’ comharrachadh neo-riaghailteachdan - gluasadan neo-àbhaisteach bho ghiùlan àbhaisteach a’ mheatrach. Dìreach mar eisimpleir:
Bun-loidhne le pìos beag dàta:
Nuair a tha rudeigin aig an algairim ri ionnsachadh, tha coltas mar seo air a’ bhun-loidhne:
Às deidh tòiseachadh air a ’ghnìomh, bidh an algairim a’ dearbhadh gluasadan neo-riaghailteach bhon àbhaist agus gan rangachadh a rèir coltachd neo-riaghailteachd (tha dath an leubail co-fhreagarrach air a chomharrachadh ann am brathan):
Rabhadh (gorm): nas lugha na 25
Mion (buidhe): 25-50
Mòr (orains): 50-75
Critigeach (dearg): 75-100
Tha an graf gu h-ìosal a’ sealltainn eisimpleir de na neo-riaghailteachdan a chaidh a lorg.
An seo chì thu an àireamh 94, a tha a 'sealltainn coltachd neo-riaghailteachd. Tha e soilleir leis gu bheil an luach faisg air 100, tha e a’ ciallachadh gu bheil neo-riaghailteachd againn. Tha an colbh gu h-ìosal air a’ ghraf a’ sealltainn an coltachd a tha ro bheag de 0.000063634% den luach meatrach a’ nochdadh an sin.
A bharrachd air a bhith a’ lorg neo-riaghailteachdan, faodaidh tu ruith ro-innse ann an Kibana. Tha seo air a dhèanamh gu sìmplidh agus bhon aon shealladh le neo-riaghailteachdan - putan Aimsir anns an oisean gu h-àrd air an làimh dheis.
Tha an ro-aithris air a dhèanamh airson 8 seachdainean aig a’ char as àirde ro làimh. Fiù ma tha thu dha-rìribh ag iarraidh, chan eil e comasach tuilleadh le dealbhadh.
Ann an cuid de shuidheachaidhean, bidh an ro-aithris glè fheumail, mar eisimpleir, nuair a thathar a’ cumail sùil air luchd-cleachdaidh air a’ bhun-structair.
Ioma meatrach
Gluaisidh sinn air adhart chun ath fheart ML anns an Elastic Stack - a’ dèanamh anailis air grunn mheatairean ann an aon bhaidse. Ach chan eil seo a 'ciallachadh gun tèid sgrùdadh a dhèanamh air eisimeileachd aon mheatrach air fear eile. Tha seo an aon rud ri Single Metric, ach le ioma-mheatrics air aon sgrion airson coimeas furasta a dhèanamh eadar buaidh aon air fear eile. Bruidhnidh sinn mu bhith a’ dèanamh anailis air an eisimeileachd a tha aon mheatrach air fear eile anns an roinn Sluaigh.
Às deidh dhut briogadh air a’ cheàrnag le Multi Metric, nochdaidh uinneag le roghainnean. Bheir sinn sùil nas mionaidiche orra.
An toiseach feumaidh tu na raointean a thaghadh airson mion-sgrùdadh agus cruinneachadh dàta orra. Tha na roghainnean cruinneachaidh an seo mar a tha iad airson Single Metric (Àrd, Meadhanach, Ìosal, Meadhanach, Sònraichte agus feadhainn eile). A bharrachd, ma thogras tu, tha an dàta air a roinn ann an aon de na raointean (raon Dàta roinnte). Anns an eisimpleir, rinn sinn seo le raon TùsAirport ID. Mothaich gu bheil an graf meatrach air an taobh cheart a-nis air a thaisbeanadh mar ioma ghraf.
achadh Prìomh raointean (luchd-buaidh) a’ toirt buaidh dhìreach air na neo-riaghailteachdan a chaidh a lorg. Gu gnàthach bidh co-dhiù aon luach an seo, agus faodaidh tu feadhainn a bharrachd a chur ris. Bheir an algairim aire do bhuaidh nan raointean sin nuair a bhios iad a’ dèanamh anailis agus a’ sealltainn nan luachan as “buadhaiche”.
Às deidh a chuir air bhog, nochdaidh rudeigin mar seo ann an eadar-aghaidh Kibana.
Is e seo an rud ris an canar mapa teas de neo-riaghailteachdan airson gach luach achaidh TùsAirport ID, a dh'ainmich sinn ann an Dàta roinnte. Coltach ri Singilte Metric, tha dath a’ comharrachadh an ìre de chlaonadh neo-àbhaisteach. Tha e goireasach mion-sgrùdadh coltach ris a dhèanamh, mar eisimpleir, air ionadan-obrach gus sùil a chumail air an fheadhainn le àireamh amharasach mòr de cheadan, msaa. Sgrìobh sinn mu thràth , a dh'fhaodar a chruinneachadh agus a sgrùdadh an seo cuideachd.
Fon mapa teas tha liosta de neo-riaghailteachdan, bho gach fear faodaidh tu atharrachadh chun t-sealladh Metric Singilte airson mion-sgrùdadh mionaideach.
Sluaigh
Gus coimhead airson neo-riaghailteachdan am measg co-dhàimhean eadar diofar mheatairean, tha mion-sgrùdadh sònraichte air an t-Sluaigh aig an Elastic Stack. Is ann le a chuideachadh as urrainn dhut coimhead airson luachan neo-riaghailteach ann an coileanadh frithealaiche an taca ri feadhainn eile nuair, mar eisimpleir, bidh an àireamh de dh’ iarrtasan don t-siostam targaid ag àrdachadh.
Anns an dealbh seo, tha an raon Àireamh-sluaigh a’ nochdadh an luach ris am bi na meatrach sgrùdaichte a’ buntainn. Anns a 'chùis seo, is e ainm a' phròiseis a th 'ann. Mar thoradh air an sin, chì sinn mar a thug luchd pròiseasar gach pròiseas buaidh air a chèile.
Thoir an aire gu bheil graf an dàta sgrùdaichte eadar-dhealaichte bho na cùisean le Single Metric agus Multi Metric. Chaidh seo a dhèanamh ann an Kibana le dealbhadh airson tuigse nas fheàrr air cuairteachadh luachan an dàta sgrùdaichte.
Tha an graf a’ sealltainn gun robh am pròiseas modhail cuideim (co-dhiù, air a chruthachadh le goireas sònraichte) air an fhrithealaiche poipu, a thug buaidh (no a thàinig gu bhith na neach-buaidh) nuair a thachair an neo-riaghailteachd seo.
adhartach
Analytics le mion-sgrùdadh. Le mion-sgrùdadh adhartach, nochdaidh suidheachaidhean a bharrachd ann an Kibana. Às deidh dhut briogadh air an leac adhartach sa chlàr cruthachaidh, nochdaidh an uinneag seo le tabaichean. Tab Fiosrachadh obrach Leum sinn e a dh’aona ghnothach, tha suidheachaidhean bunaiteach ann nach eil ceangailte gu dìreach ri stèidheachadh an anailis.
В geàrr-chunntas_cunntas_raoin_ainm Roghainneil, faodaidh tu ainm raon a shònrachadh bho sgrìobhainnean anns a bheil luachan cruinnichte. Anns an eisimpleir seo, an àireamh de thachartasan gach mionaid. ANNS a’ comharrachadh ainm agus luach raon bhon sgrìobhainn anns a bheil luach caochlaideach. A’ cleachdadh an masg air an raon seo, faodaidh tu an dàta sgrùdaichte a roinn ann an fo-bhuidhnean. Thoir aire don phutan Cuir a-steach lorgaire anns an dealbh roimhe. Gu h-ìosal tha toradh briogadh air a 'phutan seo.
Seo bloc a bharrachd de shuidheachaidhean airson an lorgaire neo-riaghailteachd a rèiteachadh airson gnìomh sònraichte. Tha sinn an dùil beachdachadh air cùisean cleachdaidh sònraichte (gu sònraichte feadhainn tèarainteachd) anns na h-artaigilean a leanas. Mar eisimpleir, aon de na cùisean a chaidh a chuir às a chèile. Tha e co-cheangailte ris an rannsachadh airson luachan ainneamh a tha a 'nochdadh agus tha e air a chur an gnìomh .
Anns an achadh ghnìomh Faodaidh tu gnìomh sònraichte a thaghadh gus neo-riaghailteachdan a lorg. Seach tearc, tha gnìomh no dhà a bharrachd inntinneach - . Bidh iad a’ comharrachadh neo-riaghailteachdan ann an giùlan metrics tron latha no san t-seachdain, fa leth. Gnìomhan mion-sgrùdadh eile .
В achadh_name a’ comharrachadh raon na sgrìobhainn air an tèid an sgrùdadh a dhèanamh. Le_ainm_raoin faodar a chleachdadh gus toraidhean an sgrùdaidh a sgaradh airson gach luach fa leth den raon sgrìobhainn a tha air a shònrachadh an seo. Ma lìonas tu thairis air_ainm_raoin gheibh thu an anailis sluaigh air an do bhruidhinn sinn gu h-àrd. Ma shònraicheas tu luach ann an partition_field_name, an uairsin airson an raon seo den sgrìobhainn thèid bun-loidhnichean fa leth a thomhas airson gach luach (faodaidh an luach a bhith, mar eisimpleir, ainm an fhrithealaiche no pròiseas air an fhrithealaiche). ANNS dùnadh a-mach_tric urrainn taghadh a h-uile no chan eil gin, a bhios a’ ciallachadh a bhith a’ dùnadh a-mach (no a’ toirt a-steach) luachan raon sgrìobhainnean a tha a’ nochdadh gu tric.
Anns an artaigil seo, dh’ fheuch sinn ri beachd cho mionaideach ’s a ghabhas a thoirt seachad mu chomasan ionnsachadh innealan anns an Elastic Stack; tha tòrr mion-fhiosrachaidh fhathast air fhàgail air cùl na seallaidhean. Inns dhuinn anns na beachdan dè na cùisean a chaidh agad air fhuasgladh le bhith a’ cleachdadh Elastic Stack agus dè na gnìomhan air a bheil thu ga chleachdadh. Gus fios a chuir thugainn, faodaidh tu teachdaireachdan pearsanta a chleachdadh air Habré no .
Source: www.habr.com