Ka anyị cheta na Elastic Stack dabeere na nchekwa data Elasticsearch na-abụghị nke mmekọrịta, Kibana web interface na ndị na-anakọta data na ndị nhazi (Logstash kasị ewu ewu, ụdị Beats, APM na ndị ọzọ). Otu n'ime ihe mgbakwunye mara mma na nchịkọta ngwaahịa niile edepụtara bụ nyocha data site na iji algọridim mmụta igwe. N'isiokwu a, anyị ghọtara ihe algọridim ndị a bụ. Biko n'okpuru pusi.
Ịmụ igwe bụ akụkụ akwụ ụgwọ nke shareware Elastic Stack ma tinye ya na X-Pack. Iji malite iji ya, naanị mee ka nnwale nke ụbọchị iri atọ gasịrị ka echichichara. Mgbe oge ikpe ahụ gwụchara, ịnwere ike ịrịọ nkwado ka ịgbatị ya ma ọ bụ zụta ndenye aha. A na-agbakọ ọnụ ahịa ndenye aha na-adabereghị na olu data, kama na ọnụ ọgụgụ nke ọnụ ọnụ ejiri. Ee e, olu data, n'ezie, na-emetụta ọnụ ọgụgụ nke ọnụ ọgụgụ a chọrọ, ma ka usoro a maka inye ikikere na-eme ka mmadụ dịkwuo mma n'ihe gbasara mmefu ego nke ụlọ ọrụ ahụ. Ọ bụrụ na ọ dịghị mkpa maka mmepụta dị elu, ị nwere ike ịchekwa ego.
Edere ML na Elastic Stack na C++ ma na-agba ọsọ na mpụga JVM, nke Elasticsearch n'onwe ya na-agba. Ya bụ, usoro ahụ (n'ụzọ, a na-akpọ ya autodetect) na-eri ihe niile JVM na-adịghị ilo. N'elu ngosi ngosi nke a adịghị oke egwu, mana n'ebe mmepụta ihe ọ dị mkpa ịkenye ọnụ ụzọ dị iche iche maka ọrụ ML.
Algọridim mmụta igwe na-adaba n'ụdị abụọ - и . Na Elastic Stack, algọridim dị na ngalaba "anaghị elekọta". Site na Ị nwere ike ịhụ ngwa mgbakọ na mwepụ nke igwe mmụta algọridim.
Iji mee nyocha ahụ, igwe mmụta algọridim na-eji data echekwara na ndeksi Elasticsearch. Ị nwere ike ịmepụta ọrụ maka nyocha ma site na Kibana interface yana site na API. Ọ bụrụ na ị na-eme nke a site na Kibana, mgbe ahụ ọ dịghị mkpa ka ị mara ihe ụfọdụ. Dịka ọmụmaatụ, ndepụta ndị ọzọ algọridim na-eji n'oge ọrụ ya.
Indices ndị ọzọ ejiri na usoro nyocha.ml-state - ozi gbasara ụdị ndekọ (ntọala nyocha);
.ml-anomalies-* - nsonaazụ ML algọridim;
.ml-ọkwa - ntọala maka ngosi dabere na nsonaazụ nyocha.
Nhazi data dị na nchekwa data Elasticsearch nwere ndeksi na akwụkwọ echekwara na ha. Ọ bụrụ na atụnyere nchekwa data mmekọrịta, enwere ike iji ndeksi tụnyere atụmatụ nchekwa data, yana akwụkwọ na ndekọ dị na tebụl. Ntụle a bụ ọnọdụ ma ewepụtara iji mee ka nghọta nke ihe ndị ọzọ dị mfe maka ndị nụrụ naanị Elasticsearch.
Otu ọrụ ahụ dị site na API dị ka site na ntanetị weebụ, yabụ maka idoanya na nghọta nke echiche, anyị ga-egosi otu esi ahazi ya site na Kibana. Na menu n'aka ekpe enwere ngalaba mmụta igwe ebe ị nwere ike ịmepụta ọrụ ọhụrụ. Na interface Kibana ọ dị ka onyonyo dị n'okpuru. Ugbu a, anyị ga-enyocha ụdị ọrụ ọ bụla ma gosipụta ụdị nyocha nke enwere ike ịrụ ebe a.
Single Metric - nyocha nke otu metric, Multi Metric - nyocha nke metrik abụọ ma ọ bụ karịa. N'okwu abụọ ahụ, a na-enyocha metric ọ bụla na ebe dịpụrụ adịpụ, ya bụ. algọridim anaghị eburu n'uche omume nke metrik nyochara n'otu n'otu, dịka ọ nwere ike iyi n'ihe gbasara Multi Metric. Iji mee mgbakọ na mwepụ na-echebara njikọ nke metrik dị iche iche, ị nwere ike iji nyocha ọnụọgụ mmadụ. Na Advanced na-emezigharị algọridim yana nhọrọ ndị ọzọ maka ụfọdụ ọrụ.
Otu metric
Nyochaa mgbanwe n'otu metric bụ ihe kachasị mfe enwere ike ịme ebe a. Mgbe ịpịchara Mepụta Job, algọridim ga-achọ anomalies.
Na ubi Aggregation ị nwere ike họrọ ụzọ ị ga-esi na-achọ anomalies. Dị ka ihe atụ, mgbe min A ga-ewere ụkpụrụ ndị dị n'okpuru ụkpụrụ omume adịghị mma. Rie Kasị, Dị Elu, Dị Ala, Ọkara, Pụrụ Iche na ndị ọzọ. Enwere ike ịchọta nkọwa nke ọrụ niile .
Na ubi ubi na-egosi mpaghara ọnụọgụgụ na akwụkwọ nke anyị ga-eduzi nyocha ahụ.
Na ubi - granularity nke etiti oge na usoro iheomume nke a ga-eme nyocha ahụ. Ị nwere ike ịtụkwasị obi na akpaaka ma ọ bụ jiri aka họrọ. Foto dị n'okpuru ebe a bụ ọmụmaatụ nke granularity dị oke ala - ị nwere ike tufuo anomaly. Iji ntọala a, ị nwere ike ịgbanwe nghọta nke algọridim ka ọ bụrụ ihe na-adịghị mma.
Ogologo oge nke data anakọtara bụ isi ihe na-emetụta ịdị irè nke nyocha. N'oge nyocha, algọridim na-achọpụta oge ugboro ugboro, gbakọọ oge ntụkwasị obi (baseline) ma na-achọpụta anomalies - mgbanwe dị iche iche site na omume metrik na-emebu. Naanị ọmụmaatụ:
Ntọala nwere obere mpempe data:
Mgbe algọridim nwere ihe ị ga-amụta na ya, ntọala ahụ dị ka nke a:
Mgbe ịmalitechara ọrụ ahụ, algọridim na-ekpebi ihe ndị na-adịghị mma site na ụkpụrụ ma debe ha dị ka ohere nke anomaly si dị (a na-egosi agba nke akara akara kwekọrọ na mbike):
Ịdọ aka ná ntị (acha anụnụ anụnụ): ihe na-erughị 25
Obere (edo edo): 25-50
Isi (oroma): 50-75
Mkpa (ọbara ọbara): 75-100
Eserese dị n'okpuru na-egosi ihe atụ nke anomalies achọtara.
N'ebe a, ị nwere ike ịhụ nọmba 94, nke na-egosi ohere nke anomaly. O doro anya na ebe ọ bụ na uru dị nso na 100, ọ pụtara na anyị nwere anomaly. Kọlụm dị n'okpuru eserese ahụ na-egosi obere ihe gbasara puru omume nke 0.000063634% nke uru metric pụtara n'ebe ahụ.
Na mgbakwunye na ịchọ anomalies, ị nwere ike ịgba amụma na Kibana. A na-eme nke a n'ụzọ dị mfe na site na otu echiche na anomalies - bọtịnụ amụma n'akụkụ aka nri elu.
A na-eme amụma ahụ ruo izu asatọ kacha elu. Ọbụna ma ọ bụrụ na ịchọrọ n'ezie, ọ gaghị ekwe omume site na imewe.
N'ọnọdụ ụfọdụ, amụma ahụ ga-aba uru nke ukwuu, dịka ọmụmaatụ, mgbe ị na-enyocha ibu onye ọrụ na akụrụngwa.
Multi metric
Ka anyị gaa n'ihu na njirimara ML na-esote na Elastic Stack - na-enyocha ọtụtụ metrik n'otu ogbe. Mana nke a apụtaghị na a ga-enyocha ndabere nke otu metric na nke ọzọ. Nke a bụ otu ihe ahụ dị ka Single Metric, mana enwere ọtụtụ metrik n'otu ihuenyo maka ntụle dị mfe nke mmetụta nke otu na ibe ya. Anyị ga-ekwu maka ịtụle ndabere nke otu metrik na nke ọzọ na ngalaba ọnụọgụ mmadụ.
Mgbe ịpịchara square na Multi Metric, windo nwere ntọala ga-apụta. Ka anyị lebakwuo anya na ha.
Mbụ ịkwesịrị ịhọrọ mpaghara maka nyocha na nchịkọta data na ha. Nhọrọ nchịkọta ebe a bụ otu maka Single Metric (Kasị, Dị Elu, Dị Ala, Ọkara, Pụrụ Iche na ndị ọzọ). Ọzọkwa, ọ bụrụ na achọrọ, a na-ekewa data ahụ n'otu mpaghara (ubi Kewaa data). N'ihe atụ, anyị mere nke a site na ubi OriginAirportID. Rịba ama na eserese metrik dị n'aka nri ka ewepụtara dị ka ọtụtụ eserese.
ubi Ogige igodo (Ndị na-emetụta) na-emetụta kpọmkwem anomalies achọpụtara. Site na ndabara, a ga-enwe opekata mpe otu uru ebe a, ma ị nwere ike itinye ndị ọzọ. Algọridim ga-eburu n'uche mmetụta nke mpaghara ndị a mgbe ị na-enyocha ma gosipụta ụkpụrụ kachasị "mmetụta".
Mgbe emechara, ihe dị ka nke a ga-apụta na interface Kibana.
Nke a bụ ihe a na-akpọ map okpomọkụ nke anomalies maka uru ubi ọ bụla OriginAirportID, nke anyị gosiri na Kewaa data. Dịka ọ dị na Single Metric, agba na-egosi ọkwa nke ngbanwe na-adịghị mma. Ọ dị mma ịme nyocha yiri nke ahụ, dịka ọmụmaatụ, na ọdụ ọrụ iji soro ndị nwere ọnụ ọgụgụ ikike na-enyo enyo, wdg. Anyị edeelarị , nke nwekwara ike ịnakọta ma nyochaa ebe a.
N'okpuru map okpomọkụ bụ ndepụta nke anomalies, site na nke ọ bụla ị nwere ike ịgbanwe gaa na Single Metric nlele maka nyocha zuru ezu.
Population
Iji chọọ anomalies n'etiti mmekọrịta dị n'etiti metrik dị iche iche, Elastic Stack nwere nyocha ọnụọgụgụ pụrụ iche. Ọ bụ site n'enyemaka ya ka ị nwere ike ịchọ ụkpụrụ na-adịghị mma na arụmọrụ nke ihe nkesa ma e jiri ya tụnyere ndị ọzọ mgbe, dịka ọmụmaatụ, ọnụ ọgụgụ nke arịrịọ maka usoro ebumnuche na-abawanye.
N'ihe atụ a, mpaghara ọnụ ọgụgụ mmadụ na-egosi uru nke metrik nyochara ga-emetụta ya. N'okwu a, ọ bụ aha usoro. N'ihi ya, anyị ga-ahụ otú processor ibu nke ọ bụla usoro emetụta ọ bụla ọzọ.
Biko mara na eserese nke data nyochara dị iche na ikpe nwere Single Metric na Multi Metric. Emere nke a na Kibana site na imewe maka nghọta ka mma maka nkesa ụkpụrụ nke data nyochara.
Eserese ahụ na-egosi na usoro ahụ mere omume na-adịghị mma nchegbu (site n'ụzọ, emepụtara site na ọrụ pụrụ iche) na ihe nkesa onu, onye metụtara (ma ọ bụ tụgharịrị bụrụ onye na-emetụta) ihe omume nke anomaly a.
Advanced
Nchịkọta nwere ezigbo nlegharị anya. Site na nyocha dị elu, ntọala agbakwunyere na-apụta na Kibana. Mgbe ịpịrị taịlị dị elu na menu okike, windo a nwere taabụ na-egosi. Tab Nkọwa nke Job Anyị na-amali ya na ebumnuche, enwere ntọala ntọala na-emetụtaghị kpọmkwem n'ịtọpụta nyocha.
В nchịkọta_count_field_aha Nhọrọ, ị nwere ike ezipụta aha ubi site na akwụkwọ nwere ụkpụrụ agbakọtara. N'ihe atụ a, ọnụọgụ ihe omume kwa nkeji. N'ime na-egosi aha na uru ubi site na akwụkwọ ahụ nwere ụfọdụ uru mgbanwe. N'iji nkpuchi dị n'ọhịa a, ị nwere ike kewaa data nyochara n'ime nkeji. Lezienụ anya na bọtịnụ Tinye ihe nchọpụta n'ihe atụ gara aga. N'okpuru ebe a bụ nsonaazụ nke ịpị bọtịnụ a.
Nke a bụ ngọngọ ọzọ maka ịhazi ihe nchọpụta anomaly maka otu ọrụ. Anyị na-eme atụmatụ ikwu okwu gbasara ojiji (karịsịa ndị nchekwa) n'isiokwu ndị na-esonụ. Ọmụmaatụ, otu n'ime ihe ndị a gbasasịrị. Ejikọtara ya na ọchụchọ maka ụkpụrụ ndị na-apụtachaghị ìhè ma tinye ya n'ọrụ .
Na ubi ọrụ Ị nwere ike họrọ otu ọrụ ka ịchọọ anomalies. Ewezuga obere, e nwere di na nwunye ọzọ na-akpali ọrụ - . Ha na-achọpụta anomalies na omume nke metrik ụbọchị niile ma ọ bụ izu, n'otu n'otu. Ọrụ nyocha ndị ọzọ .
В aha ubi na-egosi mpaghara akwụkwọ nke a ga-eme nyocha ahụ. Site_aha_field enwere ike iji kewaa nsonaazụ nyocha maka uru ọ bụla nke ubi akwụkwọ akọwapụtara ebe a. Ọ bụrụ na ị mejupụta over_field_aha ị ga-enweta nyocha ọnụọgụgụ nke anyị tụlere n'elu. Ọ bụrụ na ị kọwapụta uru na partition_field_aha, mgbe ahụ maka mpaghara a nke akwụkwọ ahụ, a ga-agbakọ ntọala dị iche iche maka uru ọ bụla (uru nwere ike ịbụ, dịka ọmụmaatụ, aha nke ihe nkesa ma ọ bụ usoro na ihe nkesa). N'ime ewepu_ugboro ugboro nwere ike ịhọrọ niile ma ọ bụ ọ dịghị onye, nke ga-apụta ewepu (ma ọ bụ gụnyere) ụkpụrụ ngalaba akwụkwọ na-emekarị.
N'isiokwu a, anyị gbalịrị ịnye dị ka nkenke echiche dị ka o kwere mee banyere ike nke igwe mmụta na Elastic Stack; Gwa anyị na nkwupụta ndị ikpe ị jisiri ike dozie site na iji Elastic Stack yana ọrụ ndị ị na-eji ya. Iji kpọtụrụ anyị, ị nwere ike iji ozi nkeonwe na Habré ma ọ bụ .
isi: www.habr.com