Cia peb nco qab tias Elastic Stack yog raws li cov ntaub ntawv tsis sib xws Elasticsearch, Kibana web interface thiab cov ntaub ntawv sau thiab cov txheej txheem (cov npe nrov tshaj plaws Logstash, ntau yam Beats, APM thiab lwm yam). Ib qho zoo ntxiv rau tag nrho cov khoom lag luam uas tau teev tseg yog kev tshuaj xyuas cov ntaub ntawv siv tshuab kev kawm algorithms. Hauv tsab xov xwm peb nkag siab tias cov algorithms no yog dab tsi. Thov sub miv.
Kev kawm tshuab yog qhov them nyiaj tshwj xeeb ntawm shareware Elastic Stack thiab suav nrog X-Pack. Txhawm rau pib siv nws, tsuas yog qhib qhov kev sim 30-hnub tom qab kev teeb tsa. Tom qab lub sijhawm sim tas lawm, koj tuaj yeem thov kev txhawb nqa los txuas ntxiv nws lossis yuav ib daim ntawv tso npe. Tus nqi subscription yog xam tsis yog nyob ntawm qhov ntim ntawm cov ntaub ntawv, tab sis nyob ntawm tus naj npawb ntawm cov nodes siv. Tsis yog, qhov ntim ntawm cov ntaub ntawv, tau kawg, cuam tshuam rau tus naj npawb ntawm cov nodes xav tau, tab sis tseem txoj hauv kev no rau kev tso cai yog ntau tus tib neeg cuam tshuam nrog lub tuam txhab cov peev nyiaj. Yog tias tsis xav tau kev tsim khoom siab, koj tuaj yeem txuag nyiaj.
ML hauv Elastic Stack yog sau rau hauv C ++ thiab khiav sab nraum JVM, uas Elasticsearch nws tus kheej khiav. Ntawd yog, cov txheej txheem (los ntawm txoj kev, nws hu ua autodetect) noj txhua yam uas JVM tsis nqos. Ntawm qhov kev ua yeeb yam no tsis yog qhov tseem ceeb, tab sis nyob rau hauv ib qho chaw tsim khoom nws yog ib qho tseem ceeb los faib cov nodes rau ML cov hauj lwm.
Tshuab kawm algorithms poob rau hauv ob pawg - ΠΈ . Hauv Elastic Stack, algorithm yog nyob rau hauv qeb "tsis muaj kev saib xyuas". Los ntawm Koj tuaj yeem pom cov cuab yeej lej ntawm kev kawm tshuab algorithms.
Txhawm rau ua qhov kev soj ntsuam, lub tshuab kev kawm algorithm siv cov ntaub ntawv khaws cia hauv Elasticsearch indexes. Koj tuaj yeem tsim cov haujlwm rau kev txheeb xyuas ob qho tib si los ntawm Kibana interface thiab los ntawm API. Yog tias koj ua qhov no los ntawm Kibana, ces koj tsis tas yuav paub qee yam. Piv txwv li, ntxiv indexes uas lub algorithm siv thaum nws ua haujlwm.
Ntxiv indices siv nyob rau hauv cov txheej txheem tsom xam.ml-state β cov ntaub ntawv hais txog cov qauv kev txheeb cais (kev txheeb xyuas qhov chaw);
.ml-anomalies-* β cov txiaj ntsig ntawm ML algorithms;
.ml-cov ntawv ceeb toom β teeb tsa rau cov ntawv ceeb toom raws li kev txheeb xyuas cov txiaj ntsig.
Cov qauv ntaub ntawv hauv Elasticsearch database muaj cov indexes thiab cov ntaub ntawv khaws cia hauv lawv. Thaum muab piv rau cov ntaub ntawv sib raug zoo, qhov ntsuas tau muab piv rau cov txheej txheem database, thiab cov ntaub ntawv rau cov ntaub ntawv hauv ib lub rooj. Qhov kev sib piv no muaj cai thiab yog muab los ua kom yooj yim rau kev nkag siab ntawm cov ntaub ntawv ntxiv rau cov neeg uas tau hnov ββββtxog Elasticsearch nkaus xwb.
Tib lub luag haujlwm muaj nyob hauv API xws li los ntawm lub vev xaib interface, yog li kom pom tseeb thiab nkag siab txog cov ntsiab lus, peb yuav qhia yuav ua li cas teeb tsa nws los ntawm Kibana. Hauv cov ntawv qhia zaub mov sab laug muaj ntu Machine Learning uas koj tuaj yeem tsim Txoj Haujlwm tshiab. Hauv Kibana interface nws zoo li cov duab hauv qab no. Tam sim no peb yuav txheeb xyuas txhua hom haujlwm thiab qhia txog hom kev tshuaj ntsuam uas tuaj yeem tsim kho ntawm no.
Ib qho Metric - kev tsom xam ntawm ib qho metric, Multi Metric - tsom xam ntawm ob lossis ntau qhov kev ntsuas. Nyob rau hauv ob qho tib si, txhua qhov kev ntsuas tau txheeb xyuas nyob rau hauv ib qho chaw sib cais, i.e. lub algorithm tsis coj mus rau hauv tus account tus cwj pwm ntawm parallel soj ntsuam metrics, raws li nws yuav zoo li nyob rau hauv cov ntaub ntawv ntawm Multi Metric. Txhawm rau ua tiav cov lej suav nrog kev sib raug zoo ntawm ntau yam kev ntsuas, koj tuaj yeem siv Kev Tshawb Fawb Cov Neeg. Thiab Advanced yog qhov zoo-tuning algorithms nrog kev xaiv ntxiv rau qee yam haujlwm.
Ib qho Metric
Kev txheeb xyuas cov kev hloov pauv hauv ib qho kev ntsuas ib zaug yog qhov yooj yim tshaj plaws uas tuaj yeem ua tiav ntawm no. Tom qab txhaj rau Tsim Txoj Haujlwm, lub algorithm yuav saib rau qhov tsis txaus ntseeg.
Nyob rau hauv lub teb Aggregation koj tuaj yeem xaiv txoj hauv kev los tshawb nrhiav qhov tsis txaus ntseeg. Piv txwv li, thaum Min cov nqi hauv qab no cov txiaj ntsig raug suav tias yog qhov tsis zoo. Noj Max, Siab Mean, Tsawg, Mean, Distinct thiab lwm tus. Cov lus piav qhia ntawm txhua txoj haujlwm tuaj yeem pom .
Nyob rau hauv lub teb teb qhia txog cov lej hauv cov ntaub ntawv uas peb yuav ua qhov kev tshuaj xyuas.
Nyob rau hauv lub teb - granularity ntawm ntu ntawm ncua sij hawm nrog rau qhov kev tshuaj ntsuam yuav ua tiav. Koj tuaj yeem ntseeg qhov automation lossis xaiv manually. Cov duab hauv qab no yog ib qho piv txwv ntawm granularity tsawg dhau - koj tuaj yeem nco qhov anomaly. Siv qhov teeb tsa no, koj tuaj yeem hloov qhov rhiab heev ntawm lub algorithm mus rau qhov tsis txaus ntseeg.
Lub sijhawm ntawm cov ntaub ntawv khaws tseg yog qhov tseem ceeb uas cuam tshuam rau kev ua tau zoo ntawm kev tshuaj xyuas. Thaum lub sij hawm tsom xam, lub algorithm txheeb xyuas qhov rov ua ntu ntu, suav cov kev ntseeg siab ntawm lub sijhawm (cov hauv paus ntsiab lus), thiab txheeb xyuas qhov tsis txaus ntseeg-atypical sib txawv ntawm tus cwj pwm ib txwm muaj ntawm qhov ntsuas. Tsuas yog piv txwv li:
Lub hauv paus nrog ib daim ntawv me me:
Thaum lub algorithm muaj ib yam dab tsi los kawm, lub hauv paus zoo li no:
Tom qab pib ua haujlwm, lub algorithm txiav txim siab qhov txawv txav ntawm cov qauv thiab muab lawv raws li qhov tshwm sim ntawm qhov tsis sib xws (cov xim ntawm cov ntawv sib thooj yog qhia hauv kab lus):
Ceeb toom (xiav): tsawg dua 25
Me me (daj): 25-50
Loj (txiv kab ntxwv): 50-75
Critical (liab): 75-100
Daim duab hauv qab no qhia txog qhov piv txwv ntawm qhov tsis pom kev pom.
Ntawm no koj tuaj yeem pom tus lej 94, uas qhia qhov tshwm sim ntawm qhov tsis txaus ntseeg. Nws yog tseeb hais tias txij li thaum tus nqi yog ze rau 100, nws txhais tau hais tias peb muaj anomaly. Cov kab hauv qab ntawm daim duab qhia pom qhov tshwm sim me me ntawm 0.000063634% ntawm tus nqi metric tshwm nyob rau ntawd.
Ntxiv nrog rau kev tshawb nrhiav qhov tsis txaus ntseeg, koj tuaj yeem khiav kev kwv yees hauv Kibana. Qhov no yog ua tau yooj yim thiab los ntawm tib qhov kev pom nrog anomalies - khawm forecast nyob rau sab xis sab xis.
Kev kwv yees tau ua rau ntau tshaj 8 lub lis piam ua ntej. Txawm hais tias koj xav tau tiag tiag, nws tsis tuaj yeem ua tau los ntawm kev tsim.
Hauv qee qhov xwm txheej, kev kwv yees yuav muaj txiaj ntsig zoo, piv txwv li, thaum saib xyuas cov neeg siv khoom thauj khoom ntawm cov txheej txheem.
Ntau Metric
Cia peb txav mus rau ML feature tom ntej hauv Elastic Stack - txheeb xyuas ntau qhov ntsuas hauv ib pawg. Tab sis qhov no tsis txhais hais tias qhov kev vam khom ntawm ib qho kev ntsuas ntawm lwm tus yuav raug tshuaj xyuas. Qhov no yog tib yam li Ib Leeg Metric, tab sis nrog ntau qhov ntsuas ntawm ib qho screen rau kev sib piv yooj yim ntawm qhov cuam tshuam ntawm ib qho ntawm lwm tus. Peb mam li tham txog kev txheeb xyuas qhov kev vam khom ntawm ib qho kev ntsuas ntawm lwm qhov hauv ntu Cov Neeg.
Tom qab txhaj rau lub xwmfab nrog Multi Metric, lub qhov rais nrog cov chaw yuav tshwm. Cia peb saib lawv hauv kev nthuav dav ntxiv.
Ua ntej koj yuav tsum xaiv cov teb rau kev tsom xam thiab cov ntaub ntawv sib sau ua ke ntawm lawv. Cov kev xaiv sib sau ua ke ntawm no yog tib yam li rau Ib Leeg Metric (Max, Siab Mean, Tsawg, Mean, Distinct thiab lwm yam). Tsis tas li ntawd, yog tias xav tau, cov ntaub ntawv muab faib ua ib qho ntawm cov teb (thaj chaw Split Cov ntaub ntawv). Hauv qhov piv txwv, peb tau ua qhov no los ntawm teb Keeb kwmAirportID. Daim ntawv ceeb toom tias qhov ntsuas ntsuas ntawm sab xis tam sim no nthuav tawm ua ntau daim duab.
teb Key Fields (Influencers) ncaj qha cuam tshuam rau qhov kuaj pom anomalies. Los ntawm lub neej ntawd yuav ib txwm muaj tsawg kawg ib tus nqi ntawm no, thiab koj tuaj yeem ntxiv qhov ntxiv. Lub algorithm yuav coj mus rau hauv tus account lub zog ntawm cov teb no thaum lub sij hawm kev soj ntsuam thiab qhia qhov feem ntau "fluential" qhov tseem ceeb.
Tom qab tso tawm, ib yam dab tsi zoo li no yuav tshwm sim hauv Kibana interface.
Qhov no yog hu ua Daim ntawv qhia tshav kub ntawm qhov tsis sib xws rau txhua qhov nqi Keeb kwmAirportID, uas peb tau qhia hauv Split Cov ntaub ntawv. Raws li nrog Ib Metric, xim qhia txog qib ntawm qhov txawv txav. Nws yog ib qho yooj yim los ua ib qho kev soj ntsuam zoo sib xws, piv txwv li, ntawm cov chaw ua haujlwm los taug qab cov neeg uas muaj qhov tsis txaus ntseeg ntau ntawm kev tso cai, thiab lwm yam. Peb twb sau lawm , uas tseem tuaj yeem sau thiab txheeb xyuas ntawm no.
Hauv qab ntawm daim ntawv qhia tshav kub yog ib daim ntawv teev cov kev tsis txaus ntseeg, los ntawm txhua qhov koj tuaj yeem hloov mus rau Tib Metric saib rau cov ncauj lus kom ntxaws.
pejxeem
Txhawm rau nrhiav qhov tsis sib xws ntawm cov kev sib raug zoo ntawm cov ntsuas sib txawv, Elastic Stack muaj qhov tshwj xeeb kev txheeb xyuas pej xeem. Nws yog nrog nws cov kev pab uas koj tuaj yeem nrhiav cov txiaj ntsig tsis zoo hauv kev ua haujlwm ntawm tus neeg rau zaub mov piv rau lwm tus thaum, piv txwv li, tus naj npawb ntawm kev thov rau lub hom phiaj nce.
Hauv qhov piv txwv no, Population teb qhia tus nqi uas cov ntsuas ntsuas yuav cuam tshuam. Hauv qhov no nws yog lub npe ntawm cov txheej txheem. Yog li ntawd, peb yuav pom tias processor load ntawm txhua tus txheej txheem cuam tshuam rau ib leeg.
Thov nco ntsoov tias daim duab ntawm cov ntaub ntawv txheeb xyuas txawv ntawm cov teeb meem nrog Tib Metric thiab Multi Metric. Qhov no tau ua tiav hauv Kibana los ntawm kev tsim qauv rau kev nkag siab zoo dua ntawm kev faib cov txiaj ntsig ntawm cov ntaub ntawv txheeb xyuas.
Daim duab qhia tau hais tias tus txheej txheem coj txawv txawv kev nyuaj siab (los ntawm txoj kev, tsim los ntawm kev siv tshwj xeeb) ntawm lub server pua, leej twg cuam tshuam (los yog muab tawm los ua tus influencer) qhov tshwm sim ntawm qhov tsis zoo no.
Advanced
Analytics nrog zoo tuning. Nrog rau Advanced tsom xam, cov chaw ntxiv tshwm sim hauv Kibana. Tom qab txhaj rau Advanced pobzeb hauv cov ntawv qhia zaub mov tsim, lub qhov rai no nrog cov tabs tshwm. Tab Txoj Hauj Lwm Cov Lus Qhia Peb hla nws ntawm lub hom phiaj, muaj cov kev teeb tsa yooj yim tsis ncaj qha ntsig txog teeb tsa kev tshuaj xyuas.
Π summary_count_field_name Optionally, koj tuaj yeem qhia lub npe ntawm daim teb los ntawm cov ntaub ntawv uas muaj cov txiaj ntsig sib sau. Hauv qhov piv txwv no, tus naj npawb ntawm cov xwm txheej ib feeb. IN qhia lub npe thiab tus nqi ntawm daim teb los ntawm cov ntaub ntawv uas muaj qee tus nqi sib txawv. Siv lub npog ntsej muag ntawm daim teb no, koj tuaj yeem faib cov ntaub ntawv txheeb xyuas rau hauv subsets. Them mloog rau lub khawm Ntxiv tus ntes nyob rau hauv daim duab ua ntej. Hauv qab no yog qhov tshwm sim ntawm nias lub pob no.
Ntawm no yog ib qho thaiv ntxiv ntawm kev teeb tsa rau kev teeb tsa lub ntsuas qhov tsis txaus ntseeg rau ib txoj haujlwm tshwj xeeb. Peb npaj yuav tshuaj xyuas cov kev siv tshwj xeeb (tshwj xeeb yog hais txog kev ruaj ntseg) hauv cov lus hauv qab no. Piv txwv li, ib qho ntawm cov teeb meem disassembled. Nws yog txuam nrog kev tshawb nrhiav rau qhov tsis tshua pom muaj txiaj ntsig thiab raug siv .
Nyob rau hauv lub teb muaj nuj nqi Koj tuaj yeem xaiv ib txoj haujlwm tshwj xeeb los tshawb nrhiav qhov tsis txaus ntseeg. Tsuas yog tsawg, muaj ob peb txoj haujlwm nthuav dav ntxiv - . Lawv txheeb xyuas qhov tsis txaus ntseeg ntawm tus cwj pwm ntawm kev ntsuas thoob plaws ib hnub lossis lub lim tiam, feem. Lwm yam kev tsom xam muaj nuj nqi .
Π field_name qhia txog daim teb ntawm cov ntaub ntawv uas qhov kev tshuaj ntsuam yuav ua. By_field_name tuaj yeem siv los cais cov txiaj ntsig kev tshuaj ntsuam rau txhua tus nqi ntawm cov ntaub ntawv teev tseg ntawm no. Yog koj sau over_field_name koj tau txais kev txheeb xyuas pej xeem uas peb tau tham saum toj no. Yog tias koj qhia tus nqi hauv partition_field_name, tom qab ntawd rau daim teb no ntawm cov ntaub ntawv cais cov hauv paus ntsiab lus yuav raug suav rau txhua tus nqi (tus nqi tuaj yeem yog, piv txwv li, lub npe ntawm tus neeg rau zaub mov lossis txheej txheem ntawm lub server). IN cais_frequent tuaj yeem xaiv tag nrho cov los yog tsis muaj leej twg, uas yuav txhais tau tias tsis suav nrog (lossis suav nrog) cov ntaub ntawv muaj nuj nqis uas tshwm sim ntau zaus.
Hauv tsab xov xwm no, peb tau sim muab lub tswv yim zoo li ua tau txog lub peev xwm ntawm kev kawm tshuab hauv Elastic Stack; tseem muaj ntau cov ntsiab lus tseem tshuav tom qab. Qhia rau peb hauv cov lus hais seb qhov xwm txheej twg koj tau daws los siv Elastic Stack thiab cov dej num twg koj siv rau. Hu rau peb, koj tuaj yeem siv cov lus ntawm tus kheej ntawm Habre lossis .
Tau qhov twg los: www.hab.com