Gadewch inni gofio bod Elastic Stack yn seiliedig ar gronfa ddata Elasticsearch nad yw'n berthnasol, rhyngwyneb gwe Kibana a chasglwyr a phroseswyr data (y Logstash enwocaf, Beats amrywiol, APM ac eraill). Un o'r ychwanegiadau braf i'r pentwr cynnyrch rhestredig cyfan yw dadansoddi data gan ddefnyddio algorithmau dysgu peirianyddol. Yn yr erthygl rydym yn deall beth yw'r algorithmau hyn. Os gwelwch yn dda o dan cath.
Mae dysgu â pheiriant yn nodwedd gyflogedig o Elastic Stack y rhanwedd ac mae wedi'i gynnwys yn yr X-Pack. I ddechrau ei ddefnyddio, dim ond actifadu'r treial 30 diwrnod ar ôl ei osod. Ar ôl i'r cyfnod prawf ddod i ben, gallwch ofyn am gefnogaeth i'w ymestyn neu brynu tanysgrifiad. Cyfrifir cost tanysgrifiad nid ar sail cyfaint y data, ond ar nifer y nodau a ddefnyddir. Na, mae maint y data, wrth gwrs, yn effeithio ar nifer y nodau gofynnol, ond yn dal i fod y dull hwn o drwyddedu yn fwy trugarog mewn perthynas â chyllideb y cwmni. Os nad oes angen cynhyrchiant uchel, gallwch arbed arian.
Mae ML yn y Elastic Stack wedi'i ysgrifennu yn C++ ac mae'n rhedeg y tu allan i'r JVM, y mae Elasticsearch ei hun yn rhedeg ynddo. Hynny yw, mae'r broses (gyda llaw, fe'i gelwir yn autodetect) yn defnyddio popeth nad yw'r JVM yn ei lyncu. Ar stondin arddangos nid yw hyn mor hanfodol, ond mewn amgylchedd cynhyrchu mae'n bwysig dyrannu nodau ar wahân ar gyfer tasgau ML.
Mae algorithmau dysgu peirianyddol yn perthyn i ddau gategori − и . Yn y Stack Elastig, mae'r algorithm yn y categori “heb oruchwyliaeth”. Gan Gallwch weld offer mathemategol algorithmau dysgu peirianyddol.
I gyflawni'r dadansoddiad, mae'r algorithm dysgu peiriant yn defnyddio data sydd wedi'i storio mewn mynegeion Elasticsearch. Gallwch greu tasgau i'w dadansoddi o ryngwyneb Kibana a thrwy'r API. Os gwnewch hyn trwy Kibana, yna nid oes angen i chi wybod rhai pethau. Er enghraifft, mynegeion ychwanegol y mae'r algorithm yn eu defnyddio yn ystod ei weithrediad.
Mynegeion ychwanegol a ddefnyddir yn y broses ddadansoddi.ml-state — gwybodaeth am fodelau ystadegol (gosodiadau dadansoddi);
.ml-anomaleddau-* — canlyniadau algorithmau ML;
.ml-hysbysiadau — gosodiadau ar gyfer hysbysiadau yn seiliedig ar ganlyniadau dadansoddi.
Mae'r strwythur data yn y gronfa ddata Elasticsearch yn cynnwys mynegeion a dogfennau sydd wedi'u storio ynddynt. O'i gymharu â chronfa ddata berthynol, gellir cymharu mynegai â sgema cronfa ddata, a dogfen â chofnod mewn tabl. Mae’r gymhariaeth hon yn amodol ac fe’i darperir i symleiddio’r ddealltwriaeth o ddeunydd pellach i’r rhai sydd ond wedi clywed am Elasticsearch.
Mae'r un swyddogaeth ar gael trwy'r API â thrwy'r rhyngwyneb gwe, felly er mwyn eglurder a dealltwriaeth o'r cysyniadau, byddwn yn dangos sut i'w ffurfweddu trwy Kibana. Yn y ddewislen ar y chwith mae adran Dysgu Peiriannau lle gallwch greu Swydd newydd. Yn y rhyngwyneb Kibana mae'n edrych fel y ddelwedd isod. Nawr byddwn yn dadansoddi pob math o dasg ac yn dangos y mathau o ddadansoddiadau y gellir eu llunio yma.
Metrig Sengl - dadansoddiad o un metrig, Aml Fetrig - dadansoddiad o ddau fetrig neu fwy. Yn y ddau achos, mae pob metrig yn cael ei ddadansoddi mewn amgylchedd ynysig, h.y. nid yw'r algorithm yn ystyried ymddygiad metrigau wedi'u dadansoddi'n gyfochrog, fel y gallai ymddangos yn achos Aml Fetrig. I wneud cyfrifiadau gan gymryd i ystyriaeth y gydberthynas o fetrigau amrywiol, gallwch ddefnyddio Dadansoddiad Poblogaeth. Ac mae Advanced yn mireinio'r algorithmau gydag opsiynau ychwanegol ar gyfer rhai tasgau.
Metrig Sengl
Dadansoddi newidiadau mewn un metrig sengl yw'r peth symlaf y gellir ei wneud yma. Ar ôl clicio ar Creu Swydd, bydd yr algorithm yn edrych am anghysondebau.
Yn y cae Cydgasglu gallwch ddewis dull o chwilio am anomaleddau. Er enghraifft, pan Min bydd gwerthoedd islaw gwerthoedd nodweddiadol yn cael eu hystyried yn anghyson. Bwyta Uchafswm, Cymedr Uchel, Isel, Cymedrig, Nodedig ac eraill. Gellir dod o hyd i ddisgrifiadau o'r holl swyddogaethau .
Yn y cae Maes yn nodi'r maes rhifol yn y ddogfen y byddwn yn cynnal y dadansoddiad arno.
Yn y cae — gronynnedd y cyfnodau ar y llinell amser ar gyfer cynnal y dadansoddiad. Gallwch ymddiried yn yr awtomeiddio neu ddewis â llaw. Mae'r ddelwedd isod yn enghraifft o ronynnedd yn rhy isel - efallai y byddwch yn colli'r anghysondeb. Gan ddefnyddio'r gosodiad hwn, gallwch newid sensitifrwydd yr algorithm i anghysondebau.
Mae hyd y data a gesglir yn beth allweddol sy'n effeithio ar effeithiolrwydd y dadansoddiad. Yn ystod dadansoddiad, mae'r algorithm yn nodi cyfyngau ailadroddus, yn cyfrifo cyfyngau hyder (llinellau sylfaen) ac yn nodi anghysondebau - gwyriadau annodweddiadol oddi wrth ymddygiad arferol y metrig. Er enghraifft yn unig:
Llinellau sylfaen gyda darn bach o ddata:
Pan fydd gan yr algorithm rywbeth i ddysgu ohono, mae'r llinell sylfaen yn edrych fel hyn:
Ar ôl dechrau'r dasg, mae'r algorithm yn pennu gwyriadau afreolaidd o'r norm ac yn eu rhestru yn ôl tebygolrwydd anghysondeb (nodir lliw y label cyfatebol mewn cromfachau):
Rhybudd (glas): llai na 25
Mân (melyn): 25-50
Mawr (oren): 50-75
Critigol (coch): 75-100
Mae'r graff isod yn dangos enghraifft o'r anomaleddau a ganfuwyd.
Yma gallwch weld y rhif 94, sy'n dangos y tebygolrwydd o anomaledd. Mae'n amlwg, gan fod y gwerth yn agos at 100, ei fod yn golygu bod gennym anghysondeb. Mae'r golofn o dan y graff yn dangos y tebygolrwydd bychan iawn o 0.000063634% o'r gwerth metrig sy'n ymddangos yno.
Yn ogystal â chwilio am anomaleddau, gallwch redeg rhagolygon yn Kibana. Gwneir hyn yn syml ac o'r un farn gydag anomaleddau - botwm Rhagolwg yn y gornel dde uchaf.
Gwneir y rhagolwg am uchafswm o 8 wythnos ymlaen llaw. Hyd yn oed os ydych chi wir eisiau, nid yw'n bosibl mwyach trwy ddyluniad.
Mewn rhai sefyllfaoedd, bydd y rhagolwg yn ddefnyddiol iawn, er enghraifft, wrth fonitro llwyth defnyddwyr ar y seilwaith.
Aml Fetrig
Gadewch i ni symud ymlaen i'r nodwedd ML nesaf yn y Stack Elastig - dadansoddi sawl metrig mewn un swp. Ond nid yw hyn yn golygu y bydd dibyniaeth un metrig ar y llall yn cael ei ddadansoddi. Mae hyn yr un peth â Metrig Sengl, ond gyda metrigau lluosog ar un sgrin er mwyn gallu cymharu effaith un ar y llall yn hawdd. Byddwn yn sôn am ddadansoddi dibyniaeth un metrig ar y llall yn yr adran Poblogaeth.
Ar ôl clicio ar y sgwâr gyda Multi Metric, bydd ffenestr gyda gosodiadau yn ymddangos. Gadewch i ni edrych arnynt yn fwy manwl.
Yn gyntaf mae angen i chi ddewis y meysydd ar gyfer dadansoddi a chydgrynhoi data arnynt. Mae'r opsiynau agregu yma yr un peth ag ar gyfer Metrig Sengl (Uchafswm, Cymedr Uchel, Isel, Cymedrig, Nodedig ac eraill). Ymhellach, os dymunir, rhennir y data yn un o'r meysydd (maes Data Hollti). Yn yr enghraifft, gwnaethom hyn fesul maes IDAirport Tarddiad. Sylwch fod y graff metrigau ar y dde bellach yn cael ei gyflwyno fel graffiau lluosog.
Maes Meysydd Allweddol (Dylanwadwyr) yn effeithio'n uniongyrchol ar yr anomaleddau a ganfyddir. Yn ddiofyn bydd o leiaf un gwerth yma bob amser, a gallwch ychwanegu rhai ychwanegol. Bydd yr algorithm yn cymryd i ystyriaeth ddylanwad y meysydd hyn wrth ddadansoddi a dangos y gwerthoedd mwyaf “dylanwadol”.
Ar ôl ei lansio, bydd rhywbeth fel hyn yn ymddangos yn rhyngwyneb Kibana.
Dyma'r hyn a elwir map gwres o anomaleddau ar gyfer pob gwerth maes IDAirport Tarddiad, a nodasom yn Data Hollti. Fel gyda Metrig Sengl, mae lliw yn dangos lefel y gwyriad annormal. Mae'n gyfleus gwneud dadansoddiad tebyg, er enghraifft, ar weithfannau i olrhain y rhai sydd â nifer amheus o awdurdodiadau, ac ati. Ysgrifenasom eisoes , y gellir ei gasglu a'i ddadansoddi yma hefyd.
Isod mae'r map gwres yn rhestr o anghysondebau, o bob un gallwch newid i'r golwg Metrig Sengl ar gyfer dadansoddiad manwl.
Poblogaeth
I chwilio am anghysondebau ymhlith cydberthnasau rhwng gwahanol fetrigau, mae gan yr Elastig Stack ddadansoddiad Poblogaeth arbenigol. Gyda'i help ef y gallwch edrych am werthoedd afreolaidd ym mherfformiad gweinydd o'i gymharu ag eraill pan, er enghraifft, mae nifer y ceisiadau i'r system darged yn cynyddu.
Yn y llun hwn, mae'r maes Poblogaeth yn nodi'r gwerth y bydd y metrigau a ddadansoddwyd yn berthnasol iddo. Yn yr achos hwn, dyma enw'r broses. O ganlyniad, byddwn yn gweld sut mae llwyth prosesydd pob proses yn dylanwadu ar ei gilydd.
Sylwch fod y graff o'r data a ddadansoddwyd yn wahanol i'r achosion gyda Metrig Sengl ac Aml Fetrig. Gwnaed hyn yn Kibana trwy ddyluniad ar gyfer canfyddiad gwell o ddosbarthiad gwerthoedd y data a ddadansoddwyd.
Mae'r graff yn dangos bod y broses wedi ymddwyn yn annormal straen (gyda llaw, a gynhyrchir gan gyfleustodau arbennig) ar y gweinydd poipu, a ddylanwadodd (neu a drodd yn ddylanwad) ar ddigwyddiad yr anghysondeb hwn.
Uwch
Dadansoddeg gyda thiwnio manwl. Gyda dadansoddiad Uwch, mae gosodiadau ychwanegol yn ymddangos yn Kibana. Ar ôl clicio ar y deilsen Uwch yn y ddewislen creu, mae'r ffenestr hon gyda thabiau yn ymddangos. Tab manylion y swydd Fe wnaethon ni ei hepgor yn bwrpasol, mae yna leoliadau sylfaenol nad ydyn nhw'n uniongyrchol gysylltiedig â sefydlu'r dadansoddiad.
В crynodeb_cyfrif_maes_enw Yn ddewisol, gallwch nodi enw maes o ddogfennau sy'n cynnwys gwerthoedd cyfun. Yn yr enghraifft hon, nifer y digwyddiadau y funud. YN yn dynodi enw a gwerth maes o'r ddogfen sy'n cynnwys rhyw werth newidiol. Gan ddefnyddio'r mwgwd ar y maes hwn, gallwch rannu'r data a ddadansoddwyd yn is-setiau. Rhowch sylw i'r botwm Ychwanegu synhwyrydd yn y darluniad blaenorol. Isod mae canlyniad clicio ar y botwm hwn.
Dyma floc ychwanegol o osodiadau ar gyfer ffurfweddu'r synhwyrydd anomaledd ar gyfer tasg benodol. Rydym yn bwriadu trafod achosion defnydd penodol (yn enwedig rhai diogelwch) yn yr erthyglau canlynol. Er enghraifft, un o'r achosion datgymalu. Mae'n gysylltiedig â chwilio am werthoedd sy'n ymddangos yn anaml ac fe'i gweithredir .
Yn y cae swyddogaeth Gallwch ddewis swyddogaeth benodol i chwilio am anomaleddau. Ac eithrio prin, mae yna gwpl o swyddogaethau mwy diddorol - . Maent yn nodi anghysondebau yn ymddygiad metrigau trwy gydol y dydd neu'r wythnos, yn y drefn honno. Swyddogaethau dadansoddi eraill .
В maes_name yn nodi maes y ddogfen y bydd y dadansoddiad yn cael ei wneud arno. Yn ôl_enw_maes Gellir ei ddefnyddio i wahanu'r canlyniadau dadansoddi ar gyfer pob gwerth unigol ym maes y ddogfen a nodir yma. Os byddwch yn llenwi dros_maes_enw rydych yn cael y dadansoddiad poblogaeth a drafodwyd gennym uchod. Os byddwch yn nodi gwerth yn rhan_maes_enw, yna ar gyfer y maes hwn o'r ddogfen cyfrifir llinellau sylfaen ar wahân ar gyfer pob gwerth (gall y gwerth fod, er enghraifft, enw'r gweinydd neu'r broses ar y gweinydd). YN eithrio_aml yn gallu dewis bob neu dim, a fydd yn golygu eithrio (neu gynnwys) gwerthoedd maes dogfen sy'n digwydd yn aml.
Yn yr erthygl hon, ceisiwyd rhoi syniad mor gryno â phosibl am alluoedd dysgu peirianyddol yn y Elastig Stack; mae llawer o fanylion ar ôl o hyd. Dywedwch wrthym yn y sylwadau pa achosion y gwnaethoch lwyddo i'w datrys gan ddefnyddio Elastic Stack a pha dasgau rydych yn ei ddefnyddio ar eu cyfer. I gysylltu â ni, gallwch ddefnyddio negeseuon personol ar Habré neu .
Ffynhonnell: hab.com