Xatırladaq ki, Elastic Stack qeyri-relational verilənlər bazası Elasticsearch, Kibana veb-interfeysi və məlumat kollektorlarına (ən məşhur Logstash, müxtəlif Beats, APM və s.) əsaslanır. Sadalanan bütün məhsul yığınına gözəl əlavələrdən biri maşın öyrənmə alqoritmlərindən istifadə edərək məlumatların təhlilidir. Məqalədə bu alqoritmlərin nə olduğunu başa düşürük. Zəhmət olmasa pişik altında.
Maşın öyrənməsi Elastik Stack adlı paylaşılan proqramın ödənişli xüsusiyyətidir və X-Pack-ə daxildir. Onu istifadə etməyə başlamaq üçün quraşdırmadan sonra 30 günlük sınaq müddətini aktivləşdirmək kifayətdir. Sınaq müddəti bitdikdən sonra onu yeniləmək və ya abunə almaq üçün dəstək tələb edə bilərsiniz. Abunə qiyməti məlumatların miqdarına deyil, istifadə olunan qovşaqların sayına görə hesablanır. Xeyr, məlumatların miqdarı, əlbəttə ki, tələb olunan qovşaqların sayına təsir göstərir, lakin yenə də lisenziyalaşdırmaya bu yanaşma şirkətin büdcəsinə münasibətdə daha humanistdir. Yüksək performansa ehtiyac yoxdursa, pula qənaət edə bilərsiniz.
Elastic Stack-dəki ML C++ dilində yazılmışdır və Elasticsearch-in özünün işlədiyi JVM-dən kənarda işləyir. Yəni proses (yeri gəlmişkən, buna autodetect deyilir) JVM-nin udmadığı hər şeyi istehlak edir. Demo stenddə bu o qədər də vacib deyil, lakin məhsuldar bir mühitdə ML tapşırıqları üçün ayrıca qovşaqların ayrılması vacibdir.
Maşın öyrənmə alqoritmləri iki kateqoriyaya bölünür - и . Elastic Stack-də alqoritm "nəzarətsiz" kateqoriyasındandır. By Siz maşın öyrənmə alqoritmlərinin riyazi aparatını görə bilərsiniz.
Maşın öyrənmə alqoritmi təhlil aparmaq üçün Elasticsearch indekslərində saxlanılan məlumatlardan istifadə edir. Siz həm Kibana interfeysindən, həm də API vasitəsilə təhlil üçün tapşırıqlar yarada bilərsiniz. Əgər bunu Kibana vasitəsilə edirsinizsə, onda bəzi şeyləri bilməyə ehtiyac yoxdur. Məsələn, alqoritmin əməliyyat zamanı istifadə etdiyi əlavə indekslər.
Təhlil prosesində istifadə olunan əlavə indekslər.ml-state - statistik modellər haqqında məlumat (analiz parametrləri);
.ml-anomaliyaları-* - ML alqoritmlərinin nəticələri;
.ml-notifications — təhlil nəticələrinə əsaslanan bildiriş parametrləri.
Elasticsearch verilənlər bazasında verilənlər strukturu indekslərdən və onlarda saxlanılan sənədlərdən ibarətdir. Əlaqəli verilənlər bazası ilə müqayisədə indeks verilənlər bazası sxemi ilə, sənədi isə cədvəldəki qeydlə müqayisə etmək olar. Bu müqayisə şərtidir və yalnız Elasticsearch haqqında eşidənlər üçün əlavə materialın başa düşülməsini asanlaşdırmaq üçün verilmişdir.
Eyni funksionallıq API vasitəsilə veb-interfeys vasitəsilə mövcuddur, ona görə də anlayışların aydınlığı və başa düşülməsi üçün biz Kibana vasitəsilə necə konfiqurasiya olunacağını göstərəcəyik. Soldakı menyuda yeni bir iş (İş) yarada biləcəyiniz Maşın Öyrənmə bölməsi var. Kibana interfeysində o, aşağıdakı şəkildəki kimi görünür. İndi hər bir tapşırıq növünü təhlil edəcəyik və burada qurula bilən təhlil növlərini göstərəcəyik.
Single Metric - bir metrikanın təhlili, Multi Metric - iki və ya daha çox metrikanın təhlili. Hər iki halda, hər bir metrik təcrid olunmuş mühitdə təhlil edilir, yəni. alqoritm, Multi Metric vəziyyətində göründüyü kimi paralel olaraq təhlil edilən metriklərin davranışını nəzərə almır. Müxtəlif ölçülərin korrelyasiyasını nəzərə alaraq hesablamaq üçün Əhali təhlilini tətbiq edə bilərsiniz. Və Qabaqcıl müəyyən tapşırıqlar üçün əlavə seçimlərlə alqoritmlərin dəqiq tənzimlənməsidir.
Tək Metrik
Tək bir metrikdə dəyişiklikləri təhlil etmək burada ən asan işdir. İş Yarat üzərinə kliklədikdən sonra alqoritm anomaliyaları axtaracaq.
sahəsində Birləşmə anomaliyaları axtarmaq üçün yanaşma seçə bilərsiniz. Məsələn, nə vaxt Min tipik dəyərlərdən aşağı olan dəyərlər anormal hesab ediləcək. Yemək Maks, Yüksək Orta, Aşağı, Orta, Fərqli və qeyriləri. Bütün funksiyaların təsviri tapıla bilər .
sahəsində Sahə sənəddə rəqəmsal sahə göstərilir, ona uyğun olaraq təhlil aparacağıq.
sahəsində — təhlil ediləcək zaman çizelgesindeki intervalların qranulyarlığı. Siz avtomatlaşdırmaya etibar edə və ya əl ilə seçə bilərsiniz. Aşağıdakı şəkil çox aşağı qranularlıq nümunəsini göstərir - anomaliyanı əldən verə bilərsiniz. Bu parametrlə siz anomaliyalara qarşı alqoritmin həssaslığını dəyişə bilərsiniz.
Toplanmış məlumatların müddəti təhlilin effektivliyinə təsir edən əsas şeydir. Təhlil zamanı alqoritm təkrarlanan boşluqları müəyyənləşdirir, inam intervalını (əsas xətlər) hesablayır və anomaliyaları - metrikanın adi davranışından atipik kənarlaşmaları aşkar edir. Sadəcə məsələn:
Kiçik məlumat seqmenti üçün əsaslar:
Alqoritmdə öyrənmək üçün bir şey olduqda, əsas xətlər belə görünür:
Tapşırığa başladıqdan sonra alqoritm normadan anormal kənarlaşmaları müəyyən edir və onları anomaliya ehtimalına görə sıralayır (müvafiq etiketin rəngi mötərizədə göstərilir):
Xəbərdarlıq (mavi): 25-dən az
Kiçik (sarı): 25-50
Major (narıncı): 50-75
Kritik (qırmızı): 75-100
Aşağıdakı qrafik aşkar edilmiş anomaliyalarla bir nümunə göstərir.
Burada anomaliya ehtimalını göstərən 94 rəqəmini görə bilərsiniz. Aydındır ki, dəyər 100-ə yaxın olduğundan, bizdə anomaliya var. Qrafikin altındakı sütun orada görünən metrik dəyərin 0.000063634%-i kimi aşağılayıcı dərəcədə kiçik bir ehtimalı göstərir.
Kibanada anomaliyaları axtarmaqdan əlavə, siz proqnozlaşdıra bilərsiniz. Bu elementar olaraq və anomaliyalarla eyni təsvirdən - düymədən edilir Forecast yuxarı sağ küncdə.
Proqnoz 8 həftə əvvələ qədər qurulur. Həqiqətən istəsəniz belə, dizaynla artıq edə bilməzsiniz.
Bəzi hallarda, proqnoz, məsələn, istifadəçinin infrastruktura yüklənməsini izləyərkən çox faydalı olacaq.
Multimetrik
Gəlin Elastic Stack-də növbəti ML xüsusiyyətinə - bir partiyada bir neçə ölçünün təhlilinə keçək. Amma bu o demək deyil ki, bir metrikanın digərindən asılılığı təhlil ediləcək. Bu, birinin digərinə təsirini asan müqayisə etmək üçün bir ekranda çoxlu ölçüləri olan Tək Metrik ilə eynidir. Əhali hissəsində bir metrikanın digərindən asılılığının təhlilindən danışacağıq.
Multi Metric ilə kvadrata kliklədikdən sonra parametrləri olan bir pəncərə görünəcək. Onların üzərində daha ətraflı dayanaq.
Əvvəlcə təhlil üçün sahələri seçməlisiniz və onlar haqqında məlumatların toplanması. Buradakı toplama seçimləri Tək Metrik ilə eynidir (Maks, Yüksək Orta, Aşağı, Orta, Fərqli və qeyriləri). Bundan əlavə, məlumatlar, istəsən, sahələrdən birinə bölünür (sahə məlumatların bölünməsi). Məsələn, biz bunu sahə boyu etdik OriginAirportID. Diqqət yetirin ki, sağdakı ölçülər qrafiki indi qrafiklər dəsti kimi təqdim olunur.
Sahə Əsas sahələr (təsir edənlər) aşkar edilmiş anomaliyalara birbaşa təsir göstərir. Varsayılan olaraq, həmişə ən azı bir dəyər olacaq və siz daha çox əlavə edə bilərsiniz. Alqoritm təhlil zamanı bu sahələrin təsirini nəzərə alacaq və ən "təsirli" dəyərləri göstərəcək.
Başladıqdan sonra Kibana interfeysində aşağıdakı şəkil görünəcək.
Bu sözdə. hər bir sahə dəyəri üçün anomaliyaların istilik xəritəsi OriginAirportIDqeyd etdiyimiz məlumatların bölünməsi. Tək Metrikdə olduğu kimi, rəng kənar göstəricinin səviyyəsini göstərir. Bənzər bir analiz etmək rahatdır, məsələn, şübhəli bir çox icazənin olduğu yerləri izləmək üçün iş stansiyalarında və s. Artıq yazmışıq , onu da burada toplayıb təhlil etmək olar.
İstilik xəritəsinin altında anomaliyaların siyahısı var, hər birindən ətraflı təhlil üçün Vahid Metrik görünüşünə keçə bilərsiniz.
Əhali
Fərqli ölçülər arasında korrelyasiya arasında anomaliyaları axtarmaq üçün Elastik Yığın xüsusi Əhali təhlilinə malikdir. Məhz bunun köməyi ilə, məsələn, hədəf sistemə müraciətlərin sayı artdıqda, qalanları ilə müqayisədə bir serverin performansında anormal dəyərlər axtarmaq olar.
Bu təsvirdə Əhali sahəsi təhlil edilən göstəricilərin istinad edəcəyi dəyəri göstərir. Bu vəziyyətdə prosesin adı belədir. Nəticədə, proseslərin hər birinin prosessor yükünün bir-birinə necə təsir etdiyini görəcəyik.
Nəzərə alın ki, təhlil edilən məlumatların sxemi Tək Metrik və Çox Metrikli hallardan fərqlidir. Bu, təhlil edilən məlumatların dəyərlərinin paylanmasının qavranılmasını yaxşılaşdırmaq üçün dizaynla Kibanada edilir.
Qrafik prosesin anormal şəkildə getdiyini göstərir vurğu (yeri gəlmişkən, xüsusi bir yardım proqramı tərəfindən yaradılan) serverdə poipu, bu anomaliyanın baş verməsinə təsir edən (və ya təsir edən olduğu ortaya çıxdı).
Qabaqcıl
İncə tənzimləmə ilə analitika. Kibana'da Qabaqcıl təhlil ilə əlavə parametrlər görünür. Yaratma menyusunda Qabaqcıl kafel üzərinə kliklədikdən sonra aşağıdakı sekmeli pəncərə görünür. nişanı iş detallarını göstər qəsdən atlandı, təhlilin qurulması ilə birbaşa əlaqəli olmayan əsas parametrlər var.
В xülasə_sayı_sahə_adı isteğe bağlı olaraq, toplanmış dəyərləri ehtiva edən sənədlərdən sahənin adını təyin edə bilərsiniz. Bu nümunədə dəqiqədə hadisələrin sayı. IN bəzi dəyişən dəyəri olan sənəddən sahənin dəyərinin adını müəyyən edir. Bu sahədəki maska ilə təhlil edilən məlumatları alt qruplara bölmək olar. Düyməyə diqqət yetirin Detektor əlavə edin əvvəlki illüstrasiyada. Aşağıda bu düyməni klikləməyin nəticəsidir.
Budur, müəyyən bir tapşırıq üçün anomaliya detektorunun qurulması üçün əlavə parametrlər bloku. Növbəti məqalələrdə xüsusi istifadə hallarını (xüsusilə də təhlükəsizlik hallarını) təhlil etməyi planlaşdırırıq. Misal üçün, nümunə araşdırmalarından biridir. Bu, nadir hallarda baş verən dəyərlərin axtarışı ilə əlaqələndirilir və həyata keçirilir .
sahəsində funksiyası anomaliyaları axtarmaq üçün xüsusi funksiya seçə bilərsiniz. İstisna nadir, bir neçə maraqlı funksiya var - . Onlar müvafiq olaraq gün və ya həftə ərzində ölçülərin davranışında anomaliyaları aşkar edirlər. Digər Analiz Funksiyaları .
В sahə adı təhlilin aparılacağı sənədin sahəsi göstərilir. Sahənin_adı ilə burada göstərilən sənəd sahəsinin hər bir fərdi dəyəri üçün təhlil nəticələrini ayırmaq üçün istifadə edilə bilər. doldurarsa sahənin_adı yuxarıda nəzərdən keçirdiyimiz populyasiya təhlilini alırıq. -də bir dəyər təyin etsəniz bölmə_sahəsinin_adı, sonra sənədin bu sahəsi üçün hər bir dəyər üçün ayrıca baza xətləri hesablanacaq (məsələn, serverin adı və ya serverdəki proses dəyər kimi çıxış edə bilər). IN istisna_tez-tez seçə bilərsiniz hər və ya heç kim, bu, tez-tez baş verən sənəd sahəsi dəyərlərinin xaric edilməsi (və ya daxil edilməsi) deməkdir.
Məqalədə biz Elastic Stack-də maşın öyrənmə imkanları haqqında ən qısa fikir verməyə çalışdıq, pərdə arxasında hələ də çoxlu təfərrüatlar var. Elastic Stack-in köməyi ilə hansı halları həll edə bildiyinizi və ondan hansı tapşırıqlar üçün istifadə etdiyinizi şərhlərdə bizə bildirin. Bizimlə əlaqə saxlamaq üçün Habré və ya şəxsi mesajlardan istifadə edə bilərsiniz .
Mənbə: www.habr.com