Подсетимо се да је Еластиц Стацк заснован на нерелационој бази података Еластицсеарцх, веб интерфејсу Кибана и колекторима и процесорима података (најпознатији Логстасх, разни Беатс, АПМ и други). Један од лепих додатака целом наведеном стеку производа је анализа података помоћу алгоритама машинског учења. У чланку разумемо шта су ови алгоритми. Молимо под кат.
Машинско учење је плаћена карактеристика схареваре Еластиц Стацк-а и укључена је у Кс-Пацк. Да бисте почели да га користите, само активирајте 30-дневну пробну верзију након инсталације. Након што пробни период истекне, можете затражити подршку за продужење или купити претплату. Цена претплате се не обрачунава на основу количине података, већ на основу броја коришћених чворова. Не, обим података, наравно, утиче на број потребних чворова, али је ипак овакав приступ лиценцирању хуманији у односу на буџет компаније. Ако нема потребе за високом продуктивношћу, можете уштедети новац.
МЛ у Еластиц Стацк-у је написан у Ц++-у и ради изван ЈВМ-а, у којем се покреће и сам Еластицсеарцх. То јест, процес (успут речено, зове се аутодетецт) троши све што ЈВМ не прогута. На демо штанду ово није толико критично, али у производном окружењу важно је доделити одвојене чворове за МЛ задатке.
Алгоритми машинског учења спадају у две категорије − и . У еластичном стеку, алгоритам је у категорији „ненадгледаних“. Од стране Можете видети математички апарат алгоритама машинског учења.
Да би извршио анализу, алгоритам машинског учења користи податке ускладиштене у Еластицсеарцх индексима. Задатке за анализу можете креирати и из Кибана интерфејса и преко АПИ-ја. Ако то радите преко Кибане, онда не морате да знате неке ствари. На пример, додатни индекси које алгоритам користи током свог рада.
Додатни индекси који се користе у процесу анализе.мл-стате — информације о статистичким моделима (подешавања анализе);
.мл-аномалиес-* — резултати МЛ алгоритама;
.мл-нотифицатионс — подешавања за обавештења на основу резултата анализе.
Структуру података у бази података Еластицсеарцх чине индекси и документи који се чувају у њима. Када се упореди са релационом базом података, индекс се може упоредити са шемом базе података, а документ са записом у табели. Ово поређење је условно и предвиђено је да поједностави разумевање даљег материјала за оне који су само чули за Еластицсеарцх.
Иста функционалност је доступна преко АПИ-ја као и преко веб интерфејса, па ћемо због јасноће и разумевања концепата показати како да је конфигуришемо преко Кибане. У менију са леве стране налази се одељак Машинско учење где можете да креирате нови посао. У интерфејсу Кибана изгледа као на слици испод. Сада ћемо анализирати сваку врсту задатка и показати врсте анализе које се овде могу конструисати.
Сингле Метриц - анализа једне метрике, Мулти Метриц - анализа две или више метрика. У оба случаја, свака метрика се анализира у изолованом окружењу, тј. алгоритам не узима у обзир понашање паралелно анализираних метрика, као што би могло изгледати у случају Мулти Метриц. Да бисте извршили прорачуне узимајући у обзир корелацију различитих метрика, можете користити анализу становништва. А Адванцед фино подешава алгоритме са додатним опцијама за одређене задатке.
Сингле Метриц
Анализа промена у једном једином показатељу је најједноставнија ствар која се овде може урадити. Након што кликнете на Креирај посао, алгоритам ће тражити аномалије.
У пољу Агрегација можете изабрати приступ тражењу аномалија. На пример, када Минимална вредности испод типичних вредности ће се сматрати аномалним. Једи Макс, Висока средња, Ниска, Средња, Изразита и други. Описи свих функција се могу наћи .
У пољу Поље означава нумеричко поље у документу на којем ћемо вршити анализу.
У пољу — грануларност интервала на временској линији дуж које ће се вршити анализа. Можете веровати аутоматизацији или одабрати ручно. Слика испод је пример прениске грануларности - можда ћете пропустити аномалију. Користећи ову поставку, можете променити осетљивост алгоритма на аномалије.
Трајање прикупљених података је кључна ствар која утиче на ефикасност анализе. Током анализе, алгоритам идентификује понављајуће интервале, израчунава интервале поверења (основне вредности) и идентификује аномалије – атипична одступања од уобичајеног понашања метрике. Само на пример:
Основне основе са малим делом података:
Када алгоритам има од чега да научи, основна линија изгледа овако:
Након покретања задатка, алгоритам утврђује аномална одступања од норме и рангира их према вероватноћи аномалије (боја одговарајуће ознаке је назначена у загради):
Упозорење (плаво): мање од 25
Минор (жути): 25-50
Мајор (наранџасти): 50-75
Критично (црвено): 75-100
Графикон испод приказује пример пронађених аномалија.
Овде можете видети број 94, који указује на вероватноћу аномалије. Јасно је да пошто је вредност близу 100, то значи да имамо аномалију. Колона испод графикона показује пежоративно малу вероватноћу од 0.000063634% метричке вредности која се тамо појављује.
Поред тражења аномалија, можете покренути прогнозу у Кибани. Ово се ради једноставно и из истог погледа са аномалијама - дугме Прогноза у горњем десном углу.
Прогноза се прави за највише 8 недеља унапред. Чак и ако заиста желите, то више није могуће по дизајну.
У неким ситуацијама, прогноза ће бити веома корисна, на пример, када се прати оптерећење корисника на инфраструктури.
Мулти Метриц
Пређимо на следећу МЛ функцију у Еластиц Стацк-у - анализирање неколико метрика у једној групи. Али то не значи да ће се анализирати зависност једне метрике од друге. Ово је исто као и једна метрика, али са више метрика на једном екрану ради лакшег поређења утицаја једне на другу. Говорићемо о анализи зависности једне метрике од друге у одељку Популација.
Након клика на квадрат са вишеструким метриком, појавиће се прозор са подешавањима. Погледајмо их детаљније.
Прво треба да изаберете поља за анализу и агрегацију података о њима. Опције агрегације овде су исте као за једну метрику (Макс, Висока средња, Ниска, Средња, Изразита и други). Даље, по жељи, подаци се деле у једно од поља (пољ Сплит Дата). У примеру смо то урадили по пољу ОригинАирпортИД. Приметите да је графикон метрика са десне стране сада представљен као више графикона.
Поље Кључна поља (инфлуенцери) директно утиче на откривене аномалије. Подразумевано ће увек бити бар једна вредност овде, а можете додати додатне. Алгоритам ће узети у обзир утицај ових поља приликом анализе и показати најутицајније вредности.
Након покретања, овако нешто ће се појавити у интерфејсу Кибана.
Ово је тзв топлотна карта аномалија за сваку вредност поља ОригинАирпортИД, што смо навели у Сплит Дата. Као и код Сингле Метриц, боја означава ниво абнормалног одступања. Погодно је урадити сличну анализу, на пример, на радним станицама за праћење оних са сумњиво великим бројем овлашћења итд. Већ смо писали , који се такође овде може прикупити и анализирати.
Испод топлотне мапе налази се листа аномалија, од којих можете да пређете на једноструки приказ за детаљну анализу.
становништво
Да би потражио аномалије међу корелацијама између различитих метрика, Еластиц Стацк има специјализовану анализу становништва. Уз његову помоћ можете тражити аномалне вредности у перформансама сервера у поређењу са другима када се, на пример, повећа број захтева према циљном систему.
На овој илустрацији, поље Популација означава вредност на коју ће се односити анализирани показатељи. У овом случају то је назив процеса. Као резултат тога, видећемо како је оптерећење процесора сваког процеса утицало једни на друге.
Имајте на уму да се графикон анализираних података разликује од случајева са једном метриком и више метриком. Ово је урађено у Кибани дизајном ради побољшане перцепције дистрибуције вредности анализираних података.
Графикон показује да се процес понашао ненормално стрес (успут, генерисан посебним услужним програмом) на серверу поипу, који је утицао (или се показао као инфлуенсер) на појаву ове аномалије.
Напредан
Аналитика са финим подешавањем. Уз напредну анализу, додатна подешавања се појављују у Кибани. Након што кликнете на плочицу Напредно у менију за креирање, појављује се овај прозор са картицама. Таб детаље о послу Намерно смо то прескочили, постоје основна подешавања која нису директно повезана са подешавањем анализе.
В суммари_цоунт_фиелд_наме Опционо, можете навести име поља из докумената који садрже агрегиране вредности. У овом примеру, број догађаја у минути. ИН означава назив и вредност поља из документа које садржи неку вредност променљиве. Користећи маску на овом пољу, можете поделити анализиране податке на подскупове. Обратите пажњу на дугме Додајте детектор у претходној илустрацији. Испод је резултат клика на ово дугме.
Ево додатног блока подешавања за конфигурисање детектора аномалија за одређени задатак. Планирамо да разговарамо о специфичним случајевима употребе (нарочито о безбедносним) у следећим чланцима. На пример, један од растављених кућишта. Повезан је са потрагом за вредностима које се ретко појављују и имплементиран .
У пољу функција Можете да изаберете одређену функцију за тражење аномалија. Осим редак, има још пар занимљивих функција - . Они идентификују аномалије у понашању метрике током дана или недеље, респективно. Друге функције анализе .
В Име поља означава поље документа на којем ће се вршити анализа. Би_фиелд_наме може се користити за раздвајање резултата анализе за сваку појединачну вредност поља документа наведеног овде. Ако попуните овер_фиелд_наме добијате анализу становништва о којој смо горе говорили. Ако наведете вредност у партитион_фиелд_наме, тада ће се за ово поље документа израчунати одвојене основне линије за сваку вредност (вредност може бити, на пример, име сервера или процеса на серверу). ИН екцлуде_фрекуент могу изабрати све или ниједан, што ће значити искључивање (или укључивање) вредности поља документа које се често појављују.
У овом чланку покушали смо да дамо што језгровитију идеју о могућностима машинског учења у Еластиц Стацк-у; још увек је много детаља остало иза кулиса. Реците нам у коментарима које случајеве сте успели да решите користећи Еластиц Стацк и за које задатке га користите. Да бисте нас контактирали, можете користити личне поруке на Хабре или .
Извор: ввв.хабр.цом