Ёдовар мешавем, ки Elastic Stack ба махзани ғайрирасмии Elasticsearch, веб-интерфейси Kibana ва коллекторҳо ва коркардкунандагони маълумот (маълумтарин Logstash, Beats гуногун, APM ва ғайра) асос ёфтааст. Яке аз иловаҳои хуб ба тамоми анбори маҳсулоти номбаршуда таҳлили додаҳо бо истифода аз алгоритмҳои омӯзиши мошин мебошад. Дар мақола мо мефаҳмем, ки ин алгоритмҳо чист. Лутфан дар зери гурба.
Омӯзиши мошинсозӣ як хусусияти пулакии нармафзори Shareware Elastic Stack мебошад ва ба X-Pack дохил карда шудааст. Барои оғози истифодаи он, танҳо пас аз насб озмоиши 30-рӯзаро фаъол созед. Пас аз ба итмом расидани мӯҳлати озмоиш, шумо метавонед барои тамдиди он ё харидани обуна дастгирӣ дархост кунед. Арзиши обуна на аз рӯи ҳаҷми маълумот, балки аз рӯи шумораи гиреҳҳои истифодашуда ҳисоб карда мешавад. Не, ҳаҷми маълумот, албатта, ба шумораи гиреҳҳои зарурӣ таъсир мерасонад, аммо ба ҳар ҳол ин равиш ба иҷозатномадиҳӣ нисбат ба буҷаи ширкат бештар инсондӯстона аст. Агар ба хосилнокии баланди мехнат лозим набошад, шумо метавонед пулро сарфа кунед.
ML дар Stack Elastic дар C++ навишта шудааст ва берун аз JVM кор мекунад, ки дар он худи Elasticsearch кор мекунад. Яъне, раванд (дар омади гап, он autodetect номида мешавад) ҳама чизеро, ки JVM фурӯ намебарад, истеъмол мекунад. Дар стенди намоишӣ ин он қадар муҳим нест, аммо дар муҳити истеҳсолӣ барои вазифаҳои ML ҷудо кардани гиреҳҳои алоҳида муҳим аст.
Алгоритмҳои омӯзиши мошинсозӣ ба ду категория тақсим мешаванд - и . Дар Elastic Stack, алгоритм дар категорияи "назоратнашаванда" ҷойгир аст. Аз ҷониби Шумо метавонед дастгоҳи математикии алгоритмҳои омӯзиши мошинро бинед.
Барои анҷом додани таҳлил, алгоритми омӯзиши мошин маълумотеро истифода мебарад, ки дар индексҳои Elasticsearch ҳифз шудаанд. Шумо метавонед вазифаҳоро барои таҳлил ҳам аз интерфейси Kibana ва ҳам тавассути API эҷод кунед. Агар шумо ин корро тавассути Кибана кунед, пас ба шумо лозим нест, ки баъзе чизҳоро бидонед. Масалан, индексҳои иловагӣ, ки алгоритм ҳангоми кораш истифода мебарад.
Индексҳои иловагӣ, ки дар раванди таҳлил истифода мешаванд.ml-state — маълумот дар бораи моделҳои оморӣ (танзимоти таҳлил);
.мл-аномалия-* — натичахои алгоритмхои ML;
.ml-notifications — танзимоти огоҳиномаҳо дар асоси натиҷаҳои таҳлил.
Сохтори додаҳо дар пойгоҳи додаҳои Elasticsearch аз индексҳо ва ҳуҷҷатҳои дар онҳо захирашуда иборат аст. Ҳангоми муқоиса бо пойгоҳи додаҳои релятсионӣ, индексро бо схемаи пойгоҳи додаҳо ва ҳуҷҷатро бо сабти ҷадвал муқоиса кардан мумкин аст. Ин муқоиса шартӣ буда, барои содда кардани фаҳмиши маводи минбаъда барои онҳое, ки танҳо дар бораи Elasticsearch шунидаанд, пешбинӣ шудааст.
Ҳамин функсия тавассути API дастрас аст, ба монанди интерфейси веб, аз ин рӯ барои возеҳӣ ва фаҳмиши мафҳумҳо мо нишон медиҳем, ки чӣ тавр онро тавассути Kibana танзим кунем. Дар менюи чап қисми омӯзиши мошинсозӣ мавҷуд аст, ки дар он шумо метавонед кори нав эҷод кунед. Дар интерфейси Кибана он ба тасвири зер монанд аст. Ҳоло мо ҳар як намуди вазифаро таҳлил мекунем ва намудҳои таҳлилеро, ки дар ин ҷо сохтан мумкин аст, нишон медиҳем.
Метрики ягона - таҳлили як метрика, Мултиметрӣ - таҳлили ду ё зиёда метрика. Дар ҳарду ҳолат, ҳар як нишондиҳанда дар муҳити ҷудошуда таҳлил карда мешавад, яъне. алгоритм рафтори метрикаи параллелӣ таҳлилшударо ба назар намегирад, зеро он метавонад дар мавриди Multi Metric ба назар мерасад. Барои анҷом додани ҳисобҳо бо назардошти таносуби ченакҳои гуногун, шумо метавонед таҳлили популятсияро истифода баред. Ва Advanced алгоритмҳоро бо имконоти иловагӣ барои вазифаҳои муайян танзим мекунад.
Метрики ягона
Таҳлили тағирот дар як метрика соддатарин корест, ки дар ин ҷо анҷом дода мешавад. Пас аз пахш кардани Эҷоди кор, алгоритм аномалияҳоро ҷустуҷӯ мекунад.
Дар соҳаи Ҷамъоварӣ шумо метавонед равиши ҷустуҷӯи аномалияҳоро интихоб кунед. Масалан, кай Min арзишҳои аз арзишҳои маъмулӣ камтар аномалӣ ҳисобида мешаванд. Бихӯред Макс, Миёнаи баланд, паст, миёна, фарқкунанда ва дигарон. Тавсифи ҳамаи функсияҳоро ёфтан мумкин аст .
Дар соҳаи соҳа майдони рақамиро дар ҳуҷҷате, ки мо дар он таҳлил мегузаронем, нишон медиҳад.
Дар соҳаи — гранулияти фосилаҳо дар ҷадвали вақт, ки дар он таҳлил гузаронида мешавад. Шумо метавонед ба автоматизатсия эътимод кунед ё дастӣ интихоб кунед. Тасвири дар поён овардашуда намунаи хеле паст будани гранулятсия аст - шумо метавонед аномалияро аз даст диҳед. Бо истифода аз ин танзимот, шумо метавонед ҳассосияти алгоритмро ба аномалияҳо тағир диҳед.
Давомнокии маълумоти ҷамъоварӣ як чизи асосӣест, ки ба самаранокии таҳлил таъсир мерасонад. Ҳангоми таҳлил, алгоритм фосилаҳои такрориро муайян мекунад, фосилаҳои эътимодро (базавӣ) ҳисоб мекунад ва аномалияҳо - инҳирофоти атипиро аз рафтори муқаррарии метрика муайян мекунад. Барои мисол:
Асосҳо бо як пораи хурди маълумот:
Вақте ки алгоритм чизе барои омӯхтан дорад, хатти асосӣ чунин менамояд:
Пас аз оғози кор, алгоритм инҳирофҳои аномалияро аз меъёр муайян мекунад ва онҳоро аз рӯи эҳтимолияти аномалия гурӯҳбандӣ мекунад (ранги тамғаи мувофиқ дар қавс нишон дода шудааст):
Огоҳӣ (кабуд): камтар аз 25
Минор (зард): 25-50
Майор (апельсин): 50-75
Интиқодӣ (сурх): 75-100
Графикаи зер намунаи аномалияҳои пайдошударо нишон медиҳад.
Дар ин ҷо шумо рақами 94-ро мебинед, ки эҳтимолияти аномалияро нишон медиҳад. Маълум аст, ки азбаски арзиш ба 100 наздик аст, ин маънои онро дорад, ки мо як аномалия дорем. Сутуни поёни график эҳтимолияти хеле хурди 0.000063634% арзиши метриро нишон медиҳад, ки дар он ҷо пайдо мешавад.
Илова ба ҷустуҷӯи аномалияҳо, шумо метавонед дар Кибана пешгӯиро иҷро кунед. Ин содда ва аз як намуди бо аномалия - тугма анҷом дода мешавад Обу дар кунҷи рости боло.
Пешгӯӣ барои ҳадди аксар 8 ҳафта пешакӣ тартиб дода мешавад. Ҳатто агар шумо дар ҳақиқат мехоҳед, он дигар аз рӯи тарҳ имконнопазир аст.
Дар баъзе ҳолатҳо, пешгӯӣ хеле муфид хоҳад буд, масалан, ҳангоми мониторинги сарбории корбарон ба инфрасохтор.
Мултиметрӣ
Биёед ба хусусияти навбатии ML дар Elastic Stack гузарем - таҳлили якчанд метрика дар як партия. Аммо ин маънои онро надорад, ки вобастагии як метрика ба дигараш таҳлил карда мешавад. Ин ҳамон як метри ягона аст, аммо бо ченакҳои сершумор дар як экран барои муқоисаи осони таъсири як ба дигараш. Мо дар бораи таҳлили вобастагии як метрика аз дигараш дар бахши Аҳолӣ сӯҳбат хоҳем кард.
Пас аз пахш кардани майдон бо Multi Metric, равзанаи танзимот пайдо мешавад. Биёед онҳоро муфассалтар дида бароем.
Аввал шумо бояд майдонҳоро барои таҳлил ва ҷамъоварии маълумот дар онҳо интихоб кунед. Имкониятҳои ҷамъоварӣ дар ин ҷо ҳамон тавре ки барои Метри ягона (Макс, Миёнаи баланд, паст, миёна, фарқкунанда ва дигарон). Ғайр аз он, агар хоҳед, маълумот ба яке аз майдонҳо тақсим карда мешавад (майдон Тақсим кардани маълумот). Дар мисол, мо инро аз рӯи майдон анҷом додем OriginAirportID. Аҳамият диҳед, ки графи ченакҳо дар тарафи рост ҳоло ҳамчун графикҳои сершумор пешниҳод карда мешаванд.
соҳа Майдонҳои асосӣ (таъсиркунандагон) ба аномалияхои ошкоршуда бевосита таъсир мерасонад. Бо нобаёнӣ дар ин ҷо ҳамеша ҳадди аққал як арзиш хоҳад буд ва шумо метавонед арзишҳои иловагӣ илова кунед. Алгоритм ҳангоми таҳлил таъсири ин соҳаҳоро ба назар гирифта, арзишҳои «таъсирбахш»-ро нишон медиҳад.
Пас аз оғоз, чизе монанди ин дар интерфейси Kibana пайдо мешавад.
Ин ба ном аст харитаи гармии аномалияҳо барои ҳар як арзиши майдон OriginAirportID, ки мо дар он нишон додем Тақсим кардани маълумот. Мисли Metric Single, ранг сатҳи инҳирофоти ғайримуқаррариро нишон медиҳад. Гузаронидани таҳлили шабеҳ қулай аст, масалан, дар истгоҳҳои корӣ барои пайгирии онҳое, ки дорои шумораи шубҳаноки зиёди иҷозатҳо ва ғайра мебошанд. Мо аллакай навишта будем , ки онро низ дар ин ҷо ҷамъоварӣ ва таҳлил кардан мумкин аст.
Дар зер харитаи гармӣ рӯйхати аномалияҳо мавҷуд аст, ки аз ҳар як шумо метавонед барои таҳлили муфассал ба намуди ягонаи метрӣ гузаред.
Аҳолӣ
Барои ҷустуҷӯи аномалияҳо дар байни таносуби байни ченакҳои гуногун, Elastic Stack таҳлили махсуси популятсия дорад. Маҳз бо кӯмаки он шумо метавонед арзишҳои ғайриоддӣ дар кори серверро дар муқоиса бо дигарон ҷустуҷӯ кунед, вақте ки масалан, шумораи дархостҳо ба системаи мақсаднок зиёд мешавад.
Дар ин тасвир, майдони Аҳолӣ арзишеро нишон медиҳад, ки ченакҳои таҳлилшуда ба он марбут хоҳанд буд. Дар ин ҳолат номи раванд аст. Дар натиҷа, мо мебинем, ки чӣ гуна сарбории протсессори ҳар як раванд ба ҳамдигар таъсир расонд.
Лутфан таваҷҷӯҳ намоед, ки графики маълумотҳои таҳлилшуда аз ҳолатҳои як метрӣ ва бисёрметрӣ фарқ мекунад. Ин дар Кибана бо тарҳрезӣ барои дарки беҳтари тақсимоти арзишҳои маълумоти таҳлилшуда анҷом дода шудааст.
График нишон медиҳад, ки ин раванд ғайримуқаррарӣ буд стресс (дар омади гап, аз ҷониби як утилитаи махсус тавлидшуда) дар сервер поипу, ки ба пайдоиши ин аномалия таъсир расонидааст (ё таъсиркунанда табдил ёфт).
Advanced
Таҳлил бо танзими дақиқ. Бо таҳлили Advanced, танзимоти иловагӣ дар Кибана пайдо мешаванд. Пас аз пахш кардани лавҳаи Advanced дар менюи эҷод, ин равзанаи дорои ҷадвалҳо пайдо мешавад. Таб Тафсилоти кор Мо онро қасдан гузаронидем, танзимоти асосӣ мавҷуданд, ки мустақиман ба танзими таҳлил алоқаманд нестанд.
В ҷамъбасти_шумораи_майдони_ном Ихтиёрӣ, шумо метавонед номи майдонро аз ҳуҷҷатҳои дорои арзишҳои ҷамъшуда муайян кунед. Дар ин мисол, шумораи ҳодисаҳо дар як дақиқа. ДАР ном ва арзиши майдонро аз ҳуҷҷате, ки дорои арзиши тағирёбанда аст, нишон медиҳад. Бо истифода аз ниқоб дар ин майдон, шумо метавонед маълумоти таҳлилшударо ба зергурӯҳҳо тақсим кунед. Ба тугма диққат диҳед Илова кардани детектор дар тасвири қаблӣ. Дар зер натиҷаи зеркунии ин тугма оварда шудааст.
Дар ин ҷо як блоки иловагии танзимот барои танзими детектори аномалия барои вазифаи мушаххас аст. Мо нақша дорем, ки дар мақолаҳои зерин ҳолатҳои мушаххаси истифода (махсусан бехатарӣ) -ро муҳокима кунем. Барои намуна, яке аз ҳолатҳои ҷудошуда. Он бо ҷустуҷӯи арзишҳои камназир алоқаманд аст ва амалӣ карда мешавад .
Дар соҳаи функсия Шумо метавонед вазифаи мушаххасро барои ҷустуҷӯи аномалия интихоб кунед. Ба истиснои камёб, якчанд функсияҳои ҷолиби дигар мавҷуданд - . Онҳо мутаносибан аномалияҳоро дар рафтори метрика дар давоми рӯз ё ҳафта муайян мекунанд. Дигар вазифаҳои таҳлил .
В майдон_ном майдони ҳуҷҷатеро, ки дар он таҳлил гузаронида мешавад, нишон медиҳад. Номи_майдон метавонад барои ҷудо кардани натиҷаҳои таҳлил барои ҳар як арзиши инфиродии майдони ҳуҷҷати дар ин ҷо зикршуда истифода шавад. Агар пур кунед болои_майдон_ном шумо таҳлили аҳолиро мегиред, ки мо дар боло муҳокима кардем. Агар шумо арзишеро дар номи partition_майдон, пас барои ин майдони ҳуҷҷат барои ҳар як арзиш хатҳои алоҳидаи асосӣ ҳисоб карда мешаванд (арзиш метавонад, масалан, номи сервер ё раванд дар сервер бошад). ДАР истисно_кардан интихоб карда метавонад ҳама ё ҳеҷ, ки маънои истисно кардан (ё дохил кардан) арзишҳои майдони ҳуҷҷати зуд-зуд рухдодаро дорад.
Дар ин мақола, мо кӯшиш кардем, ки то ҳадди имкон дар бораи имкониятҳои омӯзиши мошинсозӣ дар Elastic Stack тасаввуроти мухтасар диҳем; то ҳол дар паси парда тафсилоти зиёде боқӣ мондааст. Дар шарҳҳо ба мо бигӯед, ки шумо бо истифода аз Elastic Stack кадом ҳолатҳоро ҳал кардаед ва шумо онро барои кадом вазифаҳо истифода мебаред. Барои тамос бо мо, шумо метавонед паёмҳои шахсӣ дар Habré ё истифода баред .
Манбаъ: will.com