Тражимо аномалије и предвиђамо кварове користећи неуронске мреже

Индустријски развој софтверских система захтева велику пажњу на толеранцију грешака финалног производа, као и брзу реакцију на кварове и кварове уколико до њих дође. Праћење, наравно, помаже да се ефикасније и брже одговори на неуспехе и неуспехе, али не довољно. Прво, веома је тешко пратити велики број сервера - потребан је велики број људи. Друго, морате добро разумети како апликација функционише да бисте предвидели њено стање. Због тога нам је потребно много људи који добро разумеју системе које развијамо, њихове перформансе и карактеристике. Претпоставимо да чак и ако нађете довољно људи вољних да то ураде, и даље је потребно много времена да их обучите.

Шта да радим? Ту нам у помоћ долази вештачка интелигенција. Чланак ће говорити о предиктивно одржавање (предвиђено одржавање). Овај приступ активно добија на популарности. Написан је велики број чланака, укључујући и на Хабре. Велике компаније у потпуности користе овај приступ како би одржале перформансе својих сервера. Након проучавања великог броја чланака, одлучили смо да испробамо овај приступ. Шта је из тога произашло?

Увод

Развијени софтверски систем пре или касније почиње да ради. За корисника је важно да систем ради без кварова. Ако дође до хитног случаја, треба га решити са минималним одлагањем.

Да би се поједноставила техничка подршка софтверског система, посебно ако постоји много сервера, обично се користе програми за надгледање који узимају метрику од покренутог софтверског система, омогућавају дијагнозу његовог стања и помажу да се утврди шта је тачно узроковало квар. Овај процес се назива праћење софтверског система.

Слика 1. Графана интерфејс за праћење

Метрике су различити индикатори софтверског система, његовог окружења за извршавање или физичког рачунара под којим систем ради са временском ознаком тренутка када су метрике примљене. У статичкој анализи, ове метрике се називају временске серије. За праћење стања софтверског система, метрике се приказују у облику графикона: време је на Кс оси, а вредности су дуж И осе (Слика 1). Неколико хиљада метрика може се узети из покренутог софтверског система (са сваког чвора). Они чине простор метрике (мултидимензионалне временске серије).

Пошто се велики број метрика прикупља за сложене софтверске системе, ручно праћење постаје тежак задатак. Да би се смањила количина података које анализира администратор, алати за праћење садрже алате за аутоматско идентификовање могућих проблема. На пример, можете да конфигуришете окидач да се активира када слободни простор на диску падне испод одређеног прага. Такође можете аутоматски дијагностиковати гашење сервера или критично успоравање брзине услуге. У пракси, алати за праћење обављају добар посао у откривању кварова који су се већ десили или идентификацији једноставних симптома будућих кварова, али генерално, предвиђање могућег квара остаје тврд орах за њих. Предвиђање путем ручне анализе метрике захтева укључивање квалификованих стручњака. Ниска је продуктивност. Већина потенцијалних неуспеха може проћи непримећено.

У последње време, такозвано предиктивно одржавање софтверских система постаје све популарније међу великим компанијама за развој ИТ софтвера. Суштина овог приступа је да се помоћу вештачке интелигенције пронађу проблеми који доводе до деградације система у раним фазама, пре него што он пропадне. Овај приступ не искључује у потпуности ручно праћење система. Она је помоћна за процес праћења у целини.

Главни алат за имплементацију предиктивног одржавања је задатак тражења аномалија у временским серијама, пошто када се појави аномалија у подацима постоји велика вероватноћа да ће после неког времена доћи ће до неуспеха или неуспеха. Аномалија је одређено одступање у перформансама софтверског система, као што је идентификовање деградације у брзини извршавања једне врсте захтева или смањење просечног броја сервисираних захтева на константном нивоу сесија клијента.

Задатак тражења аномалија за софтверске системе има своје специфичности. У теорији, за сваки софтверски систем је потребно развити или усавршити постојеће методе, пошто је тражење аномалија веома зависно од података у којима се врши, а подаци софтверских система веома варирају у зависности од алата за имплементацију система. , све до тога на ком рачунару ради.

Методе тражења аномалија при предвиђању кварова софтверских система

Пре свега, вреди рећи да је идеја предвиђања неуспеха инспирисана чланком „Машинско учење у ИТ надгледању“. За тестирање ефикасности приступа са аутоматском претрагом аномалија изабран је софтверски систем Веб-Цонсолидатион, који је један од пројеката компаније НПО Криста. Раније је за њега вршено ручно праћење на основу примљених метрика. Пошто је систем прилично сложен, за њега се узима велики број метрика: ЈВМ индикатори (оптерећење сакупљача смећа), индикатори ОС под којим се код извршава (виртуелна меморија, % ОС ЦПУ оптерећење), мрежни индикатори (оптерећење мреже ), сам сервер (оптерећење процесора, меморија), метрике дивљих муха и сопствене метрике апликације за све критичне подсистеме.

Све метрике су преузете из система помоћу графита. У почетку је шапат база података коришћена као стандардно решење за графану, али како је база клијената расла, графит више није могао да се носи, пошто је исцрпио капацитет подсистема ДЦ диска. Након овога, одлучено је да се пронађе ефикасније решење. Избор је направљен у корист графит+кликхаус, што је омогућило смањење оптерећења на подсистему диска за ред величине и смањење заузетог простора на диску за пет до шест пута. Испод је дијаграм механизма за прикупљање метрике коришћењем графит+кликхаус (слика 2).

Слика 2. Шема за прикупљање метрике

Дијаграм је преузет из интерне документације. Показује комуникацију између графане (УИ за праћење који користимо) и графита. Уклањање метрике из апликације се врши посебним софтвером - јмктранс. Ставља их у графит.
Систем Веб Цонсолидатион има бројне карактеристике које стварају проблеме за предвиђање грешака:

1. Тренд се често мења. Доступне су различите верзије за овај софтверски систем. Сваки од њих доноси промене у софтверском делу система. Сходно томе, на овај начин програмери директно утичу на метрику датог система и могу изазвати промену тренда;
2. карактеристика имплементације, као и сврхе за које клијенти користе овај систем, често изазивају аномалије без претходне деградације;
3. проценат аномалија у односу на цео скуп података је мали (< 5%);
4. Могу постојати празнине у пријему индикатора из система. У неким кратким периодима, систем за праћење не успева да добије метрику. На пример, ако је сервер преоптерећен. Ово је кључно за обуку неуронске мреже. Постоји потреба да се празнине попуне синтетички;
5. Случајеви са аномалијама су често релевантни само за одређени датум/месец/време (сезонско). Овај систем има јасне прописе за његову употребу од стране корисника. Сходно томе, метрике су релевантне само за одређено време. Систем се не може користити стално, већ само у неколико месеци: селективно у зависности од године. Настају ситуације када исто понашање метрике у једном случају може довести до квара софтверског система, али не и у другом.
   За почетак су анализиране методе за откривање аномалија у праћењу података софтверских система. У чланцима на ову тему, када је проценат аномалија мали у односу на остатак скупа података, најчешће се предлаже коришћење неуронских мрежа.

Основна логика за тражење аномалија помоћу података неуронске мреже приказана је на слици 3:

Слика 3. Тражење аномалија помоћу неуронске мреже

На основу резултата прогнозе или рестаурације прозора тренутног тока метрике, израчунава се одступање од оног примљеног од покренутог софтверског система. Ако постоји велика разлика између метрика добијених из софтверског система и неуронске мреже, можемо закључити да је тренутни сегмент података аномалан. Следећи низ проблема јавља се при употреби неуронских мрежа:

1. да би исправно функционисали у режиму стримовања, подаци за обуку модела неуронске мреже морају укључивати само „нормалне“ податке;
2. неопходно је имати ажуран модел за исправну детекцију. Промена трендова и сезонског карактера у метрикама може изазвати велики број лажних позитивних резултата у моделу. Да бисте га ажурирали, потребно је јасно одредити време када је модел застарео. Ако ажурирате модел касније или раније, онда ће, највероватније, уследити велики број лажних позитивних резултата.
   Такође не смемо заборавити на тражење и спречавање честе појаве лажних позитивних резултата. Претпоставља се да ће се најчешће јављати у ванредним ситуацијама. Међутим, они такође могу бити последица грешке неуронске мреже због недовољне обуке. Неопходно је минимизирати број лажних позитивних резултата модела. У супротном, лажна предвиђања ће изгубити много времена администратора намењеног провери система. Пре или касније администратор ће једноставно престати да реагује на „параноични“ систем за праћење.

Рекурентна неуронска мрежа

Да бисте открили аномалије у временским серијама, можете користити рекурентна неуронска мрежа са ЛСТМ меморијом. Једини проблем је што се може користити само за прогнозиране временске серије. У нашем случају, нису сви показатељи предвидљиви. Покушај примене РНН ЛСТМ на временску серију приказан је на слици 4.

Слика 4. Пример рекурентне неуронске мреже са ЛСТМ меморијским ћелијама

Као што се може видети са слике 4, РНН ЛСТМ је био у стању да се носи са потрагом за аномалијама у овом временском периоду. Тамо где резултат има велику грешку предвиђања (средња грешка), аномалија у индикаторима је заиста настала. Коришћење једног РНН ЛСТМ очигледно неће бити довољно, пошто је применљиво на мали број метрика. Може се користити као помоћна метода за тражење аномалија.

Аутокодер за предвиђање квара

Аутоенцодер – у суштини вештачка неуронска мрежа. Улазни слој је енкодер, излазни слој је декодер. Недостатак свих неуронских мрежа овог типа је што не локализују добро аномалије. Изабрана је архитектура синхроне аутоенкодера.

Слика 5. Пример рада аутоенкодера

Аутокодери су обучени за нормалне податке и затим проналазе нешто аномално у подацима који се уносе у модел. Управо оно што вам треба за овај задатак. Остаје само да изаберете који је аутоенкодер погодан за овај задатак. Архитектонски најједноставнији облик аутоенкодера је напредна, неповратна неуронска мрежа, која је веома слична вишеслојни перцептрон (вишеслојни перцептрон, МЛП), са улазним слојем, излазним слојем и једним или више скривених слојева који их повезују.
Међутим, разлике између аутоенкодера и МЛП-ова су у томе што у аутоматском кодеру излазни слој има исти број чворова као и улазни слој, и да уместо да буде обучен да предвиди циљну вредност И коју даје улаз Кс, аутоматски кодер је обучен да реконструише сопствене Кс-ове. Стога су аутоматски енкодери модели учења без надзора.

Задатак аутоенкодера је да пронађе временске индексе р0 ... рн који одговарају аномалним елементима у улазном вектору Кс. Овај ефекат се постиже тражењем грешке на квадрат.

Слика 6. Синхрони аутоенкодер

За аутоенкодер је изабран синхроне архитектуре. Његове предности: могућност коришћења режима стриминг обраде и релативно мањи број параметара неуронске мреже у поређењу са другим архитектурама.

Механизам за минимизирање лажних позитивних резултата

Због чињенице да се јављају различите абнормалне ситуације, као и могућа ситуација недовољне обучености неуронске мреже, за модел детекције аномалија који се развија, одлучено је да је потребно развити механизам за минимизирање лажних позитивних резултата. Овај механизам се заснива на бази шаблона коју класификује администратор.

Алгоритам за динамичку трансформацију временске линије (ДТВ алгоритам, од енглеског динамиц тиме варпинг) вам омогућава да пронађете оптималну кореспонденцију између временских секвенци. Прво коришћен у препознавању говора: користи се за одређивање како два говорна сигнала представљају исту оригиналну изговорену фразу. Касније је за то пронађена примена у другим областима.

Главни принцип минимизирања лажних позитивних резултата је прикупљање базе података стандарда уз помоћ оператера који класификује сумњиве случајеве откривене коришћењем неуронских мрежа. Затим се класификовани стандард упоређује са случајем који је систем детектовао и доноси се закључак да ли је случај лажан или води ка квару. ДТВ алгоритам се користи прецизно за поређење две временске серије. Главни алат за минимизирање је и даље класификација. Очекује се да ће систем након прикупљања великог броја референтних случајева почети мање да тражи од оператера због сличности већине случајева и појаве сличних.

Као резултат тога, на основу горе описаних метода неуронске мреже, направљен је експериментални програм за предвиђање кварова система „Веб-Цонсолидатион“. Циљ овог програма је био да, користећи постојећу архиву података праћења и информација о претходним кваровима, процени компетентност оваквог приступа за наше софтверске системе. Шема програма је приказана у наставку на слици 7.

Слика 7. Шема предвиђања кварова на основу анализе метричког простора

На дијаграму се могу разликовати два главна блока: потрага за аномалним временским периодима у току података праћења (метрика) и механизам за минимизирање лажних позитивних резултата. Напомена: За експерименталне сврхе, подаци се добијају преко ЈДБЦ везе из базе података у коју ће их графит сачувати.
Следи интерфејс система за праћење добијен као резултат развоја (слика 8).

Слика 8. Интерфејс експерименталног система за праћење

Интерфејс приказује проценат аномалије на основу примљених метрика. У нашем случају, пријем је симулиран. Већ неколико недеља имамо све податке и постепено их учитавамо да бисмо проверили случај аномалије која је довела до квара. Доња статусна трака приказује укупан проценат аномалије података у датом тренутку, који се одређује коришћењем аутоенкодера. Такође, приказан је посебан проценат за предвиђене метрике, које израчунава РНН ЛСТМ.

Пример детекције аномалија на основу перформанси процесора коришћењем РНН ЛСТМ неуронске мреже (слика 9).

Слика 9. Откриће РНН ЛСТМ

Прилично једноставан случај, у суштини обичан изузетак, али који је довео до квара система, успешно је израчунат коришћењем РНН ЛСТМ. Индикатор аномалије у овом временском периоду је 85–95%, а све изнад 80% (праг је одређен експериментално) сматра се аномалијом.
Пример детекције аномалије када систем није могао да се покрене након ажурирања. Ову ситуацију детектује аутоенкодер (слика 10).

Слика 10. Пример детекције аутоенкодера

Као што можете видети на слици, ПермГен је заглављен на једном нивоу. Аутокодеру је ово било чудно јер никада раније није видео ништа слично. Овде аномалија остаје 100% док се систем не врати у радно стање. Аномалија се приказује за све метрике. Као што је раније поменуто, аутоенкодер не може да локализује аномалије. Оператер је позван да изврши ову функцију у овим ситуацијама.

Закључак

ПЦ "Веб-Цонсолидатион" је у развоју већ неколико година. Систем је у прилично стабилном стању, а број забележених инцидената је мали. Међутим, било је могуће пронаћи аномалије које су довеле до квара 5 - 10 минута пре него што је дошло до квара. У неким случајевима, обавештење о квару унапред би помогло да се уштеди планирано време које је додељено за обављање "поправке".

На основу експеримената који су спроведени, прерано је доносити коначне закључке. До сада су резултати опречни. С једне стране, јасно је да су алгоритми засновани на неуронским мрежама способни да пронађу „корисне“ аномалије. С друге стране, остаје велики проценат лажних позитивних резултата, а не могу се открити све аномалије које детектује квалификовани специјалиста у неуронској мрежи. Недостаци укључују чињеницу да сада неуронска мрежа захтева обуку са наставником за нормалан рад.

За даљи развој система предвиђања отказа и његово довођење у задовољавајуће стање може се предвидети неколико начина. Ово је детаљнија анализа случајева са аномалијама које доводе до квара, због овог додавања на листу важних метрика које у великој мери утичу на стање система, и одбацивања непотребних које на њега не утичу. Такође, ако кренемо у овом правцу, можемо покушати да специјализујемо алгоритме посебно за наше случајеве са аномалијама које доводе до неуспеха. Постоји још један начин. Ово је побољшање у архитектури неуронских мрежа и тиме повећава тачност детекције уз смањење времена обуке.

Изражавам своју захвалност мојим колегама који су ми помогли да напишем и задржим релевантност овог чланка: Виктор Вербицки и Сергеј Финогенов.

Извор: ввв.хабр.цом