Proqram təminatı sistemlərinin sənaye inkişafı son məhsulun nasazlıqlara dözümlülüyünə böyük diqqət yetirməyi, eləcə də baş verərsə, uğursuzluqlara və uğursuzluqlara tez reaksiya verməyi tələb edir. Monitorinq, əlbəttə ki, uğursuzluqlara və uğursuzluqlara daha səmərəli və tez cavab verməyə kömək edir, lakin kifayət deyil. Birincisi, çox sayda serveri izləmək çox çətindir - çox sayda insan lazımdır. İkincisi, onun vəziyyətini proqnozlaşdırmaq üçün tətbiqin necə işlədiyini yaxşı başa düşməlisiniz. Buna görə də bizim inkişaf etdirdiyimiz sistemləri, onların performansını və xüsusiyyətlərini yaxşı anlayan çoxlu insan lazımdır. Tutaq ki, bunu etmək istəyən kifayət qədər insan tapsanız belə, onları öyrətmək hələ çox vaxt aparır.
Nə etməli? Burada süni intellekt köməyə gəlir. Məqalə haqqında olacaq (proqnozlaşdırılan baxım). Bu yanaşma sürətlə populyarlıq qazanır. Çoxlu sayda məqalələr, o cümlədən Habre haqqında yazılmışdır. Böyük şirkətlər serverlərinin sağlamlığını qorumaq üçün bu yanaşmadan güc və əsas istifadə edirlər. Çox sayda məqaləni nəzərdən keçirdikdən sonra bu yanaşmanı sınamağa qərar verdik. Bundan nə gəldi?
Giriş
Hazırlanmış proqram təminatı sistemi gec-tez işə düşür. İstifadəçi üçün sistemin nasazlıq olmadan işləməsi vacibdir. Fövqəladə vəziyyət baş verərsə, minimum gecikmə ilə aradan qaldırılmalıdır.
Bir proqram sisteminin texniki dəstəyini sadələşdirmək üçün, xüsusən də çox sayda server varsa, adətən işləyən proqram sistemindən ölçüləri götürən, onun vəziyyətini diaqnostika etməyə imkan verən və nasazlığın nəyə səbəb olduğunu müəyyən etməyə kömək edən monitorinq proqramlarından istifadə olunur. Bu proses proqram sisteminin monitorinqi adlanır.
Şəkil 1. Grafana monitorinq interfeysi
Metriklər proqram sisteminin, onun icra mühitinin və ya sistemin ölçülərin qəbul edildiyi anın vaxt möhürü ilə işlədiyi fiziki kompüterin müxtəlif göstəriciləridir. Statik analizdə metrik verilənlərə zaman sıraları deyilir. Proqram təminatı sisteminin vəziyyətini izləmək üçün ölçülər qrafiklər şəklində göstərilir: X oxu boyunca - vaxt və Y oxu boyunca - dəyərlər (Şəkil 1). Çalışan proqram sistemindən (hər qovşaqdan) bir neçə min ölçü götürülə bilər. Onlar metriklər məkanını (çoxölçülü zaman sıraları) təşkil edirlər.
Mürəkkəb proqram sistemlərindən çoxlu sayda ölçülər çıxarıldığı üçün əl ilə monitorinq çətin bir işə çevrilir. İdarəçinin təhlil etdiyi məlumatların miqdarını azaltmaq üçün monitorinq alətlərinə potensial problemləri avtomatik olaraq müəyyən etmək üçün alətlər daxildir. Məsələn, boş disk sahəsi müəyyən edilmiş həddən aşağı düşəndə işə salınan bir tətik qura bilərsiniz. Siz həmçinin avtomatik olaraq serverin bağlanmasını və ya kritik xidmətin yavaşlamasını diaqnoz edə bilərsiniz. Təcrübədə monitorinq alətləri artıq baş vermiş nasazlıqları aşkar etmək və ya gələcək uğursuzluqların sadə simptomlarını müəyyən etmək üçün yaxşı bir iş görür, lakin ümumiyyətlə, mümkün uğursuzluğun proqnozlaşdırılması onlar üçün çətin bir qoz olaraq qalır. Metriklərin əl ilə təhlili ilə proqnozlaşdırma ixtisaslı mütəxəssislərin cəlb edilməsini tələb edir. Aşağı məhsuldardır. Potensial uğursuzluqların çoxu diqqətdən kənarda qala bilər.
Son zamanlar proqram sistemlərinin proqnozlaşdırılan texniki xidməti böyük İT proqram təminatının inkişaf etdirilməsi şirkətləri arasında getdikcə populyarlaşır. Bu yanaşmanın mahiyyəti süni intellektdən istifadə edərək, ilkin mərhələdə sistemin deqradasiyasına səbəb olan problemləri uğursuzluqdan əvvəl tapmaqdır. Bu yanaşma sistemin əl ilə monitorinqini tamamilə istisna etmir. O, bütövlükdə monitorinq prosesinə köməkçidir.
Proqnozlaşdırıcı texniki xidmətin həyata keçirilməsi üçün əsas vasitə zaman seriyalarında anomaliyaları tapmaq vəzifəsidir anomaliya baş verdikdə məlumatlarda, bir müddət sonra yüksək ehtimal var uğursuzluq və ya uğursuzluq baş verir. Anomaliya, bir növ sorğunun icra sürətində deqradasiyanın aşkarlanması və ya daimi müştəri seansları ilə xidmət edilən sorğuların orta sayında azalma kimi proqram sisteminin işində müəyyən sapmadır.
Proqram sistemləri üçün anomaliyaların tapılması vəzifəsinin özünəməxsus xüsusiyyətləri vardır. Nəzəri olaraq, hər bir proqram sistemi üçün mövcud metodları inkişaf etdirmək və ya təkmilləşdirmək lazımdır, çünki anomaliyaların axtarışı onun həyata keçirildiyi məlumatlardan çox asılıdır və proqram sistemlərinin məlumatları proqramın həyata keçirilməsi üçün alətlərdən asılı olaraq çox dəyişir. sistem, hansı kompüterdə işlədiyinə qədər.
Proqram təminatı sistemindəki nasazlıqların proqnozlaşdırılması üçün anomaliya axtarış üsulları
Əvvəla, uğursuzluqları proqnozlaşdırmaq ideyasının məqalədən ilhamlandığını söyləmək lazımdır . Anomaliyaların avtomatik axtarışı ilə yanaşmanın effektivliyini yoxlamaq üçün NPO Krista-nın layihələrindən biri olan Web-Consolidation proqram təminatı sistemi seçilmişdir. Bunun üçün əvvəllər alınan metriklərə uyğun olaraq əllə monitorinq aparılırdı. Sistem kifayət qədər mürəkkəb olduğundan, bunun üçün çox sayda ölçü götürülür: JVM göstəriciləri (zibil toplayıcı yükü), kodun icra olunduğu ƏS göstəriciləri (virtual yaddaş, OS CPU yükü %), şəbəkə göstəriciləri (şəbəkə yükü). ), serverin özü (CPU yükü, yaddaş), wildfly ölçüləri və bütün kritik alt sistemlər üçün yerli tətbiq ölçüləri.
Bütün ölçülər qrafitdən istifadə edərək sistemdən götürülür. Əvvəlcə pıçıltı verilənlər bazası qrafana üçün standart bir həll kimi istifadə edildi, lakin müştəri bazasının böyüməsi ilə qrafit DC disk alt sisteminin bant genişliyini tükəndirərək mübarizəni dayandırdı. Bundan sonra daha səmərəli həll yolu axtarmağa qərar verildi. lehinə seçim edildi , bu, disk alt sistemindəki yükü böyüklük sırası ilə azaltmağa və tutan disk yerini beş-altı dəfə azaltmağa imkan verdi. Aşağıda qrafit + klikxanadan istifadə edərək metriklərin toplanması mexanizminin diaqramı verilmişdir (Şəkil 2).
Şəkil 2. Metriklərin çıxarılması sxemi
Sxem daxili sənədlərdən götürülüb. Bu, qrafana (istifadə etdiyimiz monitorinq istifadəçi interfeysi) və qrafit arasında məlumat mübadiləsini göstərir. Ölçülərin tətbiqdən çıxarılması ayrı bir proqram təminatı ilə həyata keçirilir - . Onları da qrafitin içinə qoyur.
Veb Konsolidasiya sistemi uğursuzluqları proqnozlaşdırmaq üçün problemlər yaradan bir sıra xüsusiyyətlərə malikdir:
- tez-tez trenddə dəyişiklik olur. Bu proqram sisteminin müxtəlif versiyaları var. Onların hər biri sistemin proqram təminatı hissəsində dəyişikliklər gətirir. Müvafiq olaraq, bu şəkildə tərtibatçılar bu sistemin ölçülərinə birbaşa təsir edir və trend dəyişikliyinə səbəb ola bilər;
- həyata keçirilməsinin özəlliyi, eləcə də müştərilər tərəfindən bu sistemin istifadəsi məqsədləri tez-tez əvvəlki deqradasiya olmadan anomaliyaları çağırır;
- bütün məlumat dəstinə nisbətən anomaliyaların faizi kiçikdir (<5%);
- sistemdən göstəricilərin alınmasında boşluqlar ola bilər. Bəzi qısa fasilələrlə monitorinq sistemi ölçüləri qəbul edə bilmir. Məsələn, server həddindən artıq yüklənirsə. Bu neyron şəbəkə təlimi üçün vacibdir. Boşluqları sintetik yolla doldurmağa ehtiyac var;
- Anomaliyaları olan hallar çox vaxt yalnız müəyyən bir gün/ay/vaxt (mövsümilik) üçün aktualdır. Bu sistem öz istifadəçilərinin istifadəsinin aydın tənzimlənməsinə malikdir. Müvafiq olaraq, ölçülər yalnız müəyyən bir zaman üçün aktualdır. Sistem davamlı deyil, yalnız bir neçə ayda istifadə edilə bilər: ildən asılı olaraq seçmə. Ölçülərin eyni davranışının bir halda proqram sisteminin uğursuzluğuna səbəb ola biləcəyi hallar var, digərində isə yox.
Başlamaq üçün proqram sistemlərinin monitorinq məlumatlarında anomaliyaların aşkar edilməsi üsulları təhlil edilmişdir. Bu mövzuya dair məqalələrdə, məlumat dəstinin qalan hissəsinə nisbətən kiçik bir anomaliya faizi ilə, ən çox neyron şəbəkələrdən istifadə etmək təklif olunur.
Neyron şəbəkə məlumatlarından istifadə edərək anomaliyaları tapmaq üçün əsas məntiq Şəkil 3-də göstərilmişdir:
Şəkil 3. Neyron şəbəkəsindən istifadə edərək anomaliyaları axtarın
Metriklərin cari axınının proqnozlaşdırılması və ya bərpası pəncərəsinin nəticəsi əsasında işləyən proqram sistemindən alınan sapma hesablanır. Proqram təminatı sistemi ilə neyroşəbəkədən alınan ölçülər arasında böyük fərq olduğu halda, cari məlumat seqmentinin anormal olduğu qənaətinə gələ bilərik. Neyroşəbəkələrin istifadəsi zamanı aşağıdakı problemlər yaranır:
- axın rejimində düzgün işləmək üçün neyron şəbəkə modellərini öyrətmək üçün məlumatlara yalnız “normal” məlumatlar daxil edilməlidir;
- düzgün aşkarlamaq üçün ən müasir modeliniz olmalıdır. Metriklərdə trend və mövsümilik dəyişiklikləri modeldə çoxlu sayda yanlış müsbət nəticəyə səbəb ola bilər. Onu yeniləmək üçün modelin köhnəldiyi vaxtı dəqiq müəyyən etmək lazımdır. Model daha sonra və ya daha tez yenilənirsə, çox güman ki, çoxlu sayda yalançı pozitivlər gələcək.
Həmçinin, yalançı pozitivlərin tez-tez baş verməsini tapmaq və qarşısını almaq barədə unutmamalıyıq. Onların ən çox fövqəladə hallarda baş verəcəyi güman edilir. Bununla belə, onlar həm də kifayət qədər təlim olmaması səbəbindən neyron şəbəkə xətasının nəticəsi ola bilər. Modelin yanlış müsbətlərinin sayını minimuma endirmək lazımdır. Əks halda, yanlış proqnozlar administratorun sistemi yoxlamağa həsr etdiyi xeyli vaxtını itirəcək. Gec-tez administrator sadəcə olaraq “paranoyak” monitorinq sisteminə cavab verməyi dayandıracaq.
Təkrarlanan neyron şəbəkəsi
Zaman sıralarında anomaliyaları aşkar etmək üçün müraciət edə bilərsiniz LSTM yaddaşı ilə. Yeganə problem ondan ibarətdir ki, o, yalnız proqnozlaşdırıla bilən zaman seriyalarına tətbiq edilə bilər. Bizim vəziyyətimizdə bütün göstəriciləri proqnozlaşdırmaq mümkün deyil. Zaman seriyası üçün RNN LSTM tətbiqi cəhdi Şəkil 4-də göstərilmişdir.
Şəkil 4. LSTM yaddaş hüceyrələri ilə təkrarlanan neyron şəbəkəsinin işinə nümunə
Şəkil 4-dən göründüyü kimi, RNN LSTM bu zaman intervalında anomaliya axtarışının öhdəsindən gələ bilmişdir. Nəticənin yüksək proqnozlaşdırma xətası (orta xəta) olduğu yerdə, həqiqətən də, göstəricilər baxımından anomaliya baş vermişdir. Bir RNN LSTM-in istifadəsi açıq-aydın kifayət etməyəcək, çünki o, az sayda ölçülərə şamil edilir. Anomaliyaları tapmaq üçün köməkçi üsul kimi istifadə edilə bilər.
Arızanın proqnozlaşdırılması üçün avtomatik kodlayıcı
mahiyyətcə süni neyron şəbəkəsidir. Giriş təbəqəsi kodlayıcı, çıxış qatı dekoderdir. Bu tip bütün neyron şəbəkələrin dezavantajı anomaliyaları zəif lokallaşdırmaqdır. Sinxron avtokoderin arxitekturası seçilmişdir.
Şəkil 5. Avtokoderin işinə nümunə
Avtokodlayıcılar normal verilənlər üzərində məşq edir və sonra modelə daxil olan məlumatlarda anormal bir şey tapırlar. Bu iş üçün sizə lazım olan şey. Yalnız avtomatik kodlayıcılardan hansının bu vəzifə üçün uyğun olduğunu seçmək qalır. Avtokoderin arxitektura baxımından ən sadə forması irəli, təkrarlanmayan neyron şəbəkəsidir ki, bu da çox oxşardır. (multilayer perceptron, MLP), giriş qatı, çıxış təbəqəsi və onları birləşdirən bir və ya bir neçə gizli təbəqə ilə.
Bununla belə, avtokodlayıcılar və MLP-lər arasındakı fərqlər ondan ibarətdir ki, avtokoderdə çıxış təbəqəsi giriş qatı ilə eyni sayda qovşaqlara malikdir və X girişi tərəfindən verilən Y hədəf dəyərini proqnozlaşdırmağı öyrənmək əvəzinə, avtomatik kodlaşdırıcı yenidən qurmağı öyrənir. öz X. Buna görə də avtokodlayıcılar nəzarətsiz öyrənmə modelləridir.
Avtokoderin vəzifəsi X giriş vektorunda anomal elementlərə uyğun gələn r0 ... rn zaman indekslərini tapmaqdır. Bu effekt kvadrat xətanın axtarışı ilə əldə edilir.
Şəkil 6. Sinxron avtokodlayıcı
Avtokodlayıcı üçün seçildi . Onun üstünlükləri: axın emal rejimindən istifadə etmək imkanı və digər arxitekturalarla müqayisədə nisbətən az sayda neyron şəbəkəsi parametrləri.
Yanlış müsbət minimumlaşdırma mexanizmi
Müxtəlif fövqəladə halların yaranması və neyron şəbəkənin kifayət qədər hazırlığı vəziyyətinin də mümkün olması səbəbindən hazırlanmış anomaliya aşkarlama modeli üçün yanlış pozitivlərin minimuma endirilməsi mexanizminin işlənib hazırlanmasının zəruriliyi qərara alınıb. Bu mexanizm administratorun təsnif etdiyi şablon bazasına əsaslanır.
(DTW-alqoritmi, ingilis dilinin dinamik vaxt dəyişməsindən) zaman ardıcıllığı arasında optimal uyğunluğu tapmağa imkan verir. İlk dəfə nitqin tanınmasında istifadə edilmişdir: iki nitq siqnalının eyni orijinal danışıq ifadəsini necə təmsil etdiyini müəyyən etmək üçün istifadə olunur. Sonradan onun başqa sahələrdə də istifadə olunduğu məlum olub.
Yanlış pozitivlərin minimuma endirilməsinin əsas prinsipi neyroşəbəkələrdən istifadə etməklə aşkar edilən şübhəli halları təsnif edən operatorun köməyi ilə standartlar məlumat bazasını toplamaqdır. Daha sonra təsnif edilmiş standart sistemin aşkar etdiyi halla müqayisə edilir və işin yalana aid olub-olmaması və ya uğursuzluğa səbəb olub-olmadığı barədə nəticə çıxarılır. Sadəcə iki zaman seriyasını müqayisə etmək üçün DTW alqoritmi istifadə olunur. Əsas minimuma endirmə vasitəsi hələ də təsnifatdır. Güman edilir ki, çoxlu sayda istinad halları toplandıqdan sonra sistem əksər halların oxşarlığı və oxşar halların baş verməsi səbəbindən operatordan daha az xahiş etməyə başlayacaq.
Nəticədə, neyron şəbəkələrin yuxarıda təsvir edilmiş üsulları əsasında Web-Consolidation sisteminin nasazlıqlarını proqnozlaşdırmaq üçün eksperimental proqram qurulmuşdur. Bu proqramın məqsədi mövcud monitorinq məlumatlarının arxivindən və artıq baş vermiş nasazlıqlar haqqında məlumatlardan istifadə edərək proqram sistemlərimiz üçün bu yanaşmanın səriştəsini qiymətləndirmək idi. Proqramın sxemi aşağıda, Şəkil 7-də göstərilmişdir.
Şəkil 7. Metriklər fəzasının təhlili əsasında uğursuzluğun proqnozlaşdırılması sxemi
Diaqramda iki əsas bloku ayırd etmək olar: monitorinq məlumat axınında anomal vaxt dövrlərinin axtarışı (metrikalar) və yanlış pozitivlərin minimuma endirilməsi mexanizmi. Qeyd: Eksperimental məqsədlər üçün məlumatlar qrafitin saxlayacağı verilənlər bazasından JDBC bağlantısı vasitəsilə əldə edilir.
Aşağıda əldə edilən monitorinq sisteminin interfeysi verilmişdir (Şəkil 8).
Şəkil 8. Eksperimental monitorinq sisteminin interfeysi
İnterfeys alınan ölçülərə uyğun olaraq anomaliya faizini göstərir. Bizim vəziyyətimizdə satınalma simulyasiya edilir. Artıq bir neçə həftə ərzində bütün məlumatlarımız var və işi uğursuzluğa səbəb olan anomaliya ilə sınaqdan keçirmək üçün onları tədricən yükləyirik. Aşağı status çubuğu avtokoderdən istifadə etməklə müəyyən edilən müəyyən vaxtda məlumat anomaliyalarının ümumi faizini göstərir. RNN LSTM tərəfindən hesablanan proqnoz göstəriciləri üçün ayrıca faiz də göstərilir.
RNN LSTM neyron şəbəkəsindən istifadə etməklə CPU indikatorları ilə anomaliyaların aşkarlanması nümunəsi (Şəkil 9).
Şəkil 9. LSTM RNN aşkarlanması
Kifayət qədər sadə bir hal, mahiyyət etibarı ilə normal həddi, lakin sistem uğursuzluğuna səbəb olan RNN LSTM istifadə edərək uğurla hesablandı. Bu müddət ərzində anomaliya göstəricisi 85 - 95% təşkil edir, 80% -dən yuxarı olan hər şey (həddi eksperimental olaraq müəyyən edilir) anomaliya hesab olunur.
Sistemin yeniləmədən sonra işə düşə bilmədiyi anomaliya aşkarlanması nümunəsi. Bu vəziyyət avtomatik kodlayıcı tərəfindən aşkar edilir (Şəkil 10).
Şəkil 10. Avtokoderin kəşf nümunəsi
Şəkildən göründüyü kimi, PermGen bir səviyyədə ilişib qalıb. Avtokodlayıcı bunun qəribə olduğunu düşündü, çünki əvvəllər belə bir şey görməmişdi. Burada anomaliya sistem işlək vəziyyətə qayıdana qədər bütün 100%-ni saxlayır. Anomaliya bütün göstəricilər üçün göstərilir. Daha əvvəl qeyd edildiyi kimi, avtokodlayıcı anomaliyaları necə lokallaşdıracağını bilmir. Operator bu vəziyyətlərdə bu funksiyanı yerinə yetirməyə çağırılır.
Nəticə
Bir ildən artıqdır ki, "Web-Consolidation" PC hazırlanıb. Sistem kifayət qədər stabil vəziyyətdədir və qeydə alınan hadisələrin sayı azdır. Bununla belə, uğursuzluğun baş verməsindən 5-10 dəqiqə əvvəl uğursuzluğa səbəb olan anomaliyaları tapmaq mümkün idi. Bir sıra hallarda nasazlıq barədə qabaqcadan bildiriş “təmir” işlərinə ayrılmış planlaşdırılmış vaxta qənaət etməyə kömək edərdi.
Aparılan eksperimentlərə əsasən yekun nəticə çıxarmaq hələ tezdir. Hələlik nəticələr uyğunsuzdur. Bir tərəfdən aydındır ki, neyron şəbəkələrə əsaslanan alqoritmlər “faydalı” anomaliyaları tapmağa qadirdir. Digər tərəfdən, yanlış müsbətlərin böyük bir faizi qalır və neyron şəbəkəsində ixtisaslı mütəxəssis tərəfindən aşkar edilən bütün anomaliyaları aşkar etmək mümkün deyil. Dezavantajlara indi neyron şəbəkənin normal işləməsi üçün müəllimlə təlim tələb etməsi daxildir.
Uğursuzluqları proqnozlaşdırmaq və onu qənaətbəxş vəziyyətə gətirmək üçün sistemin daha da inkişafı üçün bir neçə yol nəzərdə tutula bilər. Bu, sistemin vəziyyətinə böyük təsir göstərən vacib metriklərin siyahısına əlavə edilməsi və ona təsir etməyən lazımsızların atılması səbəbindən uğursuzluğa səbəb olan anomaliyaları olan halların daha ətraflı təhlilidir. Həmçinin, bu istiqamətdə hərəkət etsək, uğursuzluqlara səbəb olan anomaliyaları olan işlərimiz üçün xüsusi olaraq alqoritmləri ixtisaslaşdırmağa cəhd edə bilərik. Başqa bir yol var. Bu, neyroşəbəkələrin arxitekturasının təkmilləşdirilməsi və bununla əlaqədar olaraq, təlim müddətinin azalması ilə aşkarlamaların dəqiqliyinin artmasıdır.
Bu məqaləni yazmaqda və aktuallığını saxlamaqda mənə kömək edən həmkarlarıma təşəkkürümü bildirirəm: və Sergey Finogenov.
Mənbə: www.habr.com