Hello!
Şirkətimiz proqram təminatının hazırlanması və sonrakı texniki dəstək ilə məşğuldur. Texniki dəstək yalnız səhvləri düzəltməyi deyil, həm də tətbiqlərimizin işinə nəzarət etməyi tələb edir.
Məsələn, xidmətlərdən biri qəzaya uğrayıbsa, o zaman bu problemi avtomatik qeyd etməli və onu həll etməyə başlamalısınız və narazı istifadəçilərin texniki dəstəyə müraciət etməsini gözləməməlisiniz.
Bizim kiçik bir şirkətimiz var, proqramların monitorinqi üçün hər hansı mürəkkəb həlləri öyrənmək və saxlamaq üçün resurslarımız yoxdur, bizə sadə və effektiv həll yolu tapmaq lazım idi.
Monitorinq strategiyası
Tətbiqin funksionallığını yoxlamaq asan deyil, bu tapşırıq qeyri-ciddidir, hətta yaradıcı demək olar. Mürəkkəb çox keçid sistemini yoxlamaq xüsusilə çətindir.
Bir fili necə yemək olar? Yalnız hissələrdə! Biz proqramlara nəzarət etmək üçün bu yanaşmadan istifadə edirik.
Monitorinq strategiyamızın mahiyyəti:
Tətbiqinizi komponentlərə bölün.
Hər bir komponent üçün nəzarət yoxlamaları yaradın.
Komponentin bütün nəzarət yoxlamaları səhvsiz aparılarsa, işlək sayılır. Tətbiq bütün komponentləri işləkdirsə, sağlam hesab olunur.
Beləliklə, istənilən sistem komponentlər ağacı kimi təqdim edilə bilər. Mürəkkəb komponentlər daha sadə olanlara bölünür. Sadə komponentlərdə yoxlamalar var.
Benchmarklar funksional test aparmaq üçün nəzərdə tutulmayıb, onlar vahid testlər deyil. Nəzarət yoxlamaları komponentin cari anda özünü necə hiss etdiyini, onun işləməsi üçün lazım olan bütün resursların olub olmadığını və hər hansı problemin olub olmadığını yoxlamalıdır.
Heç bir möcüzə yoxdur, əksər çekləri müstəqil hazırlamaq lazımdır. Ancaq qorxmayın, çünki əksər hallarda bir çek 5-10 sətir kod tələb edir, lakin siz istənilən məntiqi həyata keçirə bilərsiniz və çekin necə işlədiyini aydın başa düşəcəksiniz.
Monitorinq sistemi
Tutaq ki, biz tətbiqi komponentlərə ayırdıq, hər bir komponent üçün yoxlamalar hazırladıq və həyata keçirdik, lakin bu yoxlamaların nəticələri ilə nə etməli? Bəzi yoxlamaların uğursuz olub olmadığını necə bilirik?
Bizə monitorinq sisteminə ehtiyac olacaq. O, aşağıdakı vəzifələri yerinə yetirəcək:
- Test nəticələrini alın və komponentlərin vəziyyətini müəyyən etmək üçün onlardan istifadə edin.
Vizual olaraq, bu, komponent ağacını vurğulamaq kimi görünür. Funksional komponentlər yaşıl, problemlilər qırmızı olur. - Ümumi yoxlamaları qutudan çıxarın.
Monitorinq sistemi bəzi yoxlamaları özü həyata keçirə bilər. Niyə təkəri yenidən kəşf edək, gəlin onlardan istifadə edək. Məsələn, veb sayt səhifəsinin açıldığını və ya serverin ping etdiyini yoxlaya bilərsiniz. - Problemlər barədə maraqlı tərəflərə bildirişlər göndərin.
- Monitorinq məlumatlarının vizuallaşdırılması, hesabatların, qrafiklərin və statistikanın təqdim edilməsi.
ASMO sisteminin qısa təsviri
Bir nümunə ilə izah etmək daha yaxşıdır. ASMO sisteminin fəaliyyətinin monitorinqinin necə təşkil edildiyinə baxaq.
ASMO avtomatlaşdırılmış meteoroloji dəstək sistemidir. Sistem yol xidmətinin mütəxəssislərinə yolun harada və nə vaxt buzdan təmizləyici materiallarla təmizlənməsi lazım olduğunu anlamağa kömək edir. Sistem yol idarəetmə məntəqələrindən məlumat toplayır. Yol nəzarət məntəqəsi yolda avadanlıqların quraşdırıldığı yerdir: hava stansiyası, videokamera və s. Təhlükəli vəziyyətləri proqnozlaşdırmaq üçün sistem xarici mənbələrdən hava proqnozlarını alır.
Beləliklə, sistemin tərkibi olduqca tipikdir: veb sayt, agent, avadanlıq. Monitorinqə başlayaq.
Sistemin komponentlərə bölünməsi
ASMO sistemində aşağıdakı komponentləri ayırd etmək olar:
1. Şəxsi hesab
Bu veb tətbiqidir. Ən azı, proqramın İnternetdə mövcud olduğunu yoxlamaq lazımdır.
2. Verilənlər bazası
Verilənlər bazası hesabat üçün vacib olan məlumatları saxlayır və siz verilənlər bazasının ehtiyat nüsxələrinin uğurla yaradılmasını təmin etməlisiniz.
3. Server
Server dedikdə, proqramların işlədiyi aparat nəzərdə tutulur. HDD, RAM, CPU vəziyyətini yoxlamaq lazımdır.
4. Agent
Bu, cədvəl üzrə çoxlu müxtəlif tapşırıqları yerinə yetirən Windows xidmətidir. Ən azı, xidmətin işlədiyini yoxlamaq lazımdır.
5. Agent vəzifəsi
Bir agentin işlədiyini bilmək kifayət deyil. Agent işləyə bilər, lakin ona verilən tapşırıqları yerinə yetirməyə bilər. Gəlin agent komponentini tapşırıqlara ayıraq və hər bir agent tapşırığının uğurla işlədiyini yoxlayaq.
6. Yol nəzarət məntəqələri (bütün MPC-lərin konteyneri)
Çoxlu yol nəzarət nöqtələri var, ona görə də gəlin bütün MPC-ləri bir komponentdə birləşdirək. Bu, monitorinq məlumatlarını oxumağı daha rahat edəcək. "ASMO sistemi" komponentinin vəziyyətinə baxarkən problemlərin harada olduğu dərhal aydın olacaq: tətbiqlərdə, aparatda və ya maksimum idarəetmə sistemində.
7. Yol nəzarət nöqtəsi (bir maksimum hədd)
Bu MPC-dəki bütün qurğular istismara yararlı olarsa, biz bu komponenti xidmətə yararlı hesab edəcəyik.
8. Cihaz
Bu, maksimum konsentrasiya həddində quraşdırılmış video kamera və ya hava stansiyasıdır. Cihazın düzgün işlədiyini yoxlamaq lazımdır.
Monitorinq sistemində komponent ağacı belə görünəcək:
Veb Tətbiq Monitorinqi
Beləliklə, sistemi komponentlərə ayırdıq, indi hər bir komponent üçün yoxlamalar hazırlamalıyıq.
Veb tətbiqini izləmək üçün biz aşağıdakı yoxlamalardan istifadə edirik:
1. Əsas səhifənin açılmasının yoxlanılması
Bu yoxlama monitorinq sistemi tərəfindən həyata keçirilir. Onu icra etmək üçün səhifənin ünvanını, gözlənilən cavab fraqmentini və sorğunun maksimum icra müddətini göstəririk.
2. Domen ödəniş tarixinin yoxlanılması
Çox vacib bir çek. Domen ödənişsiz qaldıqda, istifadəçilər saytı aça bilməz. Problemin həlli bir neçə gün çəkə bilər, çünki... DNS dəyişiklikləri dərhal tətbiq edilmir.
3. SSL sertifikatının yoxlanılması
Hal-hazırda demək olar ki, bütün vebsaytlar giriş üçün https protokolundan istifadə edir. Protokolun düzgün işləməsi üçün etibarlı SSL sertifikatı lazımdır.
Aşağıda monitorinq sistemindəki “Şəxsi hesab” komponenti var:
Yuxarıdakı yoxlamaların hamısı əksər proqramlar üçün işləyəcək və kodlaşdırma tələb olunmur. Bu çox gözəldir, çünki 5 dəqiqə ərzində istənilən veb tətbiqi izləməyə başlaya bilərsiniz. Aşağıda veb tətbiqi üçün həyata keçirilə bilən əlavə yoxlamalar var, lakin onların həyata keçirilməsi daha mürəkkəb və tətbiqə xasdır, ona görə də bu məqalədə onları əhatə etməyəcəyik.
Başqa nə yoxlaya bilərsiniz?
Veb tətbiqinizə daha tam nəzarət etmək üçün aşağıdakı yoxlamaları həyata keçirə bilərsiniz:
- Hər dövr üçün JavaScript xətalarının sayı
- Dövr üçün veb proqram tərəfində (back-end) xətaların sayı
- Uğursuz veb proqram cavablarının sayı (cavab kodu 404, 500 və s.)
- Sorğunun orta icra müddəti
Windows xidmətinin monitorinqi (agent)
ASMO sistemində agent planlaşdırılmış tapşırıqları fonda yerinə yetirən tapşırıq planlayıcısı rolunu oynayır.
Bütün agent tapşırıqları uğurla tamamlanarsa, agent düzgün işləyir. Belə çıxır ki, agentə nəzarət etmək üçün onun tapşırıqlarına nəzarət etmək lazımdır. Buna görə də, "Agent" komponentini tapşırıqlara bölürük. Hər bir tapşırıq üçün monitorinq sistemində "Agent" komponentinin "valideyn" olacağı ayrıca komponent yaradacağıq.
Agent komponentini uşaq komponentlərə (tapşırıqlara) bölürük:
Beləliklə, biz mürəkkəb komponenti bir neçə sadə komponentə böldük. İndi hər bir sadə komponent üçün yoxlamalar hazırlamalıyıq. Nəzərə alın ki, “Agent” ana komponentində heç bir yoxlama olmayacaq, çünki monitorinq sistemi öz statusunu uşaq komponentlərinin statusuna əsasən müstəqil hesablayacaq. Başqa sözlə, bütün tapşırıqlar uğurla yerinə yetirilirsə, agent uğurla işləyir.
ASMO sistemində yüzdən çox tapşırıq var, həqiqətən hər bir tapşırıq üçün unikal yoxlamalar hazırlamaq lazımdırmı? Əlbəttə ki, hər bir agent tapşırığı üçün öz xüsusi çeklərimizi tapıb həyata keçirsək, nəzarət daha yaxşı olar, lakin əksər hallarda universal çeklərdən istifadə etmək kifayətdir.
ASMO sistemi tapşırıqlar üçün yalnız universal yoxlamalardan istifadə edir və bu sistemin işinə nəzarət etmək üçün kifayətdir.
Tərəqqi yoxlanılır
Ən sadə və ən təsirli yoxlama icra yoxlamasıdır. Yoxlama tapşırığın səhvsiz tamamlandığını yoxlayır. Bütün tapşırıqlarda bu yoxlama var.
Doğrulama alqoritmi
Hər tapşırığın icrasından sonra, tapşırığın icrası uğurlu olarsa, UĞUR yoxlamasının nəticəsini monitorinq sisteminə və ya icra xəta ilə tamamlandıqda XƏTA göndərməlisiniz.
Bu yoxlama aşağıdakı problemləri aşkar edə bilər:
- Tapşırıq çalışır, lakin xəta ilə uğursuz olur.
- Tapşırıq işləməyi dayandırdı, məsələn, dondu.
Bu problemlərin necə həll edildiyini daha ətraflı nəzərdən keçirək.
Məsələ 1 – Tapşırıq çalışır, lakin xəta ilə uğursuz olur
Aşağıda tapşırığın yerinə yetirildiyi, lakin saat 14:00 ilə 16:00 arasında uğursuz olduğu bir hal var.
Şəkil göstərir ki, tapşırıq uğursuz olduqda dərhal monitorinq sisteminə siqnal göndərilir və monitorinq sistemindəki müvafiq yoxlamanın vəziyyəti həyəcan siqnalına çevrilir.
Nəzərə alın ki, monitorinq sistemində komponentin statusu yoxlama statusundan asılıdır. Çekin həyəcan vəziyyəti bütün yüksək səviyyəli komponentləri həyəcan siqnalına dəyişəcək, aşağıdakı şəklə baxın.
Problem 2 - Tapşırığın icrası dayandırıldı (dondurulmuş)
Monitorinq sistemi tapşırığın ilişib qaldığını necə başa düşəcək?
Yoxlama nəticəsinin etibarlılıq müddəti var, məsələn, 1 saat. Bir saat keçsə və yeni test nəticəsi yoxdursa, monitorinq sistemi test statusunu həyəcan siqnalı ilə təyin edəcək.
Yuxarıdakı şəkildə gecə saat 14:00-da işıqlar söndürülüb. Saat 15:00-da monitorinq sistemi test nəticəsinin (saat 14:00-dan) çürük olduğunu aşkar edəcək, çünki Uyğunluq müddəti başa çatıb (bir saat), lakin yeni nəticə yoxdur və çeki həyəcan vəziyyətinə keçirəcək.
Saat 16:00-da işıqlar yenidən yandırıldı, proqram tapşırığı yerinə yetirəcək və icra nəticəsini monitorinq sisteminə göndərəcək, test statusu yenidən uğurlu olacaq.
Hansı yoxlamadan istifadə etməliyəm?
Uyğunluq müddəti tapşırığın icra müddətindən çox olmalıdır. Mən tapşırığın icra müddətindən 2-3 dəfə çox aktuallıq müddəti təyin etməyi məsləhət görürəm. Bu, məsələn, tapşırıq həmişəkindən daha uzun sürəndə və ya kimsə proqramı yenidən yüklədikdə, yanlış bildirişlərin alınmasının qarşısını almaq üçün lazımdır.
Tərəqqi yoxlanılır
ASMO sistemində saatda bir dəfə xarici mənbədən yeni proqnoz yükləməyə çalışan “Yük Proqnozu” tapşırığı var. Xarici sistemdə yeni proqnozun göründüyü dəqiq vaxt məlum deyil, lakin bunun gündə 2 dəfə baş verdiyi məlumdur. Belə çıxır ki, bir neçə saat ərzində yeni proqnoz yoxdursa, bu normaldır, amma bir gündən çox yeni proqnoz yoxdursa, deməli, haradasa nəsə pozulub. Məsələn, xarici proqnoz sistemindəki məlumat formatı dəyişə bilər, buna görə də ASMO yeni proqnoz buraxılışını görməyəcək.
Doğrulama alqoritmi
Tapşırıq irəliləyiş əldə etdikdə (yeni hava proqnozunu yükləmək) UĞUR yoxlamasının nəticəsini monitorinq sisteminə göndərir. Heç bir irəliləyiş yoxdursa və ya səhv baş verərsə, monitorinq sisteminə heç bir şey göndərilmir.
Çekin elə bir uyğunluq intervalı olmalıdır ki, bu müddət ərzində onun yeni irəliləyiş əldə edəcəyinə zəmanət verilsin.
Nəzərə alın ki, problemi gecikmə ilə öyrənəcəyik, çünki monitorinq sistemi sonuncu skan nəticəsinin etibarlılıq müddəti bitənə qədər gözləyir. Ona görə də çekin etibarlılıq müddətini çox uzatmaq lazım deyil.
Verilənlər bazasının monitorinqi
ASMO sistemində verilənlər bazasına nəzarət etmək üçün aşağıdakı yoxlamaları həyata keçiririk:
- Yedək yaradılması təsdiqlənir
- Boş disk sahəsi yoxlanılır
Yedək yaradılması təsdiqlənir
Əksər proqramlarda verilənlər bazası ehtiyat nüsxələrinin aktual olması vacibdir ki, server uğursuz olarsa, proqramı yeni serverə yerləşdirə biləsiniz.
ASMO həftədə bir dəfə ehtiyat nüsxəsini yaradır və onu yaddaşa göndərir. Bu prosedur uğurla başa çatdıqda, müvəffəqiyyət yoxlamasının nəticəsi monitorinq sisteminə göndərilir. Doğrulama nəticəsi 9 gün ərzində etibarlıdır. Bunlar. Ehtiyat nüsxələrin yaradılmasına nəzarət etmək üçün yuxarıda müzakirə etdiyimiz "tərəqqi yoxlaması" mexanizmindən istifadə olunur.
Boş disk sahəsi yoxlanılır
Diskdə kifayət qədər boş yer yoxdursa, verilənlər bazası düzgün işləyə bilməyəcək, ona görə də boş yerin miqdarına nəzarət etmək vacibdir.
Rəqəmsal parametrləri yoxlamaq üçün metriklərdən istifadə etmək rahatdır.
Metriklər rəqəmli dəyişəndir, dəyəri monitorinq sisteminə ötürülür. Monitorinq sistemi hədd dəyərlərini yoxlayır və metrik statusu hesablayır.
Aşağıda “Verilənlər bazası” komponentinin monitorinq sistemində necə göründüyünə dair bir şəkil verilmişdir:
Server monitorinqi
Serverə nəzarət etmək üçün biz aşağıdakı yoxlama və ölçülərdən istifadə edirik:
1. Boş disk sahəsi
Disk sahəsi bitərsə, proqram işləyə bilməyəcək. Biz 2 həddi istifadə edirik: birinci səviyyə XƏBƏRDARLIQ, ikinci səviyyə ALARM.
2. Saatda faizlə orta RAM dəyəri
Biz saatlıq ortalamadan istifadə edirik, çünki... bizi nadir yarışlar maraqlandırmır.
3. Saatda orta CPU faizi
Biz saatlıq ortalamadan istifadə edirik, çünki... bizi nadir yarışlar maraqlandırmır.
4. Ping yoxlanışı
Serverin onlayn olduğunu yoxlayır. Monitorinq sistemi bu yoxlamanı həyata keçirə bilər, kod yazmağa ehtiyac yoxdur.
Aşağıda "Server" komponentinin monitorinq sistemində necə göründüyünə dair bir şəkil verilmişdir:
Avadanlığın monitorinqi
Məlumatların necə əldə edildiyini sizə xəbər verəcəyəm. Hər bir yol nəzarət nöqtəsi (MPC) üçün tapşırıq planlayıcısında bir tapşırıq var, məsələn, "M2 km 200 MPC sorğusu". Tapşırıq hər 30 dəqiqədən bir bütün MPC cihazlarından məlumat alır.
Rabitə kanalı problemi
Avadanlıqların əksəriyyəti şəhərdən kənarda yerləşir, məlumat ötürülməsi üçün GSM şəbəkəsi istifadə olunur, sabit işləmir (şəbəkə var və ya yoxdur).
Tez-tez şəbəkə xətaları səbəbindən, əvvəlcə monitorinqdə MPC sorğusunu yoxlamaq belə görünürdü:
Məlum oldu ki, bu, işlək variant deyil, çünki problemlər haqqında çoxlu yanlış bildirişlər var idi. Sonra hər bir cihaz üçün "tərəqqi yoxlamasından" istifadə etmək qərara alındı, yəni. Cihaz səhvsiz sorğulandıqda monitorinq sisteminə yalnız uğur siqnalı göndərilir. Müvafiq vaxt 5 saat olaraq təyin edildi.
İndi monitorinq problemlərlə bağlı bildirişləri yalnız cihaz 5 saatdan çox sorğulamaq mümkün olmadıqda göndərir. Yüksək ehtimal dərəcəsi ilə bunlar yalan həyəcan siqnalları deyil, real problemlərdir.
Aşağıda monitorinq sistemində avadanlığın necə göründüyünə dair bir şəkil verilmişdir:
Mühüm!
GSM şəbəkəsi işləməyi dayandırdıqda, bütün MDC cihazları sorğulanmır. Monitorinq sistemindən gələn e-poçtların sayını azaltmaq üçün mühəndislərimiz “Cihaz” deyil, “MPC” tipli komponent problemləri ilə bağlı bildirişlərə abunə olurlar. Bu, hər bir cihaz üçün ayrıca bildiriş almaq əvəzinə, hər MPC üçün bir bildiriş almağa imkan verir.
Yekun ASMO monitorinq sxemi
Gəlin hər şeyi bir yerə yığaq və görək hansı monitorinq sxemimiz var.
Nəticə
Gəlin ümumiləşdirək.
ASMO-nun fəaliyyətinin monitorinqi bizə nə verdi?
1. Qüsurların aradan qaldırılması müddəti azalıb
Biz əvvəllər istifadəçilərdən qüsurlar haqqında eşitmişik, lakin bütün istifadəçilər qüsurları bildirmir. Belə oldu ki, bir sistem komponentinin nasazlığı yarandıqdan bir həftə sonra öyrəndik. İndi monitorinq sistemi problem aşkarlanan kimi problemlər barədə bizə məlumat verir.
2. Sistemin dayanıqlığı artıb
Qüsurlar daha əvvəl aradan qaldırılmağa başladığı üçün sistem bütövlükdə daha stabil işləməyə başladı.
3. Texniki dəstəyə edilən zənglərin sayının azaldılması
Artıq bir çox problem istifadəçilərin onlar haqqında bilmədən düzəldilir. İstifadəçilər texniki dəstək ilə daha az əlaqə saxlamağa başladılar. Bütün bunlar bizim reputasiyamıza yaxşı təsir edir.
4. Müştəri və istifadəçi loyallığının artırılması
Müştəri sistemin sabitliyində müsbət dəyişiklikləri qeyd etdi. İstifadəçilər sistemdən istifadə etməklə daha az problemlə qarşılaşırlar.
5. Texniki dəstək xərclərini azaldın
Biz hər hansı əl yoxlamasını dayandırmışıq. İndi bütün yoxlamalar avtomatlaşdırılıb. Əvvəllər biz istifadəçilərdən problemlər haqqında öyrənirdik, istifadəçinin hansı problemdən danışdığını anlamaq çox vaxt çətin olurdu. İndi problemlərin əksəriyyəti monitorinq sistemi tərəfindən bildirilir; bildirişlərdə nəyin səhv olduğunu və harada olduğunu həmişə aydınlaşdıran texniki məlumatlar var.
Mühüm!
Siz monitorinq sistemini proqramlarınızın işlədiyi serverdə quraşdıra bilməzsiniz. Server sıradan çıxsa, proqramlar işləməyi dayandıracaq və bu barədə məlumat verəcək heç kim olmayacaq.
Monitorinq sistemi başqa məlumat mərkəzində ayrıca serverdə işləməlidir.
Yeni məlumat mərkəzində xüsusi serverdən istifadə etmək istəmirsinizsə, bulud monitorinq sistemindən istifadə edə bilərsiniz. Şirkətimiz Zidium bulud monitorinq sistemindən istifadə edir, lakin siz istənilən digər monitorinq sistemindən istifadə edə bilərsiniz. Bulud monitorinq sisteminin dəyəri yeni bir server icarəyə götürməkdən daha aşağıdır.
tövsiyələr:
- Tətbiqləri və sistemləri komponentlər ağacı şəklində mümkün qədər ətraflı şəkildə parçalayın, beləliklə harada və nəyin pozulduğunu anlamaq rahat olacaq və nəzarət daha tam olacaqdır.
- Komponentin funksionallığını yoxlamaq üçün testlərdən istifadə edin. Bir mürəkkəbdən çox sadə çeklərdən istifadə etmək daha yaxşıdır.
- Metrik hədləri kodda yazmaq əvəzinə monitorinq sisteminin yan tərəfində konfiqurasiya edin. Bu, sizi proqramı yenidən tərtib etmək, konfiqurasiya etmək və ya yenidən başlatmaq məcburiyyətindən xilas edəcək.
- Fərdi yoxlamalar üçün, yanlış bildirişlər almamaq üçün uyğunluq müddətindən istifadə edin, çünki bəzi yoxlamaların tamamlanması həmişəkindən bir qədər uzun çəkdi.
- Monitorinq sistemindəki komponentləri yalnız problem olduqda qırmızı rəngə çevirməyə çalışın. Əgər onlar boş yerə qırmızıya çevrilsələr, onda siz monitorinq sisteminin bildirişlərinə diqqət yetirməyi dayandıracaqsınız, mənasını itirəcəksiniz.
Əgər hələ də monitorinq sistemindən istifadə etmirsinizsə, başlayın! Göründüyü qədər çətin deyil. Özünüz böyütdüyünüz yaşıl inqrediyentlər ağacına baxmaqdan zövq alın.
Uğurlar.
Mənbə: www.habr.com