{"id":80952,"date":"2020-05-10T01:42:22","date_gmt":"2020-05-09T23:42:22","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/monitoring-v-czode-kak-my-menyali-staruyu-bms-na-novuyu-chast-2"},"modified":"2020-05-10T01:42:22","modified_gmt":"2020-05-09T23:42:22","slug":"monitoring-v-czode-kak-my-menyali-staruyu-bms-na-novuyu-chast-2","status":"publish","type":"post","link":"https:\/\/prohoster.info\/ro\/blog\/administrirovanie\/monitoring-v-czode-kak-my-menyali-staruyu-bms-na-novuyu-chast-2","title":{"rendered":"Monitorizarea \u00een data center: cum am schimbat vechiul BMS cu unul nou. Partea 2","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Monitorizarea<\/p>\n

\u00cen prima parte am povestit despre motivele pentru care am decis s\u0103 schimb\u0103m vechea sistem BMS din centrele noastre de date cu unul nou. \u0218i nu doar s\u0103 schimb\u0103m, ci s\u0103 dezvolt\u0103m unul de la zero, conform cerin\u021belor noastre. \u00cen a doua parte, discut\u0103m despre cum am realizat acest lucru.
\n<\/a><\/noindex><\/p>\n

Analiza pie\u021bei<\/h2>\n

\n\u021ain\u00e2nd cont de cele men\u021bionate \u00een prima parte<\/a><\/noindex> cerin\u021bele \u0219i decizia de a renun\u021ba la actualizarea sistemului existent, am redactat un caiet de sarcini pentru a c\u0103uta solu\u021bii pe pia\u021b\u0103 \u0219i am trimis solicit\u0103ri c\u0103tre mai multe companii mari care se ocup\u0103 exclusiv cu crearea de sisteme SCADA industriale.\u00a0<\/p>\n

Primele r\u0103spunsuri de la acestea au ar\u0103tat c\u0103 liderii pie\u021bei sistemelor de monitorizare continu\u0103 s\u0103 lucreze predominant pe servere fizice, de\u0219i procesul de migrare \u00een cloud \u00een acest segment a \u00eenceput deja. \u00cen ceea ce prive\u0219te rezervarea ma\u0219inilor virtuale, aceast\u0103 op\u021biune nu era sus\u021binut\u0103 de nimeni. Mai mult, exista senza\u021bia c\u0103 niciunul dintre dezvoltatorii notabili de pe pia\u021b\u0103 nu a demonstrat chiar \u0219i \u00een\u021belegerea necesit\u0103\u021bii rezerv\u0103rii: \u201ecloud-ul nu pic\u0103\u201d a fost cel mai frecvent r\u0103spuns. Practic, ni s-a propus s\u0103 plas\u0103m monitorizarea centrului de date \u00een cloud, aflat fizic \u00een acela\u0219i centru de date.<\/p>\n

Aici trebuie s\u0103 facem o mic\u0103 digresiune despre procesul de alegere a contractorului. Pre\u021bul, desigur, conteaz\u0103, dar \u00een timpul oric\u0103rei licita\u021bii pentru implementarea unui proiect complex, \u00een etapa de dialog cu furnizorii, \u00eencepi s\u0103 sim\u021bi cine dintre candida\u021bi este mai interesat \u0219i capabil s\u0103 \u00eel realizeze.\u00a0<\/p>\n

Aceasta este deosebit de evident\u0103 \u00een cazul proiectelor complexe.\u00a0<\/p>\n

Dup\u0103 natura \u00eentreb\u0103rilor suplimentare la caietul de sarcini, se pot \u00eemp\u0103r\u021bi contractorii \u00een cei care sunt interesa\u021bi doar s\u0103 v\u00e2nd\u0103 (se simte o presiune standard din partea managerului de v\u00e2nz\u0103ri) \u0219i cei care sunt interesa\u021bi s\u0103 dezvolte un produs, ascult\u00e2nd \u0219i \u00een\u021beleg\u00e2nd clientul, contribuind cu corec\u021bii constructive la caietul de sarcini \u00eenainte de selec\u021bia final\u0103 (chiar \u0219i \u00een ciuda riscului real de a \u00eembun\u0103t\u0103\u021bi caietul de sarcini al altcuiva \u0219i a pierde licita\u021bia), \u00een cele din urm\u0103 fiind pur \u0219i simplu dispu\u0219i s\u0103 accepte o provocare profesional\u0103 \u0219i s\u0103 creeze un produs de calitate.<\/p>\n

Toate acestea ne-au determinat s\u0103 ne \u00eendrept\u0103m aten\u021bia c\u0103tre un dezvoltator local relativ mic \u2013 grupul de companii \u201eSanline\u201d, care a r\u0103spuns la majoritatea cerin\u021belor noastre de la \u00eenceput \u0219i a fost preg\u0103tit s\u0103 realizeze toate nevoile legate de noul BMS.\u00a0<\/p>\n

Riscuri<\/h2>\n

\n\u00cen timp ce marii juc\u0103tori \u00eencercau s\u0103 \u00een\u021beleag\u0103 ce dorim \u0219i purtau o coresponden\u021b\u0103 lent\u0103 cu noi, atr\u0103g\u00e2nd speciali\u0219ti de nivel presale, un dezvoltator local a programat o \u00eent\u00e2lnire la biroul nostru, implic\u00e2nd echipa sa tehnic\u0103. La aceast\u0103 \u00eent\u00e2lnire, contractorul a reafirmat dorin\u021ba de a participa la proiect \u0219i, mai important, a explicat cum va fi implementat sistemul solicitat.\u00a0\u00a0\u00a0\u00a0<\/p>\n

\u00cenainte de \u00eent\u00e2lnire, am identificat dou\u0103 riscuri asociate lucrului cu o echip\u0103 care nu are \u00een spate resursa unei mari companii na\u021bionale sau interna\u021bionale:<\/p>\n

    \n
  1. Speciali\u0219tii ar putea suprestima capabilit\u0103\u021bile lor \u0219i, prin urmare, pur \u0219i simplu nu ar reu\u0219i; de exemplu, ar putea folosi software complicat sau s\u0103 proiecteze algoritmi de rezervare imposibili de realizat.<\/li>\n
  2. Dup\u0103 implementarea proiectului, echipa ar putea s\u0103 se destrame, iar, prin urmare, suportul pentru produs ar fi \u00een pericol.<\/li>\n<\/ol>\n

    \nPentru a minimiza aceste riscuri, am invitat speciali\u0219tii no\u0219tri \u00een dezvoltare la \u00eent\u00e2lnire. Angaja\u021bii poten\u021bialului contractor au fost interoga\u021bi cu aten\u021bie cu privire la modul \u00een care este construit sistemul, cum se planific\u0103 realizarea rezerv\u0103rii \u0219i asupra altor probleme \u00een care, ca serviciu opera\u021bional, nu suntem suficient de competen\u021bi.<\/p>\n

    Verdictul a fost pozitiv: arhitectura platformei BMS existente este modern\u0103, simpl\u0103 \u0219i fiabil\u0103, poate fi completat\u0103, iar schema de rezervare \u0219i sincronizare propus\u0103 este logic\u0103 \u0219i func\u021bional\u0103.\u00a0<\/p>\n

    Am gestionat primul risc. Al doilea a fost exclus, ob\u021bin\u00e2nd de la contractor confirmarea c\u0103 sunt preg\u0103ti\u021bi s\u0103 ne transfere codul surs\u0103 al sistemului \u0219i documenta\u021bia, aleg\u00e2nd, de asemenea, limbajul de programare Python, bine cunoscut de speciali\u0219tii no\u0219tri. Acest lucru ne-a garantat posibilitatea de a sus\u021bine sistemul cu propriile for\u021be, f\u0103r\u0103 nicio dificultate \u0219i f\u0103r\u0103 o perioad\u0103 lung\u0103 de \u00eenv\u0103\u021bare pentru angaja\u021bi \u00een caz de retragere a companiei dezvoltatoare de pe pia\u021b\u0103.<\/p>\n

    Un alt avantaj al platformei a fost implementarea acesteia \u00een containere Docker: \u00een acest mediu func\u021bioneaz\u0103 nucleul, interfa\u021ba web \u0219i baza de date a produsului. Aceast\u0103 abordare ofer\u0103 numeroase beneficii, inclusiv configurarea prestabilit\u0103 pentru o vitez\u0103 de desf\u0103\u0219urare a solu\u021biei mai mare comparativ cu \u201eclasicul\u201d \u0219i ad\u0103ugarea simpl\u0103 de noi dispozitive \u00een sistem. Principiul \u201etotul \u00eempreun\u0103\u201d simplific\u0103 la maxim implementarea sistemului: este suficient s\u0103 despachetezi sistemul \u0219i se poate \u00eencepe imediat exploatarea acestuia.\u00a0<\/p>\n

    Cu o astfel de solu\u021bie, este mai u\u0219or s\u0103 faci copii ale sistemului, iar \u00eembun\u0103t\u0103\u021birile \u0219i upgrade-urile pot fi realizate \u00eentr-un mediu separat, f\u0103r\u0103 a opri func\u021bionarea solu\u021biei \u00een ansamblu.\u00a0\u00a0<\/p>\n

    Dup\u0103 ce am minimizat ambele riscuri, contractorul a prezentat un deviz. Acesta a detaliat toate cele mai importante parametrii ai sistemului BMS pentru noi.<\/p>\n

    Rezervare<\/h2>\n

    \nNoua sistem\u0103 BMS trebuia s\u0103 fie \u00een cloud, pe o ma\u0219in\u0103 virtual\u0103.\u00a0<\/p>\n

    F\u0103r\u0103 hardware, f\u0103r\u0103 servere \u0219i inconveniente \u0219i riscuri asociate cu acest model de desf\u0103\u0219urare \u2013 solu\u021bia cloud ne-a permis s\u0103 sc\u0103p\u0103m complet de acestea. S-a decis c\u0103 sistemul va func\u021biona \u00een cloud-ul nostru pe dou\u0103 loca\u021bii de datacentere \u00een Sankt Petersburg \u0219i Moscova. Acestea sunt dou\u0103 sisteme complet func\u021bionale, oper\u00e2nd \u00een modul activ standby, cu acces pentru to\u021bi speciali\u0219tii autoriza\u021bi.\u00a0<\/p>\n

    Cele dou\u0103 sisteme se asigur\u0103 reciproc, oferind o rezerv\u0103 complet\u0103 at\u00e2t de puterea de calcul, c\u00e2t \u0219i de canalele de transmisie a datelor. De asemenea, au fost configurate m\u0103suri suplimentare de securitate, inclusiv backup-uri ale datelor \u0219i canalelor, sistemelor, ma\u0219inilor virtuale \u00een ansamblu \u0219i backup-uri separate ale bazei de date o dat\u0103 pe lun\u0103 (cea mai valoroas\u0103 resurs\u0103 \u00een perspectiva managementului \u0219i analizei).\u00a0<\/p>\n

    S\u0103 men\u021bion\u0103m c\u0103 op\u021biunea de rezervare ca parte a solu\u021biei BMS a fost dezvoltat\u0103 special pentru cerin\u021bele noastre. Schema de rezervare ar\u0103ta astfel:<\/p>\n

    \"Monitorizarea<\/p>\n

    Asisten\u021b\u0103<\/h2>\n

    Un aspect esen\u021bial pentru exploatarea eficient\u0103 a solu\u021biei BMS \u2013 suportul tehnic.\u00a0<\/p>\n

    Aici totul este simplu: noul sistem ne-ar costa 35 000 ruble pe lun\u0103 pentru SLA \u2018reac\u021bie \u00een termen de 8 ore\u2019, adic\u0103 35 000 x 12 \/ 80 = 5 250 $ pe an. Primul an \u2013 gratuit.\u00a0<\/p>\n

    Pentru compara\u021bie: suportul vechii BMS de la furnizor costa $18,000 pe an, cu o cre\u0219tere a sumei pentru fiecare dispozitiv nou ad\u0103ugat! \u00cen plus, compania nu oferea un manager dedicat; toate interac\u021biunile se desf\u0103\u0219urau prin intermediul unui manager de v\u00e2nz\u0103ri, care era interesat de noi ca de un poten\u021bial client, cu un accent corespunz\u0103tor \u00een gestionarea solicit\u0103rilor.\u00a0<\/p>\n

    Pentru o sum\u0103 mai mic\u0103, am primit un suport complet al produsului, cu un account manager care s\u0103 participe la dezvoltarea acestuia, cu un punct de contact unic etc. Suportul a devenit mult mai flexibil \u2013 datorit\u0103 accesului direct la dezvoltatori pentru ajust\u0103ri rapide \u00een leg\u0103tur\u0103 cu orice aspect al func\u021bion\u0103rii sistemului, integrarea prin API etc.<\/p>\n

    Actualiz\u0103ri<\/h2>\n

    \n\u00cen oferta propus\u0103 \u00een noua BMS, toate actualiz\u0103rile sunt incluse \u00een costul suportului, adic\u0103 nu necesit\u0103 o plat\u0103 suplimentar\u0103. Excep\u021bia o constituie dezvoltarea func\u021bionalit\u0103\u021bii suplimentare, peste ceea ce este specificat \u00een specifica\u021biile tehnice.\u00a0<\/p>\n

    Vechea sistem presupunea plata at\u00e2t pentru actualizarea software-ului gratuit integrat (de tip Java), c\u00e2t \u0219i pentru corectarea erorilor. Renun\u021barea la aceasta nu era posibil\u0103; \u00een absen\u021ba actualiz\u0103rilor, sistemul \u00een ansamblu '\u00eencetinea' din cauza versiunilor vechi ale componentelor interne.<\/p>\n

    \u0218i, desigur, nu era posibil s\u0103 actualiz\u0103m software-ul f\u0103r\u0103 achizi\u021bionarea pachetului de suport.<\/p>\n

    Abordare flexibil\u0103<\/h2>\n

    \nO alt\u0103 cerin\u021b\u0103 esen\u021bial\u0103 se referea la interfa\u021b\u0103. Vream s\u0103 asigur\u0103m accesul la aceasta prin intermediul unui browser web din orice loc, f\u0103r\u0103 a necesita prezen\u021ba obligatorie a unui inginer \u00een zona centrului de date. \u00cen plus, ne-am propus s\u0103 cre\u0103m o interfa\u021b\u0103 animat\u0103, astfel \u00eenc\u00e2t dinamica func\u021bion\u0103rii infrastructurii s\u0103 fie mai vizibil\u0103 pentru inginerii de serviciu.\u00a0<\/p>\n

    De asemenea, \u00een noul sistem trebuia s\u0103 asigur\u0103m suport pentru formulele necesare calcul\u0103rii func\u021bion\u0103rii senzorilor virtuali \u00een sistemele de inginerie \u2013 de exemplu, pentru distribuirea optim\u0103 a puterii electrice pe rack-urile cu echipamente. Pentru aceasta, este necesar s\u0103 avem la dispozi\u021bie toate opera\u021biile matematice obi\u0219nuite aplicabile indicatorilor senzorilor.\u00a0<\/p>\n

    Apoi, era necesar accesul la baza de date SQL, cu posibilitatea de a extrage datele necesare despre activitatea echipamentelor \u2013 mai precis, toate \u00eenregistr\u0103rile privind monitorizarea a dou\u0103 mii de dispozitive \u0219i dou\u0103 mii de senzori virtuali, gener\u00e2nd aproximativ 20 de mii de variabile.\u00a0<\/p>\n

    De asemenea, era necesar un modul de gestionare a echipamentului \u00een rack, care s\u0103 ofere o reprezentare grafic\u0103 a amplas\u0103rii dispozitivelor \u00een fiecare unitate, cu calculul greut\u0103\u021bii totale a \u201ehardului\u201d, men\u021binerea unei biblioteci de echipamente \u0219i informa\u021bii detaliate despre fiecare element.\u00a0<\/p>\n

    Aprobarea specifica\u021biilor tehnice \u0219i semnarea contractului<\/h2>\n

    \n\u00cen acel moment, c\u00e2nd era necesar s\u0103 \u00eencepem lucrul la noul sistem, coresponden\u021ba cu 'companiile mari' era \u00eenc\u0103 foarte departe de discutarea costurilor propunerilor lor, a\u0219a c\u0103 am comparat oferta primit\u0103 cu cheltuielile pentru actualizarea vechii BMS (vezi. prima parte<\/a><\/noindex>), iar \u00een rezultatul ei s-a dovedit a fi mai atractiv\u0103 din punct de vedere al pre\u021bului \u0219i conform\u0103 cerin\u021belor noastre.<\/p>\n

    A fost f\u0103cut\u0103 alegerea.<\/p>\n

    Dup\u0103 alegerea contractorului, avoca\u021bii au \u00eenceput s\u0103 redacteze contractul, iar echipele tehnice de ambele p\u0103r\u021bi au rafinat specifica\u021biile tehnice. Dup\u0103 cum se \u0219tie, un document tehnic detaliat \u0219i bine fundamentat este baza succesului oric\u0103rei lucr\u0103ri. Cu c\u00e2t sunt mai concrete specifica\u021biile tehnice, cu at\u00e2t sunt mai pu\u021bine deloc\u0103ri de genul \u201enoi nu am vrut a\u0219a\u201d.<\/p>\n

    Voi da dou\u0103 exemple de nivelul de detaliere a cerin\u021belor \u00een specifica\u021biile tehnice:<\/p>\n

      \n
    1. Centralele de date de carantin\u0103 au fost \u00eemputernicite s\u0103 adauge noi dispozitive \u00een BMS, cele mai frecvente fiind PDU. \u00cen vechiul BMS, acest lucru era la nivelul \u201eadministratorului\u201d, permi\u021b\u00e2nd inclusiv schimbarea set\u0103rilor variabilelor pentru toate dispozitivele, iar separarea func\u021biilor era imposibil\u0103. Acest lucru nu ne-a mul\u021bumit. \u00cen versiunea de baz\u0103 existent\u0103 a noii platforme, schema era similar\u0103. Am specificat imediat \u00een TDR c\u0103 dorim s\u0103 separ\u0103m aceste roluri: set\u0103rile ar trebui s\u0103 fie schimbate doar de un angajat autorizat, dar personalul de la paz\u0103 ar trebui s\u0103 aib\u0103 \u00een continuare posibilitatea de a ad\u0103uga dispozitive. Aceast\u0103 schem\u0103 a fost acceptat\u0103 pentru implementare.<\/li>\n
    2. \u00a0\u00cen orice BMS standard, exist\u0103 trei categorii tipice de notific\u0103ri: RO\u0218IE \u2013 trebuie reac\u021bionat imediat, GALBEN\u0102 \u2013 se poate observa, ALBASTR\u0102 \u2013 \u201eInforma\u021bional\u0103\u201d. Am folosit tradi\u021bional notific\u0103rile \u201ealbastre\u201d pentru monitorizarea dep\u0103\u0219irii parametrilor comerciali, de exemplu, dep\u0103\u0219irea limitei de capacitate a rack-ului clientului. Acest tip de notific\u0103ri, \u00een cazul nostru, era destinat managerilor \u0219i nu era de interes pentru serviciul de operare, dar \u00een vechea BMS cu regularitate aglomera lista incidentelor active \u0219i \u00eengreuna munca operativ\u0103. Am considerat logic\u0103 \u0219i reu\u0219it\u0103 diferen\u021bierea culorii notific\u0103rilor, dar \u00een caietul de sarcini am precizat c\u0103 notific\u0103rile \u201ealbastre\u201d ar trebui, f\u0103r\u0103 a distrage aten\u021bia celor de serviciu, s\u0103 \u201ecad\u0103\u201d silen\u021bios \u00eentr-o sec\u021biune separat\u0103, unde vor fi gestionate de speciali\u0219ti comerciali.<\/li>\n<\/ol>\n

      \nCu un grad similar de detaliere, au fost descrise formatele de construire a graficelor \u0219i generarea rapoartelor, contururile interfe\u021belor, lista dispozitivelor care trebuiau monitorizate \u0219i multe alte aspecte.\u00a0<\/p>\n

      A fost o munc\u0103 cu adev\u0103rat creativ\u0103 a trei grupuri de lucru \u2013 a serviciului clientului, care \u0219i-a dictat cerin\u021bele \u0219i condi\u021biile; a speciali\u0219tilor tehnici de ambele p\u0103r\u021bi, care aveau sarcina de a transforma aceste condi\u021bii \u00een documenta\u021bie tehnic\u0103; \u0219i a echipei de programatori ai contractorului, care implementau cerin\u021bele clientului conform documenta\u021biei tehnice elaborate... \u00cen cele din urm\u0103, am adaptat unele dintre cerin\u021bele noastre neesen\u021biale la func\u021bionalit\u0103\u021bile deja existente ale platformei, iar contractorul s-a angajat s\u0103 complecteze pentru noi.\u00a0<\/p>\n

      Func\u021bionarea paralel\u0103 a dou\u0103 sisteme<\/h2>\n

      \n\"Monitorizarea
      \nA sosit momentul implement\u0103rii. \u00cen practic\u0103, aceasta \u00eensemna c\u0103 oferim contractorului posibilitatea de a desf\u0103\u0219ura prototipul BMS \u00een cloudul nostru virtual \u0219i \u00eei oferim acces la re\u021bea la toate dispozitivele ce necesit\u0103 monitorizare.<\/p>\n

      Cu toate acestea, noul sistem \u00eenc\u0103 nu era preg\u0103tit pentru operare. \u00cen aceast\u0103 etap\u0103, era important pentru noi s\u0103 men\u021binem monitorizarea \u00een vechiul sistem \u0219i \u00een acela\u0219i timp s\u0103 oferim acces la dispozitive pentru noul sistem. Nu este posibil s\u0103 construie\u0219ti un sistem normal f\u0103r\u0103 a vedea dispozitivele din el, care la r\u00e2ndul lor nu pot fi deconectate de la monitorizarea vechiului sistem.\u00a0<\/p>\n

      A fost neclar dac\u0103 dispozitivele vor suporta interogarea simultan\u0103 de c\u0103tre dou\u0103 sisteme f\u0103r\u0103 teste reale. Existau \u0219anse ca interogarea dubl\u0103 s\u0103 duc\u0103 la frecvente e\u0219ecuri \u00een r\u0103spunsurile dispozitivelor \u0219i s\u0103 ob\u021binem multe erori de inaccesibilitate, ceea ce ar bloca func\u021bionarea vechiului sistem de monitorizare.<\/p>\n

      Departamentul de re\u021bea a conectat rutele virtuale de la prototipul noii BMS implementat \u00een cloud c\u0103tre dispozitive, iar noi am ob\u021binut rezultatele:\u00a0<\/p>\n