Nadzor u podatkovnom centru: kako smo stari BMS zamijenili novim. 3. dio

Nastavljamo priču o tome kako smo promijenili BMS sustav u našim podatkovnim centrima (Dio 1, Dio 2). Istovremeno, nismo samo zamijenili rješenje jednog dobavljača za drugog, već smo od nule razvili sustav koji odgovara našim zahtjevima. Na kraju naše priče, dijelimo rezultate obavljenog posla i zanimljiva rješenja koja bi vam mogla biti od koristi.

Novo sučelje

Ovdje je, kako kažu, bolje vidjeti jednom.

Stalci.

Pogledajmo razlike.

• Prvo, to je красиво udobno. Primijetite koliko je jednostavno postalo pratiti opterećenja na PDU modulima ("Banke" ili jednostavno "Banke") i zbroj paralelnih opterećenja uparenih modula. Na modelu stalka iz novog BMS-a odmah vidimo da su donji upareni PDU moduli preopterećeni (ukupna struja je veća od dopuštenih 16A - "plava" obavijest), a gornji su podopterećeni. Ako je jedan od ulaza isključen, cijelo opterećenje će se prenijeti na drugi, a donji modul koji ostaje pod naponom isključit će se zbog preopterećenja. Kako se to ne bi dogodilo, služba za podršku podatkovnog centra će unaprijed upozoriti klijenta i poslati preporuku kako preraspodijeliti opterećenje.
• Jednostavno dodavanje opreme. U novom BMS-u, virtualni senzori za zbrojeve struja modula i snage stalka već su dodani standardnim predlošcima stalka i kreiraju se automatski nakon dodavanja PDU-a u stalak. U starom BMS-u morali su se kreirati ručno i potom povući na kartu, što je povećalo vjerojatnost pogreške zbog "ljudskog faktora".
• Neograničen prostor za kreativnost. Sada nemamo ograničenja pri izradi virtualnih senzora. Možete izgraditi apsolutno sve matematičke modele bilo koje varijable. To znači da imamo mogućnost stvaranja složenih virtualnih senzora (ranije smo mogli samo dodavati vrijednosti) i bolje analizirati statistiku i trendove u izvedbi inženjerskih sustava. To poboljšava kvalitetu odluka koje se donose u vezi s konfiguracijom sustava, zamjenom opreme i upravljanjem resursima. 
• Intuitivno sučelje. U novom sučelju nema gomile ikona, ventilatori se okreću, prekidači "kliknu". A najprikladnija stvar je mogućnost indikacije statusa PDU linije A/B unutar regala. Pokušali smo napraviti nešto slično u starom BMS-u, ali nas je broj spojenih ikona po kvadratnom centimetru karte natjerao da to napustimo.

Sada je lijepo pogledati:

poslužitelj.

Ulomak glavne razvodne ploče.

Upravljačka ploča ventilacije.

I novi BMS se može ukrasiti za Novu godinu :)

Jedna stranica – međusobno razumijevanje bez riječi i bez tehničkih specifikacija

Dugo smo željeli implementirati još jedan “trik” u BMS: kompilirati glavne parametre podatkovnog centra na jednoj stranici, tako da bi jedan pogled na ekran bio dovoljan za procjenu statusa glavnih sustava. Međutim, nismo u potpunosti razumjeli kako bi to trebalo izgledati.

Čak i prije početka razvoja novog BMS-a, na ekskurzijama smo posjetili desetak podatkovnih centara u Nizozemskoj. Jedan od ciljeva je bio vidjeti primjere implementacije takve stranice.

I niti jedan podatkovni centar nam ga nije pokazao - u nekima ga nije bilo, u drugima se "upravo razvija", u trećima je bio "velika poslovna tajna". Stoga u našem projektnom zadatku za izradu novog BMS-a nije bilo preciznog opisa ove za nas vrlo važne stranice.

Kao rezultat toga, došli smo do njega doslovno "u hodu". Baš u tom trenutku morao sam daljinski konzultirati kolege u podatkovnom centru. Bilo je vrlo nezgodno listati stranicama BMS-a na telefonu u potrazi za razbacanim podacima, a zapravo je prva verzija bila skicirana na salveti Jedna stranica. Implementirali su ga programeri na temelju fotografije. 

Po uzoru na naše oprezne nizozemske kolege, nećemo demonstrirati konačnu verziju naše glavne stranice, tim više što je svaki podatkovni centar jedinstven i nema smisla kopirati ga. No, opisat ćemo dva glavna principa njegovog formiranja:

1. Ovo je tablica dizajnirana da odgovara formatu okomitog zaslona pametnog telefona (ili monitora, ali uz zadržavanje okomitog rasporeda), sa svim važnim informacijama prikazanim na jednom zaslonu. Iznad tablice nalazi se “sažetak” aktivnih incidenata, pa je bilo najprikladnije staviti ih zajedno u okomiti format. 
2. Raspored ćelija u tablici prati arhitekturu podatkovnog centra (fizičku ili logičku). Odustali smo od rasporeda sustava po abecednom redu, kako bi na prvi pogled bilo poželjno. Sekvenca odražava vizualne asocijacije osoblja podatkovnog centra - kao da fizički nadziru sve prostorije i sustave. To olakšava pronalaženje informacija.

Naime, sada su apsolutno sve ključne karakteristike podatkovnog centra grupirane i prikazane na jednom ekranu pametnog telefona/monitora odgovornog inženjera i voditelja, a implementirano je i povezivanje s fizičkom i logičkom topografijom podatkovnog centra. 

Evo fotografije tog prvog nacrta, iako je, naravno, tada ova verzija ponovno osmišljena i finalizirana.

Priznanje i sažetak događaja

Razgovarajmo o još jednom za nas novom konceptu koji je nastao kao rezultat projekta ažuriranja sustava nadzora.

Rukovanje je prilično rijedak izraz koji je predložio programer novog BMS-a. To znači potvrdu da je operater vidio incident, potvrdio ga i prihvatio odgovornost da ga riješi.  

Riječ je zapela, a sada "priznajemo" incidente.

Algoritam uključen u osnovnu verziju novog BMS-a nije nam odgovarao. Zapravo, radilo se o komentarima na dnevnik događaja, odnosno riješeni incidenti nisu nestajali iz dnevnika, a prihvaćeni ("priznati") nisu razvrstani od novih.

Kao rezultat toga, razvijen je prozor nazvan "sažetak", u kojem:

1. Prikazuju se samo aktivni incidenti i uređaji u servisnom načinu rada (bez komercijalnih plavih obavijesti).
2. Postoji jasna razlika između NOVIH i PRIHVAĆENIH incidenata.
3. Naznačeno je tko je prihvatio incident.

Algoritam rada dežurnih u novom BMS-u je sljedeći:

1. Novi incidenti uključeni su u izvješće i čekaju potvrdu. U ovom dijelu ne mogu ostati dugo, dežurna osoba za opremu mora odmah preuzeti odgovornost za incident.
2. Zaposlenik preuzima odgovornost za incident klikom na kvačicu s desne strane. Budući da su svi zaposlenici pod jedinstvenim računima, automatski se prikazuje tko je prihvatio incident. Ako je potrebno, ostavite komentar.
3. Incident se premješta u rubriku “Primljeno na znanje”, ostali dežurni i voditelj shvaćaju da incident rješava odgovorni djelatnik.

Primjer prozora sažetka s novom i već potvrđenom porukom.

Spajanjem prozora sažetka s tablicom One page dobili smo punu glavni zaslon BMS sustav, gdje odmah možete vidjeti: 

• stanje glavnih sustava podatkovnog centra;
• prisutnost novih neobrađenih incidenata;
• prisutnost prihvaćenih incidenata i informacije o tome tko ih konkretno otklanja.

Pristup pregledniku i skočna upozorenja na telefonu

Web sučelje, dostupno s bilo kojeg uređaja s bilo kojeg mjesta u svijetu, oštar je kontrast "debelom" klijentu koji je potpuno zatvoren za vanjske korisnike. 

Stari pristup podrazumijevao je niz neugodnosti, od problema u organizaciji rada na daljinu za nadgledanje zaposlenika servisa do potrebe za instaliranjem "debelih" klijenata iz distribucijskih kompleta na radne stanice osoblja u podatkovnom centru.

Sada svaka stranica u BMS-u ima jedinstvenu adresu, koja vam omogućuje dijeljenje ne samo izravne adrese stranice ili uređaja, već i poveznica na jedinstvene grafikone/izvješća. 

Pristup sustavu sada se provodi putem LDAP autentifikacije kroz Active Directory, čime se povećava njegova razina sigurnosti. 

Mobilnost je danas ključni čimbenik kvalitetnog rada dežurnih inženjera. Osim praćenja nadzora u prostoriji dežurne smjene, inženjeri obilaze, obavljaju rutinske poslove izvan "dežurne sobe" i, zahvaljujući BMS glavnom ekranu optimiziranom za mobilne zaslone, ne gube kontrolu nad onim što se događa u turbinskim sobama čak ni na sekundu. 

Kvaliteta kontrole također je poboljšana zahvaljujući funkcionalnosti radnih chatova. Ubrzavaju radne procese dopuštajući da se korespondencija dežurnih inženjera „poveže“ s BMS-om. Na primjer, koristimo aplikaciju Teams koja vam omogućuje interno dopisivanje i primanje svih poruka iz BMS-a na vaš telefon u obliku pop-up Push notifikacija, što eliminira potrebu da dežurni stalno gleda u telefon. zaslon.

 Push obavijest na zaslonu pametnog telefona.

Ovako izgledaju obavijesti u aplikaciji Teams.

Istodobno, skočne obavijesti konfigurirane su samo za poruke o pojavi incidenata, čime se minimalizira faktor ometanja; osoblje zna: ako se na zaslonu pametnog telefona pojavi Teams Push Notification, tada moraju otići na BMS stranicu i prihvatiti incident. Poruke o rješavanju incidenata prate se na stranici BMS-a.

Fotografija prikazuje BMS sučelje u pametnom telefonu.

Sažimanje

Iako je cijena ažuriranja BMS-a našeg starog dobavljača bila usporediva s razvojem novog sustava od nule (oko 100 USD), razlika u funkcionalnosti proizvoda pokazala se kolosalnom. Dobili smo fleksibilan sustav optimiziran za naše poslovne zadatke i procese. Također smo postigli značajne uštede u tekućoj podršci sustava i troškovima nadogradnje. 

Ali, naravno, bilo je poteškoća. 

• Prvo, podcijenili smo količinu promjena koje je trebalo napraviti na osnovnoj verziji novog BMS-a i nismo ispunili unaprijed dogovorene rokove. Za nas to nije bio kritičan problem, jer smo bili osigurani do zadnjeg trena i radili smo na starom sustavu, a proces je bio kreativan, kompleksan i samim time ponekad išao sporije od očekivanog. Osim toga, uvijek smo vidjeli da se naš programer trudi postići najbolji rezultat. No zapravo se priča pokazala jako dugom, a naši ključni stručnjaci u nju su uložili mnogo više truda i vremena nego što su planirali. 
• Drugo, bilo nam je potrebno nekoliko faza testiranja kako bismo otklonili pogreške algoritma za rezerviranje virtualnih strojeva i komunikacijskih kanala. U početku je bilo kvarova kako na strani BMS sustava tako i na strani postavljanja virtualnih strojeva i mreže. Ovo otklanjanje pogrešaka također je potrajalo. Srećom, izvođaču je osigurana testna platforma u obliku usluge u oblaku, gdje su sve postavke i inovacije inicijalno testirane.
• Treće, pokazalo se da je krajnji korisnik teže uređivati ​​dobiveni sustav. Ako se karta prije sastojala od pozadine (grafičke datoteke) i ikona koje je bilo lako mijenjati ili pomicati, sada je to složeno grafičko sučelje s animacijom koje zahtijeva određene vještine uređivanja.

Radikalno ažuriranje našeg BMS sustava već se može nazvati najvažnijim projektom protekle godine, koji će ozbiljno utjecati na kvalitetu operativnog upravljanja našim stranicama u budućnosti. 

Mi, naravno, nismo izbacili stari željezni poslužitelj, već smo ga "olakšali": očistili smo ga od tisuća "komercijalnih" virtualnih senzora i PDU-ova i ostavili u njemu samo nekoliko desetaka najkritičnijih uređaja, poput dizelaša generatorski setovi, UPS, klima uređaji, pumpe, senzori curenja i temperature U ovom načinu mu se vratila nekadašnja brzina i on može biti "rezervna rezerva". Usput, nakon uklanjanja PDU-a iz starog BMS-a, oslobodili smo oko 1000 sada nepotrebnih licenci, znate li slučajno što s njima?

Izvor: www.habr.com