Praćenje u podatkovnom centru: kako smo zamijenili staru BMS s novom. Dio 3

Nastavljamo našu priču o tome kako smo promenili BMS sistem u našim DC-ima (dio 1, dio 2). Nismo samo zamenili rešenje jednog dobavljača drugim, već smo razvili sistem od nule prema našim zahtevima. Na kraju naše priče delimo rezultate rada i zanimljiva rešenja koja vam mogu biti korisna.

Novi interfejs

Tu, kao što kažu, bolje je jednom videti.

Stalci.

Razmotrićemo razlike.

• Prvo, to je lepo praktično. Obratite pažnju kako je sada lako pratiti opterećenja na modulima („Banks“ ili jednostavno „Banke“) PDU i zbir paralelnih opterećenja parnih modula. Na modelu stalka iz nove BMS odmah vidimo da su donji parni moduli PDU preopterećeni (ukupna struja viša od dozvoljenih 16A – „plavo“ obaveštenje), dok su gornji nedovoljno opterećeni. U slučaju isključenja jednog od ulaza, cela opterećenja preći će na drugi, a preostali donji modul isključit će se zbog preopterećenja. Da bismo to sprečili, tim za podršku DC-a unapred će obavestiti klijenta i poslati preporuku kako da preraspodeli opterećenje.
• Jednostavno dodavanje opreme. U novoj BMS virtuelni senzori za zbir struja modula i snagu stalka već su dodati u šablone tipičnih stalaka i automatski se kreiraju nakon dodavanja u stalka PDU. U staroj BMS morali su se ručno kreirati, a zatim premeštati na mapu, što je povećalo verovatnoću greške zbog „ljudskog faktora“.
• Neograničen prostor za kreativnost. Sada nemamo ograničenja prilikom kreiranja virtuelnih senzora. Moguće je konstruisati apsolutno sve matematičke modele bilo kojih varijabli. To znači da imamo mogućnost da kreiramo složene virtuelne senzore (ranije je bilo moguće samo sabrati vrednosti) i bolje analizirati statistiku i trendove rada inženjerskih sistema. To poboljšava kvalitet donošenja odluka o podešavanju sistema, zameni opreme i upravljanju resursima. 
• Jasan interfejs. U novom interfejsu nema gomilanja ikonica, ventilatori se vrte, prekidači „klikću“. I najpraktičnija stvar je mogućnost indikacije stanja PDU Linija A/B unutar stalaka. Pokušali smo da napravimo nešto slično u staroj BMS, ali broj spojeni ikonica na kvadratni centimetar mape naveo nas je da odustanemo od toga.

Sada je prijatno za oko:

Serveri.

Fragment razdjelnika.

Upravljačka ploča ventilacije.

A novu BMS možemo ukrasiti za Novu godinu 🙂

One page – međusobno razumijevanje s pola riječi i bez TZa

Već jako dugo želimo realizirati još jednu 'funkciju' u BMS-u: sastaviti na jednoj stranici glavne parametre podatkovnog centra, kako bi jedan pogled na ekran bio dovoljan za procjenu stanja glavnih sustava. Međutim, nismo do kraja razumjeli kako bi to trebalo izgledati.

Još prije početka razvoja nove BMS posjetili smo desetak podatkovnih centara u Nizozemskoj. Jedan od ciljeva bio je vidjeti primjere realizacije takve stranice.

I u nijednom podatkovnom centru nam je nisu pokazali – negdje je nije bilo, negdje su 'upravo radili na njoj', negdje je to bila 'velika poslovna tajna'. Stoga u našem TZu za izradu nove BMS nije bilo točnog opisa ove za nas vrlo važne stranice.

Na kraju smo je smislili doslovno 'usput'. Baš u tom trenutku morali smo daljinski savjetovati kolege u podatkovnom centru. Pretraživanje stranica BMS-a na telefonu u potrazi za raspršenim podacima bilo je vrlo neugodno, i zapravo je na salvete bila skicirana prva verzija. One page. Tako su i realizirali developeri prema slici. 

Slijedeći primjer opreznih nizozemskih kolega, nećemo prikazivati konačnu verziju naše glavne stranice, tim više što je svaki podatkovni centar jedinstven i nema smisla kopirati. No opisujemo dva glavna principa njezine izrade:

1. Ovo je tablica, oblikovana za format vertikalno postavljenog zaslona pametnog telefona (ili monitora, ali s očuvanjem vertikalnog položaja), s prikazom svih važnih informacija na jednom ekranu. Iznad tablice nalazi se 'sažetak' aktivnih incidenata, stoga je njihovo smještanje zajedno najprikladnije u vertikalnom formatu. 
2. Raspored ćelija u tablici ponavlja arhitekturu podatkovnog centra (fizičku ili logičku). Odustali smo od rasporeda sustava u abecednom redu, kao što bi se na prvi pogled moglo očekivati. Sekvenca odražava vizualne asocijacije osoblja podatkovnog centra – kao da fizički prate sve prostorije i sustave. To pojednostavljuje pretraživanje informacija.

U osnovi, sada su svi ključni karakteristike podatkovnog centra grupirani i predstavljeni na jednom ekranu pametnog telefona / monitora odgovornog inženjera i menadžera, dok je ostvarena povezanost s fizičkom i logičkom topologijom podatkovnog centra. 

Evo fotografije tog prvog nacrta, iako je ta verzija kasnije naravno preispitana i doradjena.

Kvitiranje i sažetak incidenata

Pričat ćemo o još jednom novom pojmu za nas, koji je nastao kao rezultat projekta za obnovu sustava praćenja.

Kvitiranje je prilično rijetko korišten termin koji je predložio razvijač novog BMS-a. Označava potvrdu da je operater video incident, potvrdio ga i preuzeo odgovornost za njegovo rješavanje.  

Reč je zaživela, i sada "kvitiramo" incidente.

Algoritam ugrađen u osnovnu verziju novog BMS-a nas nije zadovoljio. U suštini, to su bili komentari u dnevniku događaja, što znači da su rešeni incidenti ostajali u dnevniku, a prihvaćeni ("kvitirani") se nisu razlikovali od novih.

Na kraju je razvijen prozor pod nazivom "sažetak", gde:

1. Prikazuju se samo aktivni incidenti i uređaji u režimu servisa (bez komercijalnih "plavih" obaveštenja).
2. Jasno se razlikuju NOVI i PRIHVAĆENI incidenti.
3. Navedeno je ko je prihvatio incident.

Algoritam rada dežurnih u novom BMS-u je sledeći:

1. Novi incidenti ulaze u sažetak i čekaju kvitiranje. Ne mogu dugo ostati u ovom odeljku, odgovoran dežurni za uređaj mora odmah preuzeti incident.
2. Zaposleni preuzima incident na sebe pritiskom na kvačicu s desne strane. Budući da svi zaposleni rade pod jedinstvenim korisničkim nalozima, automatski se prikazuje ko je preuzeo incident. Po potrebi, ostavlja se komentar.
3. Incident se premješta u odjeljak "Kvitirani", ostali dežurni i menadžer razumeju da se incidentom bavi odgovorni zaposleni.

Primer prozora sažetka s novom i već kvitiranom porukom.

Kombinovanjem prozora sažetka sa tabelom One page, dobili smo glavni ekran sistema BMS, na kojem se odmah može videti: 

• stanje glavnih sistema podatkovnog centra;
• postojanje novih neobrađenih incidenata;
• postojanje prihvaćenih incidenta i podaci o tome ko ih konkretno rešava.

Pristup kroz preglednik i obavijesti na telefonu

Web sučelje dostupno s bilo kojeg uređaja s bilo kojeg mjesta na svijetu drastično se razlikuje od "debelog" klijenta koji je potpuno zatvoren za vanjske korisnike. 

Stari pristup nosio je sa sobom niz neugodnosti, od problema u organizaciji udaljenog rada zaposlenika službe monitoringa do potrebe instalacije "debelih" klijenata iz distribucija na radnim mjestima osoblja u podatkovnom centru.

Sada svaka stranica u BMS-u ima jedinstvenu adresu, što omogućava dijeljenje ne samo izravne adrese stranice ili uređaja, već i poveznica na jedinstvene grafikone/izvještaje. 

Pristup sustavu sada se ostvaruje putem LDAP-authentifikacije kroz Active Directory, što povećava razinu njegove sigurnosti. 

Mobilnost je danas ključni faktor kvalitetnog rada dežurnih inženjera. Pored kontrole monitoringa u prostoriji dežurne smjene, inženjeri obavljaju obilazak, izvršavaju tečajeve posla izvan "dežurke" i, zahvaljujući glavnom ekranu BMS-a optimiziranom za mobilne ekrane, ne gube kontrolu nad situacijom u strojarnicama ni trenutak. 

Kvaliteta kontrole također se povećava zahvaljujući funkcionalnosti radnih chatova. Oni ubrzavaju radne procese omogućujući "vezivanje" dopisivanja dežurnih inženjera uz BMS. Mi, na primjer, koristimo aplikaciju Teams koja omogućuje unutarnje dopisivanje i primanje svih poruka iz BMS-a na telefon u obliku iskačućih Push-obavijesti, čime se dežurnom osoblju olakšava rad bez stalnog gledanja u ekran telefona.

 Push-obavijest na ekranu pametnog telefona.

Tako obavijesti izgledaju u aplikaciji Teams.

Iskačuće obavijesti postavljene su samo na poruke o pojavi incidenata, čime se minimizira faktor ometanja; osoblje zna: ako se na ekranu pametnog telefona pojavi Push-obavijest Teams, potrebno je pristupiti stranici BMS-a i prihvatiti incident. Poruke o otklanjanju incidenata prate se već na stranici BMS-a.

Na fotografiji je sučelje BMS-a na pametnom telefonu.

Zaključno

S obzirom na troškove nadogradnje BMS kod našeg starog dobavljača, koji su bili usporedivi s razvojem novog sustava od nule (oko 100.000 USD), razlika u funkcionalnosti proizvoda bila je ogromna. Dobivamo fleksibilan sustav optimiziran za naše poslovne zadatke i procese. Također smo postigli značajne uštede u trenutnim troškovima podrške i ažuriranja sustava. 

No, naravno, bilo je i teškoća. 

• Prvo, podcijenili smo obim promjena koje je trebalo unijeti u osnovnu verziju novog BMS-a i nismo se uklopili u unaprijed dogovorene rokove. To nama nije bila kritična problema, jer smo se do samog kraja osiguravali radom na starom sustavu, a proces je bio kreativan, složen i stoga je ponekad trajao duže nego što se očekivalo. Osim toga, uvijek smo vidjeli da naš programer ulaže maksimum truda da postigne najbolji rezultat. Međutim, povijest se ispostavila kao vrlo dugačka, a naši ključni stručnjaci potrošili su znatno više truda i vremena nego što su planirali. 
• Drugo, bilo nam je potrebnih nekoliko faza testiranja kako bismo ispravili algoritam rezervacije virtualnih strojeva i komunikacijskih kanala. U početku su postojali problemi i s BMS sustavom i s postavkama virtualnih strojeva i mreže. Ova ispravka je također oduzela vrijeme. Na sreću, izvođaču je omogućena testna platforma u obliku oblačne usluge, gdje su se u početku testirale sve postavke i novine.
• Treće, konačni sustav se pokazao složenijim za uređivanje od strane krajnjeg korisnika. Dok je ranije karta bila podloga (grafička datoteka) i ikone koje se lako mogle mijenjati ili premještati, sada je to složen grafički sučelje s animacijom, koje zahtijeva određene vještine za uređivanje.

Radikalna nadogradnja našeg BMS sustava već se danas može nazvati najvažnijim projektom prošle godine, koji će ozbiljno utjecati na kvalitetu operativnog upravljanja našim lokacijama u budućnosti. 

Stari fizički server nismo izbacili, već smo ga „olakšali“: očistili smo ga od tisuća „komercijalnih“ virtualnih senzora i PDU-a te ostavili samo nekoliko desetaka najkritičnijih uređaja, poput DGU-a, UPS-a, klima uređaja, pumpi, senzora za curenje i temperaturu. U tom režimu se vratila nekadašnja brzina, a sada može biti „rezerva rezervi“. Usput, nakon uklanjanja PDU-a iz stare BMS-a, oslobodilo nam se oko 1000 sada već nepotrebnih licenci; slučajno ne znate što s njima učiniti?

Izvor: habr.com