Overvåking i datasenteret: hvordan vi erstattet den gamle BMS med en ny. Del 3

Vi fortsetter vår historie om hvordan vi endret BMS-systemet i datasentrene våre (del 1, del 2). Samtidig byttet vi ikke bare løsningen til en leverandør med en annen, men utviklet et system fra bunnen av for å passe våre behov. På slutten av historien vår deler vi resultatene av arbeidet som er utført og interessante løsninger som kan være nyttige for deg.

Nytt grensesnitt

Her, som de sier, er det bedre å se en gang.

Stativ.

La oss se på forskjellene.

• Først, er det красиво praktisk. Legg merke til hvor enkelt det har blitt å spore belastningene på PDU-moduler ("Banker" eller ganske enkelt "Banker") og summen av parallelle belastninger av sammenkoblede moduler. På stativmodellen fra den nye BMS ser vi umiddelbart at de nedre parede PDU-modulene er overbelastet (den totale strømmen er høyere enn den tillatte 16A - "blå" varsling), og de øvre er underbelastet. Hvis en av inngangene kobles fra, vil hele lasten overføres til den andre, og den nedre modulen som forblir strømførende vil slå seg av på grunn av overbelastning. For å forhindre at dette skjer, vil datasenterets støttetjeneste varsle klienten på forhånd og sende en anbefaling om hvordan lasten skal omfordeles.
• Enkelt tillegg av utstyr. I det nye BMS er virtuelle sensorer for summer av modulstrømmer og rackkraft allerede lagt til standard rackmaler og opprettes automatisk etter at en PDU er lagt til i racket. I det gamle BMS måtte de opprettes manuelt og deretter dras inn på kartet, noe som økte sannsynligheten for feil på grunn av den "menneskelige faktoren".
• Ubegrenset omfang for kreativitet. Nå har vi ingen begrensninger når vi lager virtuelle sensorer. Du kan bygge absolutt alle matematiske modeller av alle variabler. Dette betyr at vi har muligheten til å lage komplekse virtuelle sensorer (tidligere kunne vi bare legge til verdier) og bedre analysere statistikk og trender i ytelsen til tekniske systemer. Dette forbedrer kvaliteten på beslutninger som tas angående systemkonfigurasjon, utskifting av utstyr og ressursstyring. 
• Intuitivt grensesnitt. I det nye grensesnittet er det ingen rot av ikoner, fans snurrer, brytere "klikker." Og det mest praktiske er muligheten til å indikere statusen til PDU Line A/B inne i stativene. Vi prøvde å gjøre noe lignende i det gamle BMS, men antallet sammenslåtte ikoner per kvadratcentimeter av kartet tvang oss til å forlate det.

Nå er det fint å se på:

Server.

Fragment av hovedtavlen.

Ventilasjonskontrollpanel.

Og den nye BMS-en kan pyntes til nyttår  🙂

Én side – gjensidig forståelse uten et ord og uten tekniske spesifikasjoner

I veldig lang tid ønsket vi å implementere et annet "triks" i BMS: å kompilere hovedparametrene til datasenteret på én side, slik at ett blikk på skjermen ville være nok til å vurdere statusen til hovedsystemene. Vi forsto imidlertid ikke helt hvordan det skulle se ut.

Allerede før utviklingen av det nye BMS startet, besøkte vi et titalls datasentre i Nederland på utflukter. Et av målene var å se eksempler på implementering av en slik side.

Og ikke et eneste datasenter viste det til oss - i noen var det ikke der, i andre var det "under utvikling akkurat nå", i andre var det en "stor forretningshemmelighet". Derfor var det ingen presis beskrivelse av denne svært viktige siden for oss i vårt mandat for opprettelsen av et nytt BMS.

Som et resultat kom vi opp med det bokstavelig talt "i farten." Akkurat i det øyeblikket måtte jeg eksternt konsultere kolleger i datasenteret. Det var veldig upraktisk å bla gjennom sidene til BMS på telefonen på jakt etter spredte data, og faktisk ble den første versjonen skissert på en serviett En side. Det ble implementert av utviklerne basert på bildet. 

Etter eksemplet til våre forsiktige nederlandske kolleger, vil vi ikke demonstrere den endelige versjonen av hovedsiden vår, spesielt siden hvert datasenter er unikt og det er ingen vits i å kopiere det. Men la oss beskrive to hovedprinsipper for dannelsen:

1. Dette er en tabell designet for å passe formatet til en vertikal smarttelefonskjerm (eller en skjerm, men med vertikal layout), med all viktig informasjon vist på én skjerm. Over tabellen er en "oppsummering" av aktive hendelser, så det var mest praktisk å plassere dem sammen i et vertikalt format. 
2. Arrangementet av celler i tabellen følger arkitekturen til datasenteret (fysisk eller logisk). Vi forlot arrangementet av systemer i alfabetisk rekkefølge, som ville være ønskelig ved første øyekast. Sekvensen gjenspeiler de visuelle assosiasjonene til datasenterpersonell - som om de fysisk overvåket alle rom og systemer. Dette gjør det lettere å finne informasjon.

Faktisk er absolutt alle nøkkelegenskapene til datasenteret gruppert og presentert på én skjerm på smarttelefonen/monitoren til ansvarlig ingeniør og leder, mens kobling til den fysiske og logiske topografien til datasenteret er implementert. 

Her er et bilde av det aller første utkastet, selv om denne versjonen selvfølgelig ble revurdert og ferdigstilt.

Kvittering og hendelsessammendrag

La oss snakke om et annet nytt konsept for oss, som dukket opp som et resultat av prosjektet for å oppdatere overvåkingssystemet.

Håndtrykk er et ganske sjeldent begrep som ble foreslått av utvikleren av det nye BMS. Det betyr bekreftelse på at operatøren så hendelsen, anerkjente den og påtok seg ansvar for å løse den.  

Ordet har festet seg, og nå «erkjenner» vi hendelser.

Algoritmen som er inkludert i grunnversjonen av den nye BMS-en passet ikke oss. Faktisk var dette kommentarer til hendelsesloggen, det vil si at løste hendelser ikke forsvant fra loggen, og aksepterte ("godkjente") ble ikke sortert fra nye.

Som et resultat ble et vindu kalt "sammendrag" utviklet, der:

1. Kun aktive hendelser og enheter i servicemodus vises (ingen kommersielle blå merknader).
2. Det er et klart skille mellom NYE og AKSEPTERT hendelser.
3. Det er opplyst hvem som godtok hendelsen.

Arbeidsalgoritmen for vaktledere i det nye BMS er som følger:

1. Nye hendelser er inkludert i rapporten og venter på bekreftelse. De kan ikke oppholde seg i denne seksjonen over lengre tid, den som har vakt for utstyret må umiddelbart ta ansvar for hendelsen.
2. Den ansatte tar ansvar for hendelsen ved å klikke på haken til høyre. Siden alle ansatte er under unike kontoer, vises det automatisk hvem som aksepterte hendelsen. Om nødvendig, legg igjen en kommentar.
3. Hendelsen flyttes til seksjonen «Anerkjent», resten av vakthavende og leder forstår at hendelsen håndteres av ansvarlig medarbeider.

Eksempel på et sammendragsvindu med en ny og allerede bekreftet melding.

Ved å koble sammendragsvinduet med One page-tabellen fikk vi en full hovedskjermen BMS-system, hvor du umiddelbart kan se: 

• tilstanden til de viktigste datasentersystemene;
• tilstedeværelse av nye ubehandlede hendelser;
• tilstedeværelsen av aksepterte hendelser og informasjon om hvem som spesifikt eliminerer dem.

Nettlesertilgang og popup-varsler på telefonen

Nettgrensesnittet, tilgjengelig fra alle enheter fra hvor som helst i verden, er en sterk kontrast til den "tykke" klienten, som er helt lukket for eksterne brukere. 

Den gamle tilnærmingen innebar en rekke ulemper, fra problemer med å organisere fjernarbeid for overvåking av tjenesteansatte til behovet for å installere "tykke" klienter fra distribusjonssett på ansattes arbeidsstasjoner i datasenteret.

Nå har enhver side i BMS en unik adresse, som lar deg dele ikke bare den direkte adressen til siden eller enheten, men også lenker til unike grafer/rapporter. 

Tilgang til systemet utføres nå gjennom LDAP-autentisering gjennom Active Directory, noe som øker sikkerhetsnivået. 

Mobilitet i dag er en nøkkelfaktor i kvalitetsarbeidet til vakthavende ingeniører. I tillegg til å overvåke overvåking i vaktrommet, gjør ingeniører runder, utfører rutinearbeid utenfor ”vaktrommet” og mister, takket være BMS-hovedskjermen optimalisert for mobile skjermer, ikke kontrollen over hva som skjer i turbinrommene selv. For ett øyeblikk. 

Kvaliteten på kontrollen er også forbedret takket være funksjonaliteten til arbeidschatter. De fremskynder arbeidsprosessene ved å la korrespondansen til vakthavende ingeniører "kobles" til BMS. For eksempel bruker vi Teams-applikasjonen, som lar deg føre intern korrespondanse og motta alle meldinger fra BMS på telefonen din i form av popup-push-varsler, som eliminerer behovet for vakthavende å konstant se på telefonen skjerm.

 Pushvarsling på smarttelefonskjermen.

Slik ser varsler ut i Teams-appen.

Samtidig konfigureres popup-varsler kun for meldinger om forekomsten av hendelser, og minimerer dermed distraksjonsfaktoren; personalet vet: hvis et Teams Push-varsel vises på smarttelefonskjermen, må de gå til BMS-siden og akseptere hendelsen. Meldinger om hendelsesløsning spores på BMS-siden.

Bildet viser BMS-grensesnittet i en smarttelefon.

Oppsummering

Selv om kostnadene for å oppdatere en BMS fra vår gamle leverandør var sammenlignbare med å utvikle et nytt system fra bunnen av (ca. $100 000), viste forskjellen i funksjonaliteten til produktene seg å være kolossal. Vi fikk et fleksibelt system optimalisert for våre forretningsoppgaver og prosesser. Vi har også oppnådd betydelige besparelser i løpende systemstøtte og oppgraderingskostnader. 

Men det var selvfølgelig vanskeligheter. 

• For det første undervurderte vi mengden endringer som måtte gjøres i basisversjonen av den nye BMS-en og holdt ikke de forhåndsavtalte fristene. For oss var ikke dette et kritisk problem, siden vi var forsikret til siste liten og jobbet med det gamle systemet, og prosessen var kreativ, kompleks og gikk derfor noen ganger tregere enn forventet. I tillegg har vi alltid sett at utvikleren vår gjør alt for å oppnå det beste resultatet. Men faktisk viste historien seg å være veldig lang, og våre nøkkelspesialister brukte mye mer krefter og tid på den enn de hadde planlagt. 
• For det andre trengte vi flere teststadier for å feilsøke algoritmen for å reservere virtuelle maskiner og kommunikasjonskanaler. I utgangspunktet var det feil både på siden av BMS-systemet og på siden av oppsett av virtuelle maskiner og nettverk. Denne feilsøkingen tok også tid. Heldigvis fikk entreprenøren en testplattform i form av en skytjeneste, hvor alle innstillinger og innovasjoner i utgangspunktet ble testet.
• For det tredje viste det seg at det resulterende systemet var vanskeligere å redigere av sluttbrukeren. Hvis et kart tidligere bestod av en bakgrunn (grafisk fil) og ikoner som var enkle å endre eller flytte, er det nå et komplekst grafisk grensesnitt med animasjon som krever visse redigeringsferdigheter.

Den radikale oppdateringen av vårt BMS-system kan allerede kalles det viktigste prosjektet det siste året, noe som vil alvorlig påvirke kvaliteten på den operasjonelle styringen av våre nettsteder i fremtiden. 

Vi kastet selvfølgelig ikke ut den gamle jernserveren, men "lette den": vi renset den for tusenvis av "kommersielle" virtuelle sensorer og PDUer og la bare noen få dusin av de mest kritiske enhetene, som diesel, i den. generatorsett, UPS, klimaanlegg, pumper, lekkasjesensorer og temperaturer I denne modusen har hans tidligere hastighet kommet tilbake, og han kan være en "reservereserve". Forresten, etter å ha fjernet PDUen fra det gamle BMS, frigjorde vi rundt 1000 nå unødvendige lisenser, vet du tilfeldigvis hva du skal gjøre med dem?

Kilde: www.habr.com