Övervakning i datacentret: hur vi bytte ut det gamla BMS mot det nya. Del 3

Vi fortsätter vår berättelse om hur vi ändrade BMS-systemet i våra datacenter (del 1, del 2). Vi bytte inte bara ut en leverantör mot en annan, utan utvecklade ett system från grunden utifrån våra krav. I avslutningen av vår historia delar vi med oss av resultaten av vårt arbete och intressanta lösningar som kan vara till nytta för er.

Nytt gränssnitt

Som man brukar säga, bättre att se en gång än att höra tusen.

Rack.

Låt oss gå igenom skillnaderna.

• För det första är det vackert och bekvämt. Observera hur lätt det har blivit att spåra belastningen på modulerna ("Banks" eller helt enkelt "Banker") PDU och summan av parallella belastningar på parvisa moduler. Med den nya BMS-rackmodellen ser vi direkt att de nedre parvisa PDU-modulerna är överbelastade (totalströmmen överstiger de tillåtna 16A – "blå" avisering), medan de övre är underbelastade. Om en av ingångarna kopplas bort, kommer hela belastningen att överföras till den andra, och den kvarvarande aktiva nedre modulen kommer att stängas av på grund av överbelastning. För att förhindra detta, kommer datacenterets support i förväg att informera kunden och skicka rekommendationer om hur belastningen kan omfördelas.
• Enkel tillägg av utrustning. I den nya BMS har virtuella sensorer för summor av moduler och rackets effekt redan lagts till i mallarna för standardrack och skapas automatiskt efter att de har lagts till PDU. I den gamla BMS fick man skapa dem manuellt och sedan dra dem till kartan, vilket ökade sannolikheten för fel på grund av "mänsklig faktor".
• Oändligt utrymme för kreativitet. Nu har vi inga begränsningar när det gäller att skapa virtuella sensorer. Vi kan bygga helt vilka matematiska modeller som helst av variabler. Det betyder att vi har möjlighet att skapa komplexa virtuella sensorer (tidigare kunde man bara summera värden) och bättre analysera statistik och trender för ingenjörssystemens arbete. Detta ökar kvaliteten på de beslut som fattas om systeminställningar, utrustningsbyte och resursförvaltning. 
• Ett begripligt gränssnitt. I det nya gränssnittet finns det ingen överbelastning av ikoner, fläktarna snurrar, brytarna "klickar". Och det mest praktiska är möjligheten till indikering av PDU-läget A/B inuti racken. Vi försökte göra något liknande i den gamla BMS, men antalet sammanslagna ikoner per kvadratcentimeter på kartan fick oss att överge det.

Det är nu behagligt för ögat att betrakta:

Serverbaserade.

Fragment av elskåp.

Ventilations kontrollskåp.

Och den nya BMS:en kan också dekoreras för det nya året 🙂

En sida – ömsesidig förståelse med halva ord och utan kravspecifikation.

Vi har länge velat genomföra ytterligare en "feature" i BMS:en: att sammanställa de viktigaste parametrarna för datacentret på en sida, så att en snabb blick på skärmen är tillräcklig för att bedöma tillståndet för de viktigaste systemen. Men vi visste inte riktigt hur den skulle se ut.

Innan vi påbörjade utvecklingen av den nya BMS:en besökte vi, i grupper, ett dussin datacenter i Nederländerna. Ett av målen var att se exempel på hur en sådan sida kan realiseras.

Och i inget datacenter visade de oss den – på något ställe saknades den, på andra ställen "utvecklades den just nu", och på vissa ställen var det "en stor handelshemlighet". Därför saknades en exakt beskrivning av denna mycket viktiga sida i vår kravspecifikation för att skapa den nya BMS:en.

Till slut kom vi på den bokstavligt talat "i farten". Just då fick vi rådgöra med kollegor i datacentret på distans. Att bläddra igenom sidor av BMS:en i telefonen på jakt efter spridda data var mycket obekvämt, och den första versionen skrevs i praktiken på en servett. En sida. Den realiserades av utvecklarna baserat på foton. 

Följande exempel från försiktiga nederländska kollegor, vi kommer inte att visa den slutliga varianten av vår huvudsida, framför allt eftersom varje datacenter är unikt och det är ingen idé att kopiera. Men vi kommer att beskriva två huvudprinciper för dess utformning:

1. Det är en tabell, formaterad för en vertikalt placerad smartphone-skärm (eller en monitor, men med kvarvarande vertikal placering), som visar all viktig information på en skärm. Ovanför tabellen presenteras en "översikt" av aktiva incidenter, så det visade sig vara mest praktiskt att placera dem i vertikalt format. 
2. Placeringen av cellerna i tabellen återspeglar datacentrets arkitektur (fysisk eller logisk). Vi avstod från att arrangera systemen i alfabetisk ordning, som man kanske vill vid första anblicken. Sekvensen återspeglar personalens visuella associationer i datacentret – som om de fysiskt övervakar alla rum och system. Detta förenklar informationssökningen.

I grunden är alla viktiga funktioner i datacentret nu grupperade och presenterade på en enda skärm av ingenjören och ansvarig person, där en koppling till den fysiska och logiska topografin av datacentret har genomförts. 

Här är ett foto av den allra första skissen, även om denna version självklart har omarbetats och förbättrats.

Kvitton och sammanställning av incidenter

Vi kommer att prata om ett annat nytt begrepp som har uppstått som ett resultat av projektet för att uppdatera övervakningssystemet.

Kvitto är en ganska sällan använd term som föreslogs av utvecklaren av det nya BMS-systemet. Det innebär bekräftelse av att operatören har sett incidenten, bekräftat den och tagit på sig ansvaret för att åtgärda den.  

Ordet har fästs, och nu "kvitierar" vi incidenter.

Algoritmen som låg i den grundläggande versionen av det nya BMS-systemet tillfredsställde oss inte. Faktum är att det var kommentarer i händelseloggen, vilket innebar att åtgärdade incidenter inte försvann från loggen, och accepterade ("kvitierade") sorterades inte från nya.

Som ett resultat utvecklades ett fönster med namnet "sammanställning", där:

1. Endast aktiva incidenter och enheter i serviceläge visas (utan kommersiella "blå" meddelanden).
2. Nya och accepterade incidenter skiljs tydligt åt.
3. Det anges vem som har accepterat incidenten.

Algoritmen för jourens arbete i det nya BMS-systemet är följande:

1. Nya incidenter hamnar i sammanställningen och väntar på kvittering. De kan inte stanna länge i denna sektion, den ansvarige för utrustningen måste omedelbart ta på sig incidenten.
2. Medarbetaren tar på sig incidenten genom att klicka på markeringen till höger. Eftersom alla medarbetare har unika användarkonton visas automatiskt vem som har accepterat incidenten. Vid behov lämnas en kommentar.
3. Incidenten flyttas till sektionen "Kvitierade", så att övriga jourerande och ledningen förstår att den ansvariga medarbetaren tar hand om incidenten.

Exempel på ett fönster för sammanställning med ett nytt och redan kvitterat meddelande.

Genom att kombinera sammanställningsfönstret med tabellen One page fick vi en fullständig huvudskärm i BMS-systemet, där man direkt kan se: 

• tillståndet för huvudsystemen i datacentret;
• förekomsten av nya obehandlade incidenter;
• förekomsten av accepterade incidenter och information om vem som specifikt åtgärdar dem.

Åtkomst via webbläsare och pop-up meddelanden på telefonen

Webbgränssnittet, tillgängligt från vilken enhet som helst var som helst i världen, utgör en markant kontrast mot en "tjock" klient som är helt stängd för externa användare. 

Den gamla metoden medförde en mängd besvär, från problem med att organisera distansarbete för övervakningspersonalen till behovet av att installera "tjocka" klienter från distributioner på arbetsplatserna i datacentret.

Nu har varje sida i BMS en unik adress, vilket gör att du kan dela inte bara den direkta adressen till sidan eller enheten, utan också länkar till unika diagram/rapporter. 

Åtkomst till systemet sker nu genom LDAP-autentisering via Active Directory, vilket ökar dess säkerhetsnivå. 

Mobilitet idag är en nyckelfaktor för högkvalitativt arbete för vakttekniker. Förutom att övervaka systemen i vaktens rum gör teknikerna rundor och utför aktuellt arbete utanför "vaktrummet", och tack vare huvudskärmen i BMS som är optimerad för mobilskärmar, förlorar de inte kontrollen över händelserna i maskinrummen en sekund. 

Kvaliteten på kontrollen ökar också tack vare funktionaliteten hos arbetschattarna. De påskyndar arbetsprocesser genom att "binda" diskussioner mellan vaktteknikerna till BMS. Vi till exempel använder appen Teams, som gör att vi kan ha intern kommunikation och få alla meddelanden från BMS som pop-up Push-meddelanden på telefonen, vilket befriar vakten från behovet av att ständigt titta på telefonens skärm.

 Push-meddelande på smartphone-skärmen.

Så här ser meddelandena ut i appen Teams.

Därmed är pop-up-meddelanden inställda endast på meddelanden om incidenter, vilket minimerar distraktionen; personalen vet: om ett Push-meddelande från Teams dyker upp på smartphone-skärmen, måste de gå in på BMS-sidan och hantera incidenten. Meddelanden om lösning av incidenter spåras redan på BMS-sidan.

På bilden visas BMS-gränssnittet på en smartphone.

Sammanfattningsvis

Med kostnaden för att uppdatera BMS hos vår gamla leverantör, som var jämförbar med att utveckla ett nytt system från grunden (ungefär $100 000), visade skillnaden i produktens funktionalitet sig vara enorm. Vi fick ett flexibelt system som var optimerat för våra affärsbehov och processer. Vi har också uppnått betydande besparingar i våra nuvarande kostnader för support och systemuppdateringar. 

Men självklart fanns det också utmaningar. 

• För det första underskattade vi omfattningen av de ändringar som behövde göras i den grundläggande versionen av det nya BMS och klarade inte de överenskomna tidsramarna. För oss var detta dock inte ett kritiskt problem, eftersom vi hela tiden hade backup och arbetade på det gamla systemet, och processen var kreativ, komplex och därför ibland gick långsammare än förväntat. Dessutom såg vi alltid att vår utvecklare lade ner maximal ansträngning för att uppnå bästa resultat. Men i själva verket visade historien sig vara mycket lång, och våra nyckelspecialister la ner avsevärt mer ansträngningar och tid på den än planerat. 
• För det andra krävdes flera teststeg för att finjustera algoritmen för reservation av virtuella maskiner och kommunikationskanaler. Inledningsvis uppstod det fel både på BMS-systemets sida och vid inställningen av virtuella maskiner och nätverket. Denna justering tog också tid. Lyckligtvis fick entreprenören en testmiljö i form av en molntjänst där alla inställningar och funktioner testades i början.
• För det tredje blev det slutgiltiga systemet svårare för slutanvändaren att redigera. Om kartan tidigare bestod av en bakgrund (grafikfil) och ikoner som var lätta att ändra eller flytta, är det nu en komplex grafisk gränssnitt med animationer som kräver vissa färdigheter för redigering.

Den radikala uppdateringen av vårt BMS-system kan redan idag kallas det viktigaste projektet förra året, som kommer att påverka kvaliteten på den operativa hanteringen av våra anläggningar i framtiden. 

Den gamla järnservern har vi självklart inte kastat bort, utan "lättat" den: vi har rensat den från tusentals "kommersiella" virtuella sensorer och PDU och har endast lämnat kvar några dussin av de mest kritiska enheterna, såsom DGU, UPS, luftkonditionering, pumpar, läcksensorer och temperaturer. I detta läge har hastigheten återvänt och den kan vara "reservens reserv". Förresten, efter att vi tog bort PDU från det gamla BMS-systemet har vi frigjort cirka 1000 numera onödiga licenser. Vet ni av en slump vad vi ska göra med dem?

Källa: habr.com