Adatközponti monitoring: Ahogy átváltottunk a régi BMS-ről az újra. 3. rész

Folytatjuk a történetünket arról, hogyan változtattuk meg a BMS rendszert adatközpontjainkban (1. rész, 2. rész). Nem csupán egy beszállító megoldását cseréltük le egy másikra, hanem egy új rendszert fejlesztettünk ki a saját igényeinkhez. A történetünk végén megosztjuk az elvégzett munka eredményeit és érdekes megoldásokat, amelyek hasznosak lehetnek számodra.

a bármilyen string típus vagy adat azonosításához, amely átalakítható stringgé (amelyeknél elérhető a __toString() metódus).

Itt, ahogy mondani szokták, jobb egyszer látni.

Szekrények.

Nézzük meg a különbségeket.

• Először is, ez szép kényelmes. Figyeld meg, mennyire könnyen nyomon követhetők a PDU ("Banks" vagy egyszerűen "Bankok") modulok terhelései és a párhuzamos modulok összes terhelése. Az új BMS szekrény modelljén látjuk, hogy az alsó párhuzamos PDU modulok túl vannak terhelve (a teljes áram meghaladja a megengedett 16A-t – „kék” értesítés), míg a felsők alulterheltek. Ha az egyik bemenet ki van kapcsolva, az összes terhelés a másikra hárul, és a feszültség alatt álló alsó modul lekapcsolódik a túlterhelés miatt. Ennek elkerülése érdekében az adatközpont támogató szolgálata előre figyelmezteti az ügyfelet, és ajánlást küld a terhelés újraelosztására.
• Egyszerű berendezés hozzáadása. Az új BMS-ben a PDU modulok és a szekrény teljesítményének áramösszegző virtuális érzékelői már hozzá vannak adva a tipikus szekrények sablonjaihoz, és automatikusan létrejönnek, miután a PDU-ba be lett helyezve. A régi BMS-ben ezeket manuálisan kellett létrehozni, majd áthúzni a térképre, ami növelte a hibák valószínűségét a „humán faktor” miatt.
• Korlátlan tér a kreativitásnak. Most már nincsenek korlátaink virtuális érzékelők létrehozásakor. Bármilyen matematikai modellt alkothatunk bármilyen változóval. Ez azt jelenti, hogy lehetőségünk van összetett virtuális érzékelők létrehozására (korábban csak összeadni lehetett az értékeket), és jobban elemezni az mérnöki rendszerek statisztikáit és tendenciáit. Ez javítja a rendszerbeállításokkal, a berendezések cseréjével és az erőforrások kezelésével kapcsolatos döntések minőségét. 
• Átlátható felület. Az új felületen nincsenek zsúfolt ikonok, a ventilátorok forognak, a kapcsolók „kattognak”. És a legkényelmesebb, hogy a PDU A/B vonal állapota belül a szekrényekben jelölhető. Próbáltunk hasonlót létrehozni a régi BMS-ben, de a négyzetcentiméterenkénti ikonok száma miatt ezt el kellett vetnünk.

Most a szemnek vonzó nézni:

Szerverek.

Mérőpanelek darabja.

Szellőzőrendszer kezelőpanel.

És az új BMS-t Karácsonyra is fel lehet díszíteni 🙂

One page – közvetlen megértés szavak nélkül és műszaki leírás nélkül

Régen nagyon szerettük volna megvalósítani egy új „funkciót” a BMS-ben: egy oldalon összefoglalni az adatközpont fő paramétereit, hogy egy pillantással elegendő legyen a fő rendszerek állapotának felmérésére. De nem voltunk teljesen biztosak abban, hogyan is kellene kinéznie.

Mielőtt megkezdtük volna az új BMS fejlesztését, egy tucat holland adatközpontot látogattunk meg látogatások során. Az egyik célunk az volt, hogy példákat lássunk az ilyen oldal megvalósítására.

Egyetlen adatközpontban sem mutatták meg nekünk – valahol nem volt, valahol „éppen fejlesztették”, máshol pedig „nagy kereskedelmi titok” volt. Ezért az új BMS elkészítéséről szóló műszaki leírásunkból hiányzott ennek a számunkra nagyon fontos oldalnak a pontos leírása.

Végül, gyakorlatilag „út közben” találtuk ki. Pontos abban a pillanatban távolról kellett konzultálnunk a kollégákkal az adatközpontban. Nagyon kényelmetlen volt az BMS oldalait lapozgatni a telefonon különböző információk keresése közben, és gyakorlatilag egy szalvétán vázoltuk meg az első verziót. One page. Ezt valósították meg a fejlesztők a fényképek alapján. 

Követve az óvatos holland kollégák példáját, nem fogjuk bemutatni a főoldal végső változatát, különösen, mivel minden adatközpont egyedi és nincs értelme másolni. De leírjuk a kialakítása két fő elvét:

1. Ez egy táblázat, amelyet okostelefon (vagy monitor, de vertikális elrendezés megőrzésével) formátumára alakítottak, az összes fontos információt egy képernyőre kivetítve. A táblázat felett látható az aktív incidensek „összefoglalója”, ezért azokat együtt helyezni a legkényelmesebbnek tűnt vertikális formátumban. 
2. A táblázat celláinak elrendezése tükrözi az adatközpont architektúráját (fizikai vagy logikai). Lemondtunk a rendszerek ábécésorrend szerinti elrendezéséről, ahogyan első pillantásra szeretnénk. A sorrend a dátaközpont személyzetének vizuális asszociációit tükrözi – mintha fizikailag figyelnék az összes helyiséget és rendszert. Ez megkönnyíti az információ keresését.

Most of the key characteristics of the data center are now grouped and presented on a single screen of an engineer's or manager's smartphone/monitor, with a link to the physical and logical topology of the data center. 

Here is a photo of that very first draft, although, of course, this version was later rethought and refined.

Incident acknowledgment and summary

We will talk about another new concept for us that emerged as a result of the monitoring system update project.

Acknowledgment is a rather rarely used term suggested by the developer of the new BMS. It means confirmation that the operator has seen the incident, acknowledged it, and taken on the responsibility for its resolution.  

The word has taken hold, and now we 'acknowledge' incidents.

The algorithm embedded in the basic version of the new BMS did not suit us. In fact, it was just comments in the event log, meaning that resolved incidents did not disappear from the log, and accepted ('acknowledged') ones were not sorted from the new ones.

As a result, a window called 'summary' was developed, in which:

1. Only active incidents and devices in service mode (without commercial 'blue' notifications) are displayed.
2. NEW and ACKNOWLEDGED incidents are clearly separated.
3. It is indicated who acknowledged the incident.

The algorithm for on-duty staff in the new BMS is as follows:

1. New incidents go into the summary and await acknowledgment. They cannot stay in this section for long; the responsible on-duty staff must immediately take the incident on themselves.
2. An employee takes the incident on themselves by clicking the checkbox on the right. Since all employees have unique accounts, it is automatically displayed who acknowledged the incident. A comment can be left if necessary.
3. The incident is moved to the 'Acknowledged' section, and other on-duty staff and the manager understand that the incident is being handled by the responsible employee.

An example of the summary window with a new and already acknowledged message.

By combining the summary window with the One Page table, we obtained a full main screen of the BMS system, where you can immediately see: 

• the status of the main systems of the data center;
• the presence of new unprocessed incidents;
• the presence of acknowledged incidents and information on who specifically is resolving them.

Böngészős hozzáférés és felugró értesítések a telefonon

A webes felület, amely bármilyen eszközről elérhető a világ bármely pontjáról, drámai ellentétet képez a "vastag" klienssel, amely teljesen elzárt a külső felhasználók elől. 

A régi megközelítés számos kényelmetlenséget okozott, a távoli munkavégzés szervezésének problémáitól kezdve egészen addig, hogy 'vastag' klienseket kellett telepíteni a DC dolgozóinak munkahelyeire.

Mostantól a BMS minden oldalának van egy egyedi címe, amely lehetővé teszi, hogy megosszuk nemcsak az oldal vagy az eszköz közvetlen címét, hanem a különleges grafikonokra/jelentésekre mutató hivatkozásokat is. 

A rendszerbe való belépés most LDAP-hitelesítéssel történik az Active Directory-n keresztül, ami fokozza a biztonság szintjét. 

A mobilitás ma kulcstényező a diszpécseri mérnökök hatékony munkájában. A diszpécserszobában történő felügyelet mellett a mérnökök ellenőrzéseket végeznek, elvégzik a napi munkát a 'diszpécserszobán' kívül, és az BMS mobil képernyőre optimalizált fő képernyőjének köszönhetően másodpercre sem veszítik el a kontrollt a gépházakban zajló események felett. 

A munkacsoport chat funkciójának köszönhetően a kontroll minősége is nő. Ezek felgyorsítják a munkafolyamatokat, lehetővé téve, hogy a diszpécseri mérnökök levelezése a BMS-hez ‘kötődjön’. Például a Teams alkalmazást használjuk, amely lehetővé teszi a belső beszélgetéseket, és a BMS-ből érkező összes üzenetet felugró Push-értesítésekként kapja meg a telefonján, ami megszabadítja a diszpécsert attól a szükségtől, hogy állandóan a telefon kijelzőjére nézzen.

 Push-értesítés az okostelefon képernyőjén.

Így néznek ki az értesítések a Teams alkalmazásban.

Eközben a felugró értesítések csak a incidensek megjelenéséről szólnak, így minimalizálva a zavaró tényezőt, a személyzet tudja: ha a Teams okostelefon képernyőjén Push-értesítés jelenik meg, belépni kell a BMS oldalára és átvenni az incidenst. A hibák megszüntetéséről szóló üzeneteket már a BMS oldalán követjük nyomon.

Az okostelefonon található BMS felületének képe.

Összefoglalva

A BMS frissítésének költsége az előző szolgáltatónknál, ami összehasonlítható volt egy új rendszer nulláról való fejlesztésével (kb. 100 000 dollár), óriási különbséget mutatott a termékek funkcionalitásában. Egy rugalmas rendszert kaptunk, amely optimalizálva lett az üzleti feladatainkhoz és folyamataikhoz. Ezenkívül jelentős megtakarítást is elértünk az aktuális karbantartási és frissítési költségekben. 

De természetesen voltak nehézségek is. 

• Először is, alábecsültük a változtatások mértékét, amelyeket a BMS új alapváltozatában el kellett végezni, és nem tudtuk betartani a korábban megállapított határidőket. Ez nem volt kritikus probléma számunkra, mivel a régi rendszerünkön dolgoztunk, míg a folyamat kreatív és összetett volt, és ezért néha lassabban haladt, mint vártuk. Ráadásul mindig láttuk, hogy a fejlesztőnk a legjobb eredmények eléréséért maximális erőfeszítéseket tett. De a valóságban a folyamat meglehetősen hosszúra nyúlt, és a kulcsszakértőink jelentősen több időt és energiát fektettek bele, mint azt tervezték. 
• Másodszor, több tesztelési fázisra volt szükség ahhoz, hogy finomhangoljuk a virtuális gépek és a kommunikációs csatornák foglalási algoritmusát. Kezdetben mind a BMS rendszer, mind a virtuális gépek és a hálózat beállításai oldalon voltak problémák. Ez a finomítás is időt vett igénybe. Szerencsére a kivitelezőnek volt egy tesztkörnyezete felhőszolgáltatás formájában, ahol kezdetben minden beállítást és újítást teszteltek.
• Harmadszor, az új rendszer végül bonyolultabbá vált a végfelhasználó számára a módosítás szempontjából. Míg korábban a térkép egy háttér (grafikai fájl) és ikonok voltak, amelyeket könnyű volt megváltoztatni vagy átkonfigurálni, most egy bonyolult grafikus felületről van szó animációkkal, amelyhez bizonyos készségek szükségesek a szerkesztéshez.

A BMS rendszerünk radikális frissítése már ma is a tavalyi év legfontosabb projektjének tekinthető, amely komoly hatással lesz a jövőbeli üzemeltetési irányítás minőségére. 

A régi vas szerverünket természetesen nem dobtuk el, hanem "megtisztítottuk": eltávolítottuk róla a több ezer "kereskedelmi" virtuális érzékelőt és PDU-t, és csak néhány tucat legkritikusabb eszközt hagytunk benne, mint például a DG, UPS, klímaberendezések, szivattyúk, szivárgás és hőmérséklet érzékelők. Ebben a módban visszatért a korábbi sebessége, és lehet "tartalék a tartalékban". Egyébként a régi BMS-ből való PDU eltávolítása után körülbelül 1000, most már felesleges licensz vált szabaddá, véletlenül nem tudja, mi legyen velük?

Forrás: habr.com