Pokračujeme v rozprávaní o tom, ako sme menili systém BMS v našich dátových centrách (, ). Nielenže sme vymenili riešenie jedného dodávateľa za druhého, ale vyvinuli sme systém od základov podľa našich požiadaviek. Na záver nášho príbehu sa delíme o výsledky vykonanej práce a zaujímavé riešenia, ktoré by vám mohli byť užitočné.
Nové rozhranie
Tu, ako sa hovorí, je lepšie raz vidieť.
Regály.
Rozberieme rozdiely.
- Po prvé, je to k krásne pohodlné. Všimnite si, ako ľahko sa začali sledovať zaťaženia na moduloch („Banks“ alebo jednoducho „Banky“) PDU a súčet paralelných zaťažení párových modulov. Na modeli regálu z novej BMS okamžite vidíme, že dolné párové moduly PDU sú preťažené (súhrnný prúd nad povolených 16A – „modré“ upozornenie), zatiaľ čo horné sú nedostatočne zaťažené. V prípade vypnutia jedného z vstupov sa celé zaťaženie presunie na druhý a zvyšný pod napätím dolný modul sa vypne z dôvodu preťaženia. Aby sa tomu zabránilo, technická podpora dátového centra vopred upozorní zákazníka a pošle odporúčanie, ako preallocate zaťaženie.
- Jednoduché pridanie zariadení. V novej BMS sú virtuálne senzory súčtov prúdov modulov a výkonu regálu už zahrnuté v šablónach typických regálov a vytvárajú sa automaticky po pridaní do regálu PDU. V starej BMS ich bolo potrebné vytvoriť manuálne a potom presúvať na mapu, čo zvyšovalo pravdepodobnosť chyby kvôli „ľudskému faktoru”.
- Neobmedzený priestor pre kreativitu. Teraz nemáme žiadne obmedzenia pri tvorbe virtuálnych senzorov. Môžeme vytvárať akékoľvek matematické modely akýchkoľvek premenných. To znamená, že máme možnosť vytvárať zložité virtuálne senzory (predtým sme mohli iba sčítať hodnoty) a lepšie analyzovať štatistiku a trendy fungovania inžinierskych systémov. To zvyšuje kvalitu rozhodovania o nastaveniach systémov, výmene zariadení a správe zdrojov.
- Zrozumiteľné rozhranie. V novom rozhraní nie je preplnenie ikonami, ventilátory sa otáčajú, spínače „cvakajú“. A to najpohodlnejšie – je možnosť indikácie stavu PDU Line A/B v rámci regálov. Snažili sme sa urobiť niečo podobné v starej BMS, ale množstvo prekrývajúcich sa ikon na štvorcový centimeter mapy nás donútilo sa tohto vzdať.
Teraz sa na to dobre pozerá:
Servery.
Fragment GRS.
Ovládací panel ventilace.
A novou BMS lze také ozdobit k novému roku 🙂
One page – vzájomné porozumenie s polovičného slova a bez TZ
Už dlhší čas sme chceli realizovať ešte jednu "vychytávku" v BMS: skompilovať na jednej stránke hlavné parametre DC, aby jedno pohľad na obrazovku stačil na posúdenie stavu hlavných systémov. Avšak, do poslednej chvíle sme presne nevedeli, ako by to malo vyzerať.
Ešte pred začiatkom vývoja novej BMS sme navštívili s exkurziami desiatky DC v Holandsku. Jedným z cieľov bolo vidieť príklady realizácie takejto stránky.
A nikde v DC nám ju neukázali – niekde ju nebolo, niekde "práve teraz vyvíjali", niekde to bola "veľká obchodná tajomstvo". Preto v našom TZ na vytvorenie novej BMS presný opis tejto pre nás veľmi dôležitej stránky chýbal.
Nakoniec sme ju vymysleli doslova "za pochodu". Práve v tom momente sme museli na diaľku konzultovať kolegov v DC. Prechádzať stránky BMS v telefóne pri hľadaní nesúvisiacich údajov bolo veľmi nepríjemné, a vlastne na obrúsku bola načrtnutá prvá verzia. One page. A túto realizovali vývojári podľa fotografie.
Nasledujúc príklad opatrných holandských kolegov, nebudeme demonštrovať konečnú verziu našej hlavnej stránky, tým viac, že každý DC je jedinečný, a kopírovať nemá význam. Ale popíšeme dva hlavné princípy jej vytvárania:
- Je to tabuľka, zveršená na formát vertikálne orientovanej obrazovky smartfónu (alebo monitora, ale so zachovaním vertikálneho usporiadania), s vyvedením všetkých dôležitých informácií na jeden obrazovku. Nad tabuľkou je uvedená "zhrnutie" aktívnych incidentov, preto ich umiestniť spolu sa najlepšie ukázalo v vertikálnom formáte.
- Umiestnenie buniek v tabuľke opakuje architektúru DC (fyzickú alebo logickú). Rozhodli sme sa vzdať usporiadania systémov v abecednom poradí, ako by to na prvý pohľad vyzeralo. Sekvencia odráža vizuálne asociácie personálu dátového centra – akoby fyzicky monitorovali všetky miestnosti a systémy. To uľahčuje vyhľadávanie informácií.
V podstate sú teraz všetky kľúčové charakteristiky DCS skupinové a zobrazené na jednej obrazovke smartfónu/monitora zodpovedného inžiniera a vedúceho, pričom je realizované prepojenie na fyzickú a logickú topológiu DCS.
Tu je fotografia toho prvého konceptu, aj keď táto verzia bola neskôr prepracovaná a zdokonalená.
Potvrdenie a prehľad incidentov
Povieme vám o ďalšom novom pojme, ktorý sa objavil v dôsledku projektu na aktualizáciu monitorovacieho systému.
Potvrdenie je relatívne zriedkavý termín, ktorý navrhol použiť vývojár novej BMS. Znamená to potvrdenie toho, že operátor videl incident, potvrdil ho a prevzal na seba povinnosti na jeho odstránenie.
Slovo sa udomácnilo, a teraz „potvrdzujeme“ incidenty.
Algoritmus zakomponovaný v základnej verzii novej BMS nás neuspokojoval. V skutočnosti to boli komentáre k denníku udalostí, t.j. odstránené incidenty nezmizli z denníka a prijaté („potvrdené“) neboli triedené od nových.
Nakoniec bolo vyvinuté okno nazvané „prehľad“, v ktorom:
- Sú zobrazené iba aktívne incidenty a zariadenia v servisnom režime (bez komerčných „modrých“ oznámení).
- Jasne sú oddelené NOVÉ a PRIJATÉ incidenty.
- Je uvedené, kto prijal incident.
Algoritmus práce dozorov v novej BMS je nasledovný:
- Nové incidenty sa dostávajú do prehľadu a čakajú na potvrdenie. Nemôžu dlho byť v tejto sekcii, zodpovedný dozorca za zariadenie by mal incident okamžite prevziať.
- Zamestnanec preberá incident na seba stlačením zaškrtávacieho políčka napravo. Keďže všetci zamestnanci sú pod unikátnymi účtami – automaticky sa zobrazuje, kto prevzal incident. Ak je to potrebné, zanechá sa komentár.
- Incident sa presúva do sekcie „Potvrdené“, ostatní dozorci a vedúci chápu, že incidentom sa zaoberá zodpovedný zamestnanec.
Príklad okna prehľadu s novou a už potvrdenou správou.
Spojením okna prehľadu s tabuľkou One page sme dostali plnohodnotný hlavný správcovský panel systému BMS, na ktorom vidíme hneď:
- stav hlavných systémov DCS;
- prítomnosť nových nevybavených incidentov;
- prítomnosť prijatých incidentov a údaje o tom, kto konkrétne ich odstraňuje.
Prístup cez prehliadač a upozornenia na telefóne
Webové rozhranie, dostupné z akéhokoľvek zariadenia z akéhokoľvek miesta na svete, je zásadný kontrast s „hrubým“ klientom, ktorý je úplne uzavretý pred externými používateľmi.
Starý prístup so sebou niesol množstvo nepríjemností, od problémov s organizáciou vzdialenej práce zamestnancov monitorovacej služby až po potrebu inštalovať „hrubé“ klienty z distribúcií na pracovné miesta personálu v dátovom centre.
Teraz má každá stránka v BMS jedinečnú adresu, čo umožňuje zdieľať nielen priamu adresu stránky alebo zariadenia, ale aj odkazy na unikátne grafy/pozitia.
Prístup do systému sa teraz realizuje prostredníctvom LDAP autentifikácie cez Active Directory, čo zvyšuje úroveň jeho zabezpečenia.
Mobilita je dnes kľúčovým faktorom kvalitnej práce pohotovostných inžinierov. Okrem kontroly monitorovania v miestnosti pohotovostnej zmeny, inžinieri vykonávajú obchádzky, robia priebežnú prácu mimo „pohotovosti“ a vďaka optimalizovanému hlavnému displeju BMS pre mobilné obrazovky nestrácajú kontrolu nad tým, čo sa deje v strojových zariadeniach ani na sekundu.
Kvalita kontroly sa zvyšuje aj vďaka funkčnosti pracovných chatov. Tieto urýchľujú pracovné procesy, pričom umožňujú „pripnúť“ konverzáciu pohotovostných inžinierov k BMS. Napríklad používame aplikáciu Teams, ktorá umožňuje interne komunikovať a prijímať na telefón všetky správy z BMS ako vyskakovacie Push- upozornenia, čím zbavuje pohotovostného pracovníka nutnosti neustále sa pozerať na obrazovku telefónu.
Push- upozornenie na obrazovke smartfónu.
Takto vyzerajú upozornenia v aplikácii Teams.
Vyskakovacie upozornenia sú nastavené iba na správy o vzniku incidentov, čím sa minimalizuje rušivý faktor; personál vie, že ak sa na obrazovke smartfónu objaví Push- upozornenie Teams, je potrebné vstúpiť na stránku BMS a prijať incident. Správy o riešení incidentov sa už sledujú na stránke BMS.
Na obrázku je rozhranie BMS v smartfóne.
Na záver
Pri nákladoch na aktualizáciu BMS u nášho starého dodávateľa, porovnateľných s vývojom novej systému od základov (okolo 100 000 dolárov), sa rozdiel vo funkčnosti produktov ukázal ako obrovský. Získali sme flexibilný systém, optimalizovaný pre naše obchodné úlohy a procesy. Dosiahli sme tiež značnú úsporu v aktuálnych nákladoch na podporu a aktualizáciu systému.
Ale samozrejme, boli aj problémy.
- Po prvé, nedocenili sme objem zmien, ktoré bolo potrebné pre základnú verziu novej BMS zapracovať, a nestihli sme do dohodnutých termínov. Pre nás to nebolo kritické, pretože sme až do poslednej chvíle využívali starý systém a proces bol kreatívny, zložitý a preto plynul niekedy pomalšie, než sme očakávali. Navyše sme vždy videli, že náš vývojár vynakladá maximálne úsilie na dosiahnutie čo najlepšieho výsledku. V skutočnosti sa však história ukázala ako veľmi dlhá a naši kľúčoví špecialisti strávili oveľa viac úsilia a času, než plánovali.
- Po druhé, potrebovali sme niekoľko testovacích fáz, aby sme doladili algoritmus rezervácie virtuálnych strojov a komunikačných kanálov. Na začiatku sa vyskytli poruchy ako na strane systému BMS, tak na strane nastavenia virtuálnych strojov a siete. Táto ladenie tiež zabralo čas. Našťastie dodávateľ mal k dispozícii testovaciu plochu v podobe cloudového servisu, kde sa spočiatku testovali všetky nastavenia a novinky.
- Po tretie, konečný systém sa ukázal byť pre koncového používateľa zložitejší na úpravy. Pokiaľ skôr mapa predstavovala podklad (grafický súbor) a ikony, ktorých zmena alebo presun nebol problém, teraz je to zložitý grafický rozhranie s animáciou, ktoré vyžaduje určité zručnosti na úpravu.
Radikálna aktualizácia nášho systému BMS je už dnes považovaná za najdôležitejší projekt uplynulého roka, ktorý vážne ovplyvní kvalitu operačného riadenia našich lokalít v budúcnosti.
Staroželezný server sme samozrejme nezahodili, ale „odľahčili“: vyčistili sme ho od tisícov „komerčných“ virtuálnych senzorov a PDU a zostavili v ňom len niekoľko desiatok najkritickejších zariadení, ako sú DGU, UPS, klimatizácie, čerpadlá, senzory únikov a teploty. V takom režime sa k nemu vrátila bývalá rýchlosť a môže byť „rezervou rezervy“. Mimochodom, po odstránení PDU zo starej BMS sa nám oslobodilo asi 1000 teraz už nepotrebných licencií, neviete náhodou, čo s nimi robiť?
Zdroj: habr.com
