Continuiamo la nostra storia su come abbiamo cambiato il sistema BMS nei nostri data center (, ). Non abbiamo semplicemente sostituito la soluzione di un fornitore con quella di un altro, ma abbiamo sviluppato un sistema da zero secondo le nostre esigenze. In conclusione della nostra storia condividiamo i risultati del lavoro svolto e soluzioni interessanti che potrebbero esservi utili.
Nuova interfaccia
Qui, come si suol dire, è meglio vedere una volta.
Rack.
Analizziamo le differenze.
- In primo luogo, è bello comodo. Nota come sia diventato facile monitorare i carichi sui moduli («Banks» o semplicemente «Banchi») PDU e la somma dei carichi paralleli dei moduli abbinati. Sul modello rack del nuovo BMS vediamo immediatamente che i moduli inferiori abbinati PDU sono sovraccarichi (la corrente totale supera il limite di 16A – notifica «blu»), mentre quelli superiori sono sotto-caricati. In caso di disconnessione di uno degli ingressi, tutto il carico passerà al secondo, e il modulo inferiore rimasto alimentato si disattiverà a causa del sovraccarico. Per evitare ciò, il servizio di supporto dei data center informerà in anticipo il cliente e invierà raccomandazioni su come ridistribuire il carico.
- Aggiunta semplice di attrezzature. Nel nuovo BMS, i sensori virtuali delle somme di corrente dei moduli e della potenza del rack sono già stati aggiunti nei modelli standard e vengono creati automaticamente dopo aver aggiunto il PDU al rack. Nel vecchio BMS dovevamo crearli manualmente e poi trascinarli sulla mappa, aumentando la probabilità di errori dovuti al ‘fattore umano’.
- Spazio illimitato per la creatività. Ora non abbiamo più limiti nella creazione di sensori virtuali. Possiamo costruire modelli matematici per qualsiasi variabile. Questo significa che abbiamo la possibilità di creare sensori virtuali complessi (prima potevamo solo sommare i valori) e analizzare meglio le statistiche e le tendenze delle prestazioni dei sistemi ingegneristici. Ciò migliora la qualità delle decisioni prese per la configurazione dei sistemi, la sostituzione delle attrezzature e la gestione delle risorse.
- Interfaccia comprensibile. Nel nuovo interfaccia non ci sono sovraccarichi di icone, le ventole girano, gli interruttori «scattano». E la cosa più comoda è la possibilità di indicare lo stato della PDU Line A/B all'interno dei rack. Abbiamo provato a realizzare qualcosa di simile nel vecchio BMS, ma il numero di icone sovrapposte per centimetro quadrato sulla mappa ci ha costretti a rinunciarvi.
Ora è piacevole guardare.
Server.
Frammento dell'RPU.
Pannello di controllo della ventilazione.
Inoltre, il nuovo BMS può essere abbellito per il Capodanno 🙂
One page – comprensione reciproca al volo e senza specifiche
Da molto tempo desideravamo implementare un'altra "caratteristica" nel BMS: comporre su una sola pagina i parametri principali del data center, affinché un solo sguardo allo schermo fosse sufficiente per valutare lo stato dei principali sistemi. Tuttavia, non capivamo completamente come dovesse apparire.
Ancor prima di iniziare lo sviluppo del nuovo BMS, abbiamo visitato con delle visite guidate una decina di data center nei Paesi Bassi. Uno degli obiettivi era vedere esempi di tale pagina.
E in nessun data center ce l'hanno mostrata: da qualche parte non c'era, altrove 'era in fase di sviluppo', in altri luoghi era 'un grande segreto commerciale'. Pertanto, nella nostra specifica per la creazione del nuovo BMS, la descrizione precisa di questa pagina, così importante per noi, era assente.
Alla fine, l'abbiamo inventata letteralmente 'al volo'. Proprio in quel momento stavo consultando a distanza i colleghi nel data center. Sfogliare le pagine del BMS sul telefono alla ricerca di dati sparsi era molto scomodo, e praticamente su un tovagliolo è stata scarabocchiata la prima versione. One page. Questa è stata poi realizzata dagli sviluppatori a partire dalle foto.
Seguendo l'esempio dei cauti colleghi olandesi, non mostreremo la versione finale della nostra homepage, tanto più che ogni data center è unico e non ha senso copiarlo. Ma descriveremo due principi fondamentali per la sua composizione:
- Si tratta di una tabella progettata per il formato verticale di uno schermo di smartphone (o di un monitor, mantenendo però l'orientamento verticale), con visualizzazione di tutte le informazioni importanti su un solo schermo. Sulla tabella viene fornita un'"istantanea" degli incidenti attivi, quindi posizionarli insieme è risultato più conveniente nel formato verticale.
- La disposizione delle celle nella tabella ripete l'architettura del data center (fisica o logica). Abbiamo rinunciato all'ordinamento dei sistemi in ordine alfabetico, come potrebbe sembrare a prima vista. La sequenza riflette le associazioni visive del personale del data center, come se monitorassero fisicamente tutti gli spazi e i sistemi. Questo semplifica la ricerca di informazioni.
Di fatto, ora tutte le caratteristiche chiave del Data Center sono raggruppate e presentate su un unico schermo di smartphone/monitor dell'ingegnere responsabile e del manager, con il legame alla topografia fisica e logica del Data Center.
Ecco la foto di quel primo schizzo, anche se, ovviamente, questa versione è stata successivamente riconsiderata e sviluppata.
Registrazione e riepilogo degli incidenti
Parleremo di un altro concetto per noi nuovo, emerso a seguito del progetto di aggiornamento del sistema di monitoraggio.
La registrazione è un termine piuttosto raro che ha suggerito di utilizzare lo sviluppatore del nuovo sistema BMS. Significa confermare che l'operatore ha visto l'incidente, l'ha confermato e ha assunto la responsabilità della sua risoluzione.
La parola è stata assimilata, e ora "registro" gli incidenti.
L'algoritmo incorporato nella versione base del nuovo BMS non ci ha soddisfatti. In effetti, erano commenti al diario eventi, cioè gli incidenti risolti non scomparivano dal registro, e quelli ricevuti ("registrati") non venivano separati dai nuovi.
Di conseguenza, è stata sviluppata una finestra chiamata "riepilogo", in cui:
- Vengono visualizzati solo incidenti attivi e dispositivi in modalità di servizio (senza notifiche commerciali "blu").
- Vengono chiaramente distinti gli incidenti NUOVI e quelli ACCETTATI.
- È indicato chi ha accettato l'incidente.
L'algoritmo di lavoro del personale in servizio nel nuovo BMS è il seguente:
- I nuovi incidenti entrano nel riepilogo e attendono la registrazione. Non possono rimanere a lungo in questa sezione, il personale di turno responsabile dell'attrezzatura deve subito accettare l'incidente.
- Il dipendente accetta l'incidente premendo la spunta a destra. Poiché tutti i dipendenti utilizzano account unici, viene automaticamente mostrato chi ha accettato l'incidente. Se necessario, può essere lasciato un commento.
- L'incidente viene spostato nella sezione "Registrati", e gli altri membri del personale in servizio e il manager capiscono che l'incidente è gestito dal dipendente responsabile.
Esempio di finestra di riepilogo con un nuovo e già registrato messaggio.
Collegando la finestra di riepilogo con la tabella One page, abbiamo ottenuto un vero e proprio schermata principale del sistema BMS, in cui è possibile vedere immediatamente:
- lo stato dei sistemi principali del Data Center;
- la presenza di nuovi incidenti non elaborati;
- la presenza di incidenti accettati e i dati su chi li sta risolvendo.
Accesso tramite browser e notifiche pop-up sul telefono
L'interfaccia web, accessibile da qualsiasi dispositivo da qualsiasi parte del mondo, rappresenta un netto contrasto con il "client pesante", completamente chiuso agli utenti esterni.
Il vecchio approccio comportava una serie di inconvenienti, dai problemi nell'organizzazione del lavoro remoto per il personale di monitoraggio alla necessità di installare "client pesanti" da distribuzioni sui posti di lavoro del personale nei data center.
Ora ogni pagina in BMS ha un indirizzo unico, il che consente di condividere non solo l'indirizzo diretto della pagina o del dispositivo, ma anche collegamenti a grafici/rapporti unici.
L'accesso al sistema ora avviene tramite autenticazione LDAP tramite Active Directory, il che aumenta il livello di sicurezza.
La mobilità oggi è un fattore chiave per un lavoro di qualità degli ingegneri di turno. Oltre al monitoraggio della sala di controllo del turno, gli ingegneri effettuano perlustrazioni, svolgono attività quotidiane fuori dalla "sala di turno" e, grazie alla schermata principale di BMS ottimizzata per schermi mobili, non perdono il controllo di ciò che accade nei data center nemmeno per un secondo.
La qualità del monitoraggio aumenta anche grazie alla funzionalità delle chat di lavoro. Queste accelerano i processi lavorativi, consentendo di "collegare" le comunicazioni degli ingegneri di turno a BMS. Noi, ad esempio, utilizziamo l'app Teams, che permette di mantenere comunicazioni interne e ricevere sul telefono tutti i messaggi da BMS come notifiche push pop-up, liberando così l'operatore dall'esigenza di controllare costantemente lo schermo del telefono.
Notifica push sullo schermo dello smartphone.
Ecco come appaiono le notifiche nell'app Teams.
Le notifiche pop-up sono impostate solo per i messaggi riguardanti l'emergere di incidenti, minimizzando così il fattore di distrazione; il personale sa: se sullo schermo dello smartphone appare una notifica push di Teams, è necessario accedere alla pagina di BMS e registrare l'incidente. I messaggi relativi alla risoluzione degli incidenti vengono già monitorati sulla pagina di BMS.
Nella foto l'interfaccia di BMS su smartphone.
In sintesi
Con il costo dell'aggiornamento BMS presso il nostro vecchio fornitore, comparabile allo sviluppo di un nuovo sistema da zero (circa 100.000 $), la differenza nella funzionalità dei prodotti si è rivelata colossale. Abbiamo ottenuto un sistema flessibile, ottimizzato per le nostre sfide e processi aziendali. Abbiamo anche raggiunto un notevole risparmio nei costi attuali per il supporto e l'aggiornamento del sistema.
Ma, naturalmente, ci sono state anche delle difficoltà.
- In primo luogo, abbiamo sottovalutato l'ampiezza delle modifiche necessarie da apportare alla versione base del nuovo BMS e non siamo riusciti a rispettare i tempi concordati. Per noi non è stata una problematica critica, poiché fino all'ultimo ci siamo coperti e abbiamo lavorato sul vecchio sistema; il processo è stato creativo, complesso e quindi a volte è proceduto più lentamente del previsto. Inoltre, abbiamo sempre visto che il nostro sviluppatore stava dando il massimo sforzo per raggiungere il miglior risultato. Ma in realtà la situazione si è rivelata molto lunga e i nostri specialisti chiave hanno dedicato notevoli sforzi e tempo, molto oltre quanto pianificato.
- In secondo luogo, ci sono voluti diversi passaggi di test per ottimizzare l'algoritmo di prenotazione delle macchine virtuali e dei canali di comunicazione. Inizialmente ci sono stati malfunzionamenti sia nel sistema BMS che nella configurazione delle macchine virtuali e della rete. Anche questa fase di debug ha richiesto tempo. Per fortuna, al contraente è stata fornita una piattaforma di test sotto forma di servizio cloud, dove sono state inizialmente testate tutte le impostazioni e le novità.
- In terzo luogo, il sistema finale si è rivelato più complesso da modificare per l'utente finale. Se prima la mappa costituiva uno sfondo (file grafico) e icone, cambiarle o spostarle non era un problema, ora è un'interfaccia grafica complessa con animazione, che richiede abilità specifiche per la modifica.
Il radicale aggiornamento del nostro sistema BMS può già oggi essere considerato il progetto più importante dell'anno scorso, che influenzerà seriamente la qualità della gestione operativa delle nostre strutture in futuro.
Il vecchio server in ferro, ovviamente, non lo abbiamo buttato via, ma lo abbiamo "alleggerito": abbiamo eliminato migliaia di sensori virtuali "commerciali" e PDU e abbiamo mantenuto solo una manciata di dispositivi critici, come DGUs, UPS, climatizzatori, pompe, sensori di perdita e temperatura. In questo modo, ha riacquistato la velocità di un tempo e può fungere da "riserva di riserva". A proposito, dopo aver rimosso il PDU dal vecchio BMS, ci siamo liberati di circa 1000 licenze ora non più necessarie, per caso sai cosa fare con esse?
Fonte: habr.com
