Continuiamo la nostra storia su come abbiamo cambiato il sistema BMS nei nostri data center (, ). Non abbiamo semplicemente sostituito una soluzione di un fornitore con un'altra, ma abbiamo sviluppato un sistema da zero in base alle nostre esigenze. In conclusione della nostra storia, condividiamo i risultati del lavoro svolto e soluzioni interessanti che potrebbero esservi utili.
Nuova interfaccia
Qui, come si suol dire, vale la pena vedere una volta.
Rack.
Esaminiamo le differenze.
- Prima di tutto, è bello comodo. Fate attenzione a quanto sia facile monitorare i carichi sui moduli ("Banks" o semplicemente "Banchi") PDU e il totale dei carichi paralleli dei moduli abbinati. Sul modello di rack del nuovo sistema BMS vediamo subito che i moduli PDU inferiori sono sovraccarichi (la corrente totale supera i 16A consentiti - notifica "blu"), mentre quelli superiori sono sottocaricati. In caso di disconnessione di uno degli ingressi, tutto il carico passerà al secondo, e il modulo inferiore rimasto sotto tensione si disattiverà a causa del sovraccarico. Per evitare ciò, il servizio di supporto del data center avviserà in anticipo il cliente e invierà una raccomandazione su come ripartire il carico.
- Aggiunta semplice dell'hardware. Nella nuova BMS, i sensori virtuali che sommando le correnti dei moduli e la potenza del rack sono già stati aggiunti ai modelli standard e vengono creati automaticamente dopo l'aggiunta nel rack PDU. Nella vecchia BMS erano da creare manualmente e poi trascinati sulla mappa, aumentando il rischio di errore causato dal "fattore umano".
- Spazio illimitato per la creatività. Ora non ci sono più limiti nella creazione di sensori virtuali. È possibile costruire modelli matematici assolutamente qualsiasi variabile. Ciò significa che possiamo creare sensori virtuali complessi (prima era possibile solo sommare valori) e analizzare meglio le statistiche e le tendenze delle prestazioni dei sistemi ingegneristici. Questo migliora la qualità delle decisioni relative alla configurazione dei sistemi, alla sostituzione delle attrezzature e alla gestione delle risorse.
- Interfaccia chiara. Nella nuova interfaccia non ci sono icone sovrapposte, le ventole girano, gli interruttori fanno clic. E la cosa più comoda è la possibilità di indicare lo stato della linea PDU A/B all'interno dei rack.
Ora è un piacere da vedere:
Server.
Fregio del quadro elettrico.
Pannello di controllo della ventilazione.
E la nuova BMS può anche essere decorata per il Capodanno 🙂.
One page – comprensione reciproca a colpo d'occhio, senza necessità di specifiche dettagliate.
Abbiamo desiderato a lungo realizzare un'altra 'funzione' nella BMS: compattare su un'unica pagina i parametri principali del data center, in modo che bastasse uno sguardo allo schermo per valutare lo stato dei sistemi principali. Tuttavia, non capivamo del tutto come dovesse apparire.
Anche prima di iniziare lo sviluppo della nuova BMS, abbiamo visitato decine di data center nei Paesi Bassi. Uno degli obiettivi era vedere esempi di realizzazione di tale pagina.
E in nessun data center ce l'hanno mostrata: in alcuni casi non c'era, in altri era "in fase di sviluppo", e in altri ancora era "un grande segreto commerciale". Pertanto, nella nostra specifica per la creazione di un nuovo BMS mancava una descrizione accurata di questa pagina, che è molto importante per noi.
Alla fine l'abbiamo inventata letteralmente "al volo". Proprio in quel momento ho dovuto consultare a distanza i colleghi nel data center. Scorrere le pagine del BMS sul telefono alla ricerca di dati disgiunti era molto scomodo, e praticamente su un tovagliolo è stata abbozzata la prima versione. Una pagina. E i programmatori l'hanno realizzata in base alla foto.
Seguendo l'esempio prudente dei colleghi olandesi, non mostreremo la versione finale della nostra homepage, soprattutto perché ogni data center è unico e non ha senso copiare. Ma descriveremo due principi fondamentali per la sua creazione:
- Si tratta di una tabella progettata per il formato dello schermo verticale di uno smartphone (o di un monitor, ma mantenendo l'orientamento verticale), con tutte le informazioni importanti visualizzate su un'unica schermata. Sopra la tabella viene riportato un "riassunto" degli incidenti attivi, quindi raggrupparli insieme in formato verticale si è rivelato il più comodo.
- La disposizione delle celle nella tabella riflette l'architettura del Data Center (fisica o logica). Abbiamo abbandonato l'ordinamento alfabetico delle sistemazioni, come potrebbe sembrare a prima vista. La sequenza riflette le associazioni visive del personale del data center, come se monitorassero fisicamente tutti gli spazi e i sistemi. Questo semplifica la ricerca delle informazioni.
In sostanza, ora tutte le caratteristiche chiave del Data Center sono raggruppate e presentate su un'unica schermata dello smartphone o del monitor del tecnico responsabile e del management, con un legame realizzato con la topografia fisica e logica del Data Center.
Ecco una foto del primo abbozzo, anche se, naturalmente, successivamente questa versione è stata ripensata e perfezionata.
Registrazione e sintesi degli incidenti
Parliamo di un altro concetto nuovo per noi, emerso durante il progetto di aggiornamento del sistema di monitoraggio.
La registrazione è un termine piuttosto raro, che è stato proposto dal sviluppatore del nuovo BMS. Significa confermare che l'operatore ha visto l'incidente, lo ha confermato e ha assunto le responsabilità per la sua risoluzione.
La parola si è affermata e ora "chiariamo" gli incidenti.
L'algoritmo implementato nella versione base del nuovo BMS non ci ha soddisfatti. In effetti, si trattava di commenti nel registro degli eventi, cioè gli incidenti risolti non scomparivano dal registro e quelli accettati ("chiari") non venivano distinti da quelli nuovi.
Alla fine è stata sviluppata una finestra chiamata "riepilogo", in cui:
- Vengono visualizzati solo gli incidenti attivi e le apparecchiature in modalità servizio (senza le "notifiche blu" commerciali).
- Sono chiaramente distinti gli incidenti NUOVI e ACCETTATI.
- È specificato chi ha accettato l'incidente.
L'algoritmo di lavoro degli operatori nel nuovo BMS è il seguente:
- I nuovi incidenti vengono inseriti nel riepilogo e attendono di essere accettati. Non possono rimanere a lungo in questa sezione, l'operatore responsabile deve accettare immediatamente l'incidente.
- L'impiegato accetta l'incidente per suo conto, cliccando sulla spunta a destra. Poiché tutti gli impiegati hanno credenziali uniche, viene visualizzato automaticamente chi ha accettato l'incidente. Se necessario, si può lasciare un commento.
- L'incidente viene spostato nella sezione "Chiusure", mentre gli altri guardiani e il responsabile comprendono che l'incidente è gestito da un membro del personale responsabile.
Esempio di finestra di riepilogo con un nuovo messaggio e uno già chiuso.
Collegando la finestra di riepilogo con la tabella One page, abbiamo ottenuto un schermo principale del sistema BMS, dove è possibile vedere subito:
- lo stato dei sistemi principali del Data Center;
- la presenza di incidenti non elaborati;
- la presenza di incidenti accettati e i dati su chi li sta risolvendo.
Accesso tramite browser e avvisi pop-up sul telefono.
L'interfaccia web, accessibile da qualsiasi dispositivo da qualsiasi parte del mondo, rappresenta un netto contrasto con il client "heavy", completamente chiuso per gli utenti esterni.
Il vecchio approccio comportava una serie di inconvenienti, dai problemi nell'organizzazione del lavoro remoto degli operatori di monitoraggio fino alla necessità di installare client "heavy" dai pacchetti di distribuzione sui posti di lavoro del personale nel Data Center.
Ora ogni pagina in BMS ha un indirizzo unico, permettendo di condividere non solo l'indirizzo diretto della pagina o del dispositivo, ma anche i collegamenti a grafici/report unici.
L'accesso al sistema ora avviene tramite autenticazione LDAP attraverso Active Directory, il che rafforza il livello di sicurezza.
La mobilità oggi è un fattore chiave per il lavoro di qualità degli ingegneri di turno. Oltre al controllo della sorveglianza nella sala di controllo, gli ingegneri effettuano ispezioni e svolgono il loro lavoro mentre sono fuori dalla "sala di controllo", e grazie alla schermata principale ottimizzata per schermi mobili del BMS, non perdono mai il controllo su ciò che accade nelle sale macchine.
La qualità del monitoraggio aumenta anche grazie alla funzionalità delle chat di lavoro. Queste accelerano i processi di lavoro, consentendo di "collegare" le comunicazioni degli ingegneri di turno al BMS. Noi, ad esempio, utilizziamo l'app Teams, che consente di gestire le comunicazioni interne e ricevere sul telefono tutti i messaggi dal BMS come notifiche push pop-up, il che solleva l'ingegnere di turno dall'obbligo di controllare costantemente lo schermo del telefono.
Notifica push sullo schermo dello smartphone.
Ecco come appaiono le notifiche nell'app Teams.
Le notifiche pop-up sono configurate solo per i messaggi relativi all'emergere di incidenti, riducendo così al minimo le distrazioni. Il personale sa che, se sullo schermo dello smartphone compare una notifica Push di Teams, deve accedere alla pagina BMS e gestire l'incidente. I messaggi sui problemi risolti vengono già monitorati sulla pagina BMS.
Nella foto l'interfaccia BMS su uno smartphone.
In sintesi
Con il costo dell'aggiornamento BMS dal nostro vecchio fornitore, paragonabile a quello per sviluppare un nuovo sistema da zero (circa 100.000 $), la differenza nelle funzionalità dei prodotti è stata enorme. Abbiamo ottenuto un sistema flessibile, ottimizzato per le nostre esigenze aziendali e processi. Abbiamo anche raggiunto un notevole risparmio nei costi correnti di supporto e aggiornamento del sistema.
Ma, naturalmente, ci sono state anche delle difficoltà.
- In primo luogo, abbiamo sottovalutato l'ampiezza delle modifiche necessarie per la versione base del nuovo BMS, e non siamo riusciti a rispettare le scadenze concordate in precedenza. Per noi questo non è stato un problema critico, poiché abbiamo sempre lavorato con il sistema precedente e il processo è stato creativo, complesso e quindi è andato avanti più lentamente del previsto in alcune fasi. Inoltre, abbiamo sempre notato che il nostro sviluppatore si è impegnato al massimo per ottenere il miglior risultato possibile. Tuttavia, la verità è che la storia si è rivelata molto lunga e i nostri specialisti chiave hanno dedicato significativamente più sforzi e tempo di quanto avessero pianificato.
- In secondo luogo, abbiamo avuto bisogno di diverse fasi di test per perfezionare l'algoritmo di prenotazione delle macchine virtuali e delle reti. Inizialmente ci sono stati problemi sia con il sistema BMS che con la configurazione delle macchine virtuali e della rete. Anche questa fase di debug ha richiesto tempo. Fortunatamente, al fornitore è stata fornita una piattaforma di test sotto forma di servizio cloud, dove inizialmente sono state testate tutte le configurazioni e le novità.
- In terzo luogo, il sistema finale si è rivelato più complesso da modificare per l'utente finale. Prima la mappa era un semplice sfondo (file grafico) e icone, modificarle o spostarle era facile, ora è un'interfaccia grafica complessa con animazioni, che richiede competenze specifiche per la modifica.
Un aggiornamento radicale del nostro sistema BMS può già essere considerato il progetto più importante dello scorso anno, che influenzerà seriamente la qualità della gestione operativa delle nostre strutture in futuro.
Il vecchio server fisico, naturalmente, non è stato buttato via, ma 'alleggerito': abbiamo rimosso migliaia di 'sensori commerciali' e PDU, lasciando solo un paio di decine di dispositivi critici, come DGUs, UPS, condizionatori, pompe, sensori di perdite e temperatura. In questo modo, ha riacquistato la velocità di un tempo ed è diventato un 'riserva di riserva'. A proposito, dopo la rimozione dei PDU dal vecchio BMS, abbiamo liberato circa 1000 licenze ora non più necessarie; sai per caso cosa farne?
Fonte: habr.com
