Monitoring im Rechenzentrum: wie wir die alte BMS gegen die neue ausgetauscht haben. Teil 3

Wir setzen unsere Erzählung darüber fort, wie wir das BMS-System in unseren Rechenzentren geändert haben (Teil 1, Teil 2). Dabei haben wir nicht einfach eine Lösung eines Anbieters durch einen anderen ersetzt, sondern ein System von Grund auf für unsere Anforderungen entwickelt. Zum Abschluss unserer Geschichte teilen wir die Ergebnisse unserer Arbeit und interessante Lösungen, die für Sie von Nutzen sein könnten.

Ein neuer Schnittstelle

Hier, wie man sagt, sieht man besser einmal als hundertmal.

Server-Racks.

Lassen Sie uns die Unterschiede erläutern.

• Zunächst einmal ist das schön praktisch. Beachten Sie, wie einfach es geworden ist, die Lasten auf die Module ("Banks" oder einfach "Banken") PDU und die Summe der parallelen Lasten der Paarmodule zu verfolgen. Auf dem Rack-Modell aus dem neuen BMS sehen wir sofort, dass die unteren Paarmodule PDU überlastet sind (die Gesamtstromstärke liegt über den zulässigen 16A – "blaue" Benachrichtigung), während die oberen unterlastet sind. Im Falle der Abschaltung eines der Einspeisungen wird die gesamte Last auf die zweite übergehen, und das verbleibende unter Spannung stehende untere Modul wird aufgrund einer Überlastung getrennt. Um dies zu verhindern, wird der Support des Rechenzentrums den Kunden im Voraus warnen und eine Empfehlung zur Lastverteilung senden.
• Einfache Hinzufügung von Hardware. Im neuen BMS sind virtuelle Sensoren zur Summe der Ströme der Module und der Rackleistung bereits in die Vorlagen typischer Racks integriert und werden automatisch nach Hinzufügen zur PDU-Rack erstellt. Im alten BMS mussten sie manuell erstellt und dann auf die Karte gezogen werden, was die Wahrscheinlichkeit eines Fehlers aufgrund des "menschlichen Faktors" erhöhte.
• Uneingeschränkter Raum für Kreativität. Jetzt haben wir keine Einschränkungen mehr bei der Erstellung virtueller Sensoren. Es können beliebige mathematische Modelle beliebiger Variablen erstellt werden. Das bedeutet, dass wir die Möglichkeit haben, komplexe virtuelle Sensoren zu erstellen (früher konnten wir nur Werte addieren) und Statistiken sowie Trends im Betrieb von Ingenieursystemen besser zu analysieren. Dies verbessert die Qualität der Entscheidungen bei der Systemkonfiguration, dem Austausch von Hardware und dem Ressourcenmanagement. 
• Eindeutige Benutzeroberfläche. In der neuen Benutzeroberfläche gibt es keine Überladung mit Symbolen, die Lüfter drehen, Schalter klicken. Und das Praktischste ist die Möglichkeit zur Anzeige des Zustands der PDU-Leitung A/B innerhalb der Racks. Wir haben versucht, etwas Ähnliches im alten BMS umzusetzen, aber die Anzahl der zusammenlaufenden Symbole pro Quadratzentimeter Karte hat uns davon abgehalten.

Jetzt ist es angenehm für das Auge:

Server.

Fragment of the switchgear.

Ventilation control panel.

And you can also decorate the new BMS for the New Year 🙂

One page – mutual understanding with half a word and without a specification

We have wanted to implement another 'feature' in BMS for a long time: to compile the main parameters of the data center on one page so that a single glance at the screen is enough to assess the state of the main systems. However, we did not fully understand how it should look.

Even before starting the development of the new BMS, we visited about a dozen data centers in the Netherlands. One of the goals was to see examples of such a page implementation.

And in none of the data centers was it shown to us – somewhere it was missing, somewhere it was 'currently being developed', and somewhere it was a 'big commercial secret'. Therefore, in our terms of reference for creating the new BMS, a detailed description of this very important page for us was absent.

As a result, we invented it literally 'on the go'. At that moment, I had to remotely consult colleagues in the data center. Flipping through BMS pages on the phone in search of scattered data was very inconvenient, and in fact, the first version was sketched out on a napkin. One page. It was implemented by the developers based on the photo. 

Following the example of cautious Dutch colleagues, we will not demonstrate the final version of our main page, especially since each data center is unique and there is no point in copying. But we will describe the two main principles of its formation:

1. It is a table formatted for the vertical layout of a smartphone screen (or a monitor, but maintaining the vertical layout), displaying all important information on one screen. Above the table, there is a 'summary' of active incidents, so it turned out to be more convenient to place them together in a vertical format. 
2. The placement of cells in the table reflects the architecture of the data center (physical or logical). We abandoned arranging systems in alphabetical order, as might seem intuitive at first. The sequence reflects the visual associations of the data center staff – as if they are physically monitoring all rooms and systems. This simplifies information retrieval.

Im Grunde sind jetzt alle wichtigen Merkmale des Rechenzentrums gruppiert und auf einem Bildschirm eines Smartphones oder Monitors des verantwortlichen Ingenieurs und Managers dargestellt, wobei eine Bindung an die physische und logische Topologie des Rechenzentrums realisiert wurde. 

Hier ist ein Foto des allerersten Entwurfs, obwohl diese Version natürlich später überdacht und überarbeitet wurde.

Quittierung und Zusammenfassung von Vorfällen

Wir werden über ein weiteres neues Konzept sprechen, das im Rahmen des Projekts zur Aktualisierung des Überwachungssystems entstanden ist.

Quittierung ist ein ziemlich selten verwendeter Begriff, den der Entwickler des neuen BMS vorgeschlagen hat. Er bedeutet die Bestätigung, dass der Operator einen Vorfall gesehen, ihn bestätigt und die Verantwortung für dessen Behebung übernommen hat.  

Das Wort hat sich etabliert, und jetzt "quittieren" wir Vorfälle.

Der Algorithmus, der in der Basisversion des neuen BMS hinterlegt ist, hat uns nicht zufrieden gestellt. Tatsächlich waren das Kommentare zum Ereignisprotokoll, das heißt, behobene Vorfälle verschwanden nicht aus dem Protokoll, und akzeptierte („quittierte“) wurden nicht von neuen unterschieden.

Infolgedessen wurde ein Fenster namens „Zusammenfassung“ entwickelt, in dem:

1. Nur aktive Vorfälle und Geräte im Servicemodus (ohne kommerzielle „blaue“ Benachrichtigungen) angezeigt werden.
2. Es werden NEUE und AKZEPTIERTE Vorfälle deutlich unterschieden.
3. Es wird angegeben, wer den Vorfall angenommen hat.

Der Arbeitsalgorithmus der Bereitschaftsdienste im neuen BMS ist folgender:

1. Neue Vorfälle gelangen in die Zusammenfassung und warten auf Quittierung. Sie können nicht lange in diesem Abschnitt bleiben, der für die Ausrüstung verantwortliche Bereitschaftsdienst muss den Vorfall sofort annehmen.
2. Der Mitarbeiter nimmt den Vorfall an, indem er auf das Häkchen rechts klickt. Da alle Mitarbeiter unter einzigartigen Konten sind, wird automatisch angezeigt, wer den Vorfall angenommen hat. Bei Bedarf kann ein Kommentar hinterlassen werden.
3. Der Vorfall wird in den Abschnitt „Quittierte“ verschoben, andere Bereitschaftsdienste und der Leiter verstehen, dass der Vorfall vom zuständigen Mitarbeiter bearbeitet wird.

Beispiel eines Zusammenfassungsfensters mit neuer und bereits quittierter Nachricht.

Durch die Verbindung des Zusammenfassungsfensters mit der Tabelle One page haben wir einen vollwertigen Hauptbildschirm des BMS-Systems erhalten, auf dem man sofort sehen kann: 

• den Zustand der wichtigsten Systeme des Rechenzentrums;
• das Vorhandensein neuer, unbearbeiteter Vorfälle;
• das Vorhandensein angenommener Vorfälle und Informationen darüber, wer sie konkret behebt.

Zugriff über den Browser und Push-Benachrichtigungen auf dem Telefon

Die webbasierte Benutzeroberfläche, die von jedem Gerät aus überall auf der Welt zugänglich ist, stellt einen drastischen Gegensatz zu einem "dicken" Client dar, der vollständig für externe Benutzer gesperrt ist. 

Der alte Ansatz brachte eine Vielzahl von Unannehmlichkeiten mit sich, von Problemen bei der Organisation der Remotearbeit der Überwachungsmitarbeiter bis hin zur Notwendigkeit, "dicke" Clients aus Verteilungspaketen auf die Arbeitsplätze der Mitarbeiter im Rechenzentrum zu installieren.

Jetzt hat jede Seite in BMS eine eindeutige Adresse, die es ermöglicht, nicht nur die direkte Adresse der Seite oder des Geräts zu teilen, sondern auch Links zu einzigartigen Grafiken / Berichten. 

Der Zugang zum System erfolgt nun über LDAP-Authentifizierung über Active Directory, was das Schutzniveau erhöht. 

Mobilität ist heute ein entscheidender Faktor für die qualitativ hochwertige Arbeit der Bereitschaftstechniker. Neben der Überwachung in der Bereitschaftsschicht führen die Techniker Rundgänge durch, erledigen aktuelle Aufgaben außerhalb der "Bereitschaft" und verlieren dank des für Mobilgeräte optimierten Hauptbildschirms von BMS keinen Moment den Überblick über das Geschehen in den Maschinenräumen. 

Die Qualität der Überwachung wird auch durch die Funktionalität der Arbeitschats erhöht. Sie beschleunigen die Arbeitsprozesse, indem sie die Kommunikation der Bereitschaftstechniker mit BMS "verknüpfen". Wir verwenden beispielsweise die Teams-App, die es ermöglicht, interne Nachrichten zu senden und alle Nachrichten aus BMS in Form von Push-Benachrichtigungen auf das Telefon zu erhalten, wodurch der Bereitschaftstechniker nicht ständig auf den Bildschirm des Telefons schauen muss.

 Push-Benachrichtigung auf dem Smartphone-Bildschirm.

So sehen die Benachrichtigungen in der Teams-App aus.

Die Push-Benachrichtigungen sind dabei nur auf Meldungen über das Auftreten von Vorfällen eingestellt, wodurch die Ablenkung minimiert wird. Das Personal weiß: Wenn auf dem Smartphone-Bildschirm eine Push-Benachrichtigung von Teams erscheint, muss man die BMS-Seite aufrufen und den Vorfall annehmen. Informationen über die Behebung von Vorfällen werden bereits auf der BMS-Seite verfolgt.

Auf dem Foto ist die BMS-Oberfläche auf dem Smartphone zu sehen.

Zusammenfassend

Bei den Kosten für das Upgrade der BMS bei unserem alten Anbieter, die der Entwicklung eines neuen Systems von Grund auf (ca. 100.000 $) entsprechen, war der Funktionsunterschied der Produkte kolossal. Wir erhielten ein flexibles System, das auf unsere Geschäftsanforderungen und -prozesse optimiert war. Zudem konnten wir erhebliche Einsparungen bei den laufenden Kosten für die Unterstützung und das Upgrade des Systems erzielen. 

Doch natürlich gab es auch Herausforderungen. 

• Zunächst haben wir das Ausmaß der Änderungen, die an der Basisversion der neuen BMS vorgenommen werden mussten, unterschätzt und die im Voraus festgelegten Fristen nicht eingehalten. Für uns war das kein kritisches Problem, da wir bis zuletzt auf der alten Plattform arbeiteten, und der Prozess war kreativ, kompliziert und zog sich daher manchmal länger hin als erwartet. Außerdem sahen wir stets, dass unser Entwickler sein Bestes gab, um das bestmögliche Ergebnis zu erzielen. Aber in Wirklichkeit stellte sich die Geschichte als deutlich langwieriger heraus, und unsere Schlüsselmitarbeiter haben erheblich mehr Aufwand und Zeit investiert als geplant. 
• Zudem benötigten wir mehrere Testphasen, um den Algorithmus zur Reservierung von virtuellen Maschinen und Kommunikationskanälen zu optimieren. Anfänglich gab es Ausfälle sowohl auf Seiten der BMS als auch bei der Konfiguration der virtuellen Maschinen und des Netzwerks. Diese Fehlerbehebung nahm ebenfalls Zeit in Anspruch. Glücklicherweise wurde dem Auftragnehmer eine Testumgebung in Form eines Cloud-Services zur Verfügung gestellt, in der zunächst alle Einstellungen und Neuerungen getestet wurden.
• Drittens stellte sich das Endsystem als komplizierter für die Bearbeitung durch den Endbenutzer heraus. Während die Karte zuvor aus einem Hintergrund (Grafikdatei) und Symbolen bestand, die leicht zu ändern oder zu verschieben waren, handelt es sich nun um eine komplexe grafische Benutzeroberfläche mit Animationen, die bestimmte Fähigkeiten zum Bearbeiten erfordert.

Das radikale Upgrade unseres BMS-Systems kann bereits heute als das wichtigste Projekt des letzten Jahres bezeichnet werden, das einen erheblichen Einfluss auf die Qualität des operativen Managements unserer Anlagen in der Zukunft haben wird. 

Den alten Eisenserver haben wir natürlich nicht entsorgt, sondern „leichter“ gemacht: Wir haben ihn von tausenden „kommerziellen“ virtuellen Sensoren und PDU befreit und nur noch einige Dutzend der kritischsten Geräte wie Notstromaggregate, USV, Klimaanlagen, Pumpen sowie Leck- und Temperatursensoren belassen. In diesem Zustand hat er seine alte Geschwindigkeit zurückgewonnen und kann als „Reservetool“ dienen. Übrigens, nach der Entfernung der PDU aus dem alten BMS haben wir etwa 1000 mittlerweile unnötige Lizenzen frei, wissen Sie zufällig, was wir damit machen sollen?

Quelle: habr.com