{"id":80952,"date":"2020-05-10T01:42:22","date_gmt":"2020-05-09T23:42:22","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/monitoring-v-czode-kak-my-menyali-staruyu-bms-na-novuyu-chast-2"},"modified":"2020-05-10T01:42:22","modified_gmt":"2020-05-09T23:42:22","slug":"monitoring-v-czode-kak-my-menyali-staruyu-bms-na-novuyu-chast-2","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/monitoring-v-czode-kak-my-menyali-staruyu-bms-na-novuyu-chast-2","title":{"rendered":"\u00dcberwachung im Rechenzentrum: Wie wir die alte BMS durch eine neue ersetzt haben. Teil 2","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"\u00dcberwachung<\/p>\n

Im ersten Teil haben wir erkl\u00e4rt, warum wir beschlossen haben, unser altes BMS-System in unseren Rechenzentren gegen ein neues auszutauschen. Und nicht einfach auszutauschen, sondern es von Grund auf neu nach unseren Anforderungen zu entwickeln. Im zweiten Teil erz\u00e4hlen wir, wie wir das gemacht haben.
\n<\/a><\/noindex><\/p>\n

Marktanalyse<\/h2>\n

\nUnter Ber\u00fccksichtigung der in ersten Teils<\/a><\/noindex> beschriebenen W\u00fcnsche und der Entscheidung, auf eine Aktualisierung des bestehenden Systems zu verzichten, haben wir ein Lastenheft zur Suche nach einer L\u00f6sung auf dem Markt erstellt und mehrere gro\u00dfe Unternehmen angeschrieben, die sich ausschlie\u00dflich mit der Erstellung industrieller SCADA-Systeme besch\u00e4ftigen.\u00a0<\/p>\n

Die ersten Antworten von ihnen zeigten, dass die Marktf\u00fchrer im Bereich Monitoring \u00fcberwiegend weiterhin auf physischen Servern arbeiten, obwohl der Migrationsprozess in die Cloud in diesem Segment bereits begonnen hat. Was die Hochverf\u00fcgbarkeit virtueller Maschinen angeht \u2013 diese Option wurde von niemandem unterst\u00fctzt. Dar\u00fcber hinaus hatte man das Gef\u00fchl, dass keiner der bemerkenswerten Entwickler auf dem Markt sogar das Verst\u00e4ndnis f\u00fcr die Notwendigkeit von Hochverf\u00fcgbarkeiten demonstriert hat: \"Die Cloud f\u00e4llt schlie\u00dflich nicht aus\" war die am h\u00e4ufigsten gegebene Antwort. Tats\u00e4chlich wurde uns angeboten, das Monitoring des Rechenzentrums in einer Cloud zu platzieren, die sich physisch in demselben Rechenzentrum befindet.<\/p>\n

Hier ist es notwendig, einen kleinen Einschub zum Auswahlprozess des Auftragnehmers zu machen. Der Preis spielt nat\u00fcrlich eine Rolle, aber w\u00e4hrend jedes Ausschreibungsverfahrens f\u00fcr die Umsetzung eines komplexen Projekts, in der Dialogphase mit den Anbietern, beginnt man zu sp\u00fcren, welcher der Kandidaten mehr interessiert und in der Lage ist, das Projekt umzusetzen.\u00a0<\/p>\n

Das ist besonders bei komplexen Projekten auff\u00e4llig.\u00a0<\/p>\n

Anhand der Art der R\u00fcckfragen zum Lastenheft kann man die Auftragnehmer in solche unterteilen, die einfach nur daran interessiert sind, zu verkaufen (der Standarddruck eines Vertriebsmitarbeiters ist sp\u00fcrbar) und solche, die daran interessiert sind, ein Produkt zu entwickeln, indem sie den Kunden h\u00f6ren und verstehen, konstruktive \u00c4nderungen am Lastenheft noch vor der endg\u00fcltigen Auswahl einbringen (trotz des realen Risikos, ein fremdes Lastenheft zu verbessern und den Auftrag zu verlieren), und letztlich einfach bereit sind, eine professionelle Herausforderung anzunehmen und ein gutes Produkt zu erstellen.<\/p>\n

All dies f\u00fchrte dazu, dass wir unsere Aufmerksamkeit auf einen relativ kleinen lokalen Entwickler \u2013 die Unternehmensgruppe \u201eSanline\u201c \u2013 lenkten, die sofort auf die meisten unserer Anforderungen einging und bereit war, all unsere Bed\u00fcrfnisse in Bezug auf das neue BMS umzusetzen.\u00a0<\/p>\n

Risiken<\/h2>\n

\nW\u00e4hrend die gro\u00dfen Akteure versuchten zu verstehen, was wir wollten, und eine langsame Korrespondenz mit Fachleuten der Pre-Sales-Ebene f\u00fchrten, organisierte ein lokaler Entwickler ein Treffen in unserem B\u00fcro mit seiner technischen Mannschaft. Bei diesem Treffen zeigte der Auftragnehmer erneut den Wunsch, am Projekt teilzunehmen und erkl\u00e4rte vor allem, wie das erforderliche System umgesetzt werden w\u00fcrde.\u00a0\u00a0\u00a0\u00a0<\/p>\n

Vor dem Treffen sahen wir zwei Risiken im Umgang mit einem Team, das nicht \u00fcber die Ressourcen eines gro\u00dfen nationalen oder internationalen Unternehmens verf\u00fcgte:<\/p>\n

    \n
  1. Die Fachkr\u00e4fte k\u00f6nnten ihre M\u00f6glichkeiten \u00fcbersch\u00e4tzen und am Ende einfach versagen, beispielsweise indem sie komplexe Software verwenden oder nicht umsetzbare Reservierungsalgorithmen entwerfen.<\/li>\n
  2. Nach der Umsetzung des Projekts k\u00f6nnte das Projektteam auseinanderfallen und damit w\u00e4re die Produktunterst\u00fctzung gef\u00e4hrdet.<\/li>\n<\/ol>\n

    \nUm diese Risiken zu minimieren, luden wir unsere eigenen Entwicklungsspezialisten zum Treffen ein. Die Mitarbeiter des potenziellen Auftragnehmers wurden gr\u00fcndlich zu den Grundlagen des Systems befragt, wie die Reservierung geplant wird und zu anderen Fragen, in denen wir als Betriebsabteilung nicht ausreichend kompetent sind.<\/p>\n

    Das Urteil war positiv: Die Architektur der bereits vorhandenen BMS-Plattform ist modern, einfach und zuverl\u00e4ssig, sie kann weiterentwickelt werden, das vorgeschlagene Schema f\u00fcr Reservierung und Synchronisierung ist logisch und funktionsf\u00e4hig.\u00a0<\/p>\n

    Das erste Risiko haben wir bew\u00e4ltigt. Das zweite haben wir ausgeschlossen, indem wir vom Auftragnehmer die Best\u00e4tigung erhalten haben, uns die Quellcodes des Systems und der Dokumentation zu \u00fcbergeben, sowie indem wir die Programmiersprache Python w\u00e4hlten, die unseren Fachleuten gut bekannt ist. Das garantierte uns die M\u00f6glichkeit, das System eigenst\u00e4ndig ohne irgendwelche Schwierigkeiten und lange Schulungszeiten f\u00fcr die Mitarbeiter zu unterst\u00fctzen, falls der Entwicklungsunternehmer den Markt verl\u00e4sst.<\/p>\n

    Ein zus\u00e4tzlicher Vorteil der Plattform war, dass sie in Docker-Containern implementiert wurde: In dieser Umgebung funktionieren sowohl das Kernel, die Web-Oberfl\u00e4che als auch die Datenbank des Produkts. Dieser Ansatz bietet zahlreiche Vorteile, einschlie\u00dflich der vorinstallierten Einstellungen f\u00fcr die h\u00f6chste Geschwindigkeit bei der Bereitstellung der L\u00f6sung im Vergleich zum \"Klassischen\" und der einfachen Integration neuer Ger\u00e4te in das System. Das Prinzip \"alles zusammen\" vereinfacht die Implementierung des Systems erheblich: Es gen\u00fcgt, das System zu entpacken, und man kann es sofort nutzen.\u00a0<\/p>\n

    Mit dieser L\u00f6sung ist es einfacher, Systemkopien zu erstellen, und man kann sie in einer separaten Umgebung verbessern und aktualisieren, ohne den Betrieb der L\u00f6sung insgesamt anzuhalten.\u00a0\u00a0<\/p>\n

    Nachdem beide Risiken minimiert worden waren, stellte der Auftragnehmer das Angebot bereit. Darin wurden alle f\u00fcr uns wichtigsten Parameter des BMS-Systems ausgearbeitet.<\/p>\n

    Reservierung<\/h2>\n

    \nDas neue BMS-System sollte in der Cloud auf einer virtuellen Maschine betrieben werden.\u00a0<\/p>\n

    Kein Hardware, keine Server und all die mit diesem Bereitstellungsmodell verbundenen Unannehmlichkeiten und Risiken \u2013 die Cloud-L\u00f6sung erm\u00f6glichte es uns, sie f\u00fcr immer loszuwerden. Es wurde beschlossen, dass das System in unserer Cloud an zwei Standorten der Rechenzentren in Sankt Petersburg und Moskau betrieben wird. Dies sind zwei voll funktionsf\u00e4hige Systeme, die im Active-Standby-Modus mit Zugang f\u00fcr alle autorisierten Fachkr\u00e4fte arbeiten.\u00a0<\/p>\n

    Die beiden Systeme sichern sich gegenseitig ab und gew\u00e4hrleisten vollst\u00e4ndige Redundanz sowohl in der Rechenleistung als auch in den Daten\u00fcbertragungskan\u00e4len. Es wurden auch zus\u00e4tzliche Sicherheitsma\u00dfnahmen eingerichtet, einschlie\u00dflich der Daten- und Kanal-Backups, der Backup-Systeme, virtuellen Maschinen insgesamt und einem separaten Backup der Datenbank einmal im Monat (die wertvollste Ressource f\u00fcr zuk\u00fcnftiges Management und Analyse).\u00a0<\/p>\n

    Es sei darauf hingewiesen, dass die Reservierung als Option des BMS-Systems speziell auf unsere Anfrage hin entwickelt wurde. Das Reservierungsschema sah folgenderma\u00dfen aus:<\/p>\n

    \"\u00dcberwachung<\/p>\n

    Bestellen<\/h2>\n

    Ein entscheidender Punkt f\u00fcr den effektiven Betrieb des BMS-Systems ist der technische Support.\u00a0<\/p>\n

    Hier ist alles einfach: Das neue System w\u00fcrde uns in diesem Punkt 35.000 Rubel im Monat f\u00fcr SLA \"Reaktion innerhalb von 8 Stunden\" kosten, also 35.000 x 12 \/ 80 = 5.250 $ pro Jahr. Im ersten Jahr kostenlos.\u00a0<\/p>\n

    Zum Vergleich: Die Unterst\u00fctzung des alten BMS vom Anbieter kostete j\u00e4hrlich 18.000 Dollar, wobei sich der Betrag f\u00fcr jedes neu hinzugef\u00fcgte Ger\u00e4t erh\u00f6hte! Dabei stellte das Unternehmen keinen dedizierten Manager zur Verf\u00fcgung; die gesamte Kommunikation erfolgte \u00fcber den Vertriebsmanager, der an uns als potenziellen K\u00e4ufer interessiert war, mit entsprechendem Fokus auf die Bearbeitung der Anfragen.\u00a0<\/p>\n

    F\u00fcr weniger Geld erhielten wir eine umfassende Produktunterst\u00fctzung mit einem Account-Manager, der an der Produktentwicklung beteiligt war, einer einzigen Anlaufstelle usw. Die Unterst\u00fctzung wurde erheblich flexibler \u2013 dank des direkten Zugriffs auf die Entwickler f\u00fcr schnelle Anpassungen in allen Aspekten des Systembetriebs, Integration \u00fcber API usw.<\/p>\n

    Updates<\/h2>\n

    \nIm zugesandten Angebot der neuen BMS sind alle Updates im Supportpreis enthalten, d.h. sie erfordern keine zus\u00e4tzliche Bezahlung. Ausnahmen bilden die Entwicklung zus\u00e4tzlicher Funktionen, die \u00fcber das im Lastenheft angegebene Ma\u00df hinausgehen.\u00a0<\/p>\n

    Das alte System sah Zahlungen sowohl f\u00fcr die Aktualisierung der integrierten kostenlosen Software (wie Java) als auch f\u00fcr Fehlerbehebungen vor. Darauf konnte man nicht verzichten; ohne Updates lief das System insgesamt \u201elangsam\u201c, da es auf alten Versionen interner Komponenten basierte.<\/p>\n

    Und nat\u00fcrlich konnte die Software nicht ohne den Kauf eines Supportpakets aktualisiert werden.<\/p>\n

    Flexibler Ansatz<\/h2>\n

    \nEin weiteres wichtiges Anliegen betraf die Benutzeroberfl\u00e4che. Wir wollten den Zugriff darauf \u00fcber einen Webbrowser von jedem Ort aus erm\u00f6glichen, ohne dass ein Ingenieur vor Ort im Rechenzentrum sein musste. Au\u00dferdem strebten wir die Schaffung einer animierten Benutzeroberfl\u00e4che an, um die Dynamik der Infrastruktur f\u00fcr die wartenden Ingenieure anschaulicher zu machen.\u00a0<\/p>\n

    In der neuen System musste auch die Unterst\u00fctzung von Formeln zur Berechnung der Arbeit virtueller Sensoren in Ingenieursystemen gew\u00e4hrleistet sein \u2013 beispielsweise zur optimalen Verteilung elektrischer Leistungen auf die Server mit der Ausr\u00fcstung. Daf\u00fcr mussten alle gewohnten mathematischen Operationen vorhanden sein, die auf die Messwerte der Sensoren anwendbar sind.\u00a0<\/p>\n

    Au\u00dferdem war ein Zugang zur SQL-Datenbank erforderlich, um die ben\u00f6tigten Daten \u00fcber den Betrieb der Ger\u00e4te abzurufen \u2013 insbesondere alle Protokolle zur \u00dcberwachung von zweitausend Ger\u00e4ten und zweitausend virtuellen Sensoren, die etwa zwanzigtausend Variablen generieren.\u00a0<\/p>\n

    Ben\u00f6tigt wurde auch ein Modul zur Erfassung der Ger\u00e4te im Rack, das eine grafische Darstellung der Anordnung der Ger\u00e4te in jeder Einheit bietet, mit einer Zusammenstellung des Gesamtgewichts der Hardware, einer Ger\u00e4tedatenbank und detaillierten Informationen zu jedem Element.\u00a0<\/p>\n

    Abstimmung des Lastenhefts und Unterzeichnung des Vertrags<\/h2>\n

    \nZum Zeitpunkt, als es notwendig war, mit der Arbeit an dem neuen System zu beginnen, war die Korrespondenz mit den \"gro\u00dfen\" Unternehmen noch sehr weit von einer Diskussion \u00fcber die Kosten ihrer Angebote entfernt, daher haben wir das erhaltene Angebot mit den Kosten f\u00fcr die Aktualisierung des alten BMS (siehe den ersten Teil<\/a><\/noindex>), und infolgedessen war es preislich attraktiver und entsprach unseren Anforderungen.<\/p>\n

    Die Wahl wurde getroffen.<\/p>\n

    Nach der Auswahl des Auftragnehmers begannen die Juristen mit dem Vertragsentwurf, w\u00e4hrend die technischen Teams beider Seiten das Lastenheft verfeinerten. Wie bekannt ist, ist ein detailliertes und gut formuliertes Lastenheft die Basis f\u00fcr den Erfolg aller Arbeiten. Je mehr Konkretes im Lastenheft steht, desto weniger Entt\u00e4uschungen wie \"aber so wollten wir es nicht\".<\/p>\n

    Ich nenne zwei Beispiele f\u00fcr den Detaillierungsgrad der Anforderungen im Lastenheft:<\/p>\n

      \n
    1. Die Betriebs-IT-R\u00e4uber haben die Befugnis, neue Ger\u00e4te in die BMS einzuf\u00fcgen, meist handelt es sich um PDUs. In der alten BMS war dies die Administratoren-Ebene, die es unter anderem erm\u00f6glichte, die Einstellungen aller Ger\u00e4tevorgaben zu \u00e4ndern, und eine Trennung der Funktionen war nicht m\u00f6glich. Das war f\u00fcr uns nicht akzeptabel. In der vorhandenen Basisversion der neuen Plattform war das Schema \u00e4hnlich. Wir haben im Lastenheft sofort angegeben, dass wir diese Rollen teilen m\u00f6chten: Die Einstellungen soll nur ein autorisierter Mitarbeiter \u00e4ndern d\u00fcrfen, aber die Betriebs-IT-R\u00e4uber m\u00fcssen weiterhin die M\u00f6glichkeit haben, Ger\u00e4te hinzuzuf\u00fcgen. Dieses Schema wurde zur Umsetzung angenommen.<\/li>\n
    2. \u00a0In jedem Standard-BMS gibt es drei typische Kategorien von Benachrichtigungen: ROT \u2013 sofort reagieren, GELB \u2013 beobachten, BLAU \u2013 \u201eInformation\u201c. Wir haben traditionell \u201eblaue\u201c Benachrichtigungen zur \u00dcberwachung von \u00dcberschreitungen gewerblicher Parameter verwendet, wie z. B. das \u00dcberschreiten des maximalen Leistungsgrenzwerts eines Kundenracks. Diese Art von Benachrichtigungen war in unserem Fall f\u00fcr die Manager gedacht und daher f\u00fcr den operativen Dienst uninteressant, f\u00fchrte aber in der alten BMS regelm\u00e4\u00dfig zu einer \u00dcberf\u00fcllung der Liste aktiver Vorf\u00e4lle, was die t\u00e4gliche Arbeit st\u00f6rte. Die Logik und Farbdifferenzierung der Benachrichtigungen fanden wir gelungen und behielten sie bei, jedoch haben wir im Lastenheft ausdr\u00fccklich festgelegt, dass die \u201eblauen\u201c Benachrichtigungen, ohne die Aufsichtskr\u00e4fte abzulenken, ger\u00e4uschlos in einen separaten Abschnitt \u201efallen\u201c sollten, wo sie von den kommerziellen Spezialisten bearbeitet werden.<\/li>\n<\/ol>\n

      \nMit \u00e4hnlicher Detailgenauigkeit wurden die Formate zur Erstellung von Grafiken und Berichten, die Umrisse der Schnittstellen, die Liste der zu \u00fcberwachenden Ger\u00e4te und viele weitere Dinge festgelegt.\u00a0<\/p>\n

      Es war eine wirklich kreative Arbeit von drei Arbeitsgruppen \u2013 dem Auftraggeber, der seine Anforderungen und Bedingungen diktierte; technischen Spezialisten beider Seiten, deren Aufgabe es war, diese Bedingungen in technische Dokumentation umzuwandeln; und dem Team von Programmierern des Auftragnehmers, die die Anforderungen des Auftraggebers gem\u00e4\u00df der entwickelten technischen Dokumentation umsetzten\u2026 Letztlich passten wir einige unserer nicht grundlegenden Anforderungen an die Funktionalit\u00e4t der bereits bestehenden Plattform an, w\u00e4hrend der Auftragnehmer sich verpflichtete, andere Anforderungen f\u00fcr uns zu erg\u00e4nzen.\u00a0<\/p>\n

      Parallelarbeit von zwei Systemen<\/h2>\n

      \n\"\u00dcberwachung
      \nDie Zeit f\u00fcr die Umsetzung war gekommen. In der Praxis bedeutete dies, dass wir dem Auftragnehmer die M\u00f6glichkeit geben, einen Prototyp des BMS in unserer virtuellen Cloud zu implementieren und Netzwerkzugang zu allen Ger\u00e4ten zu erm\u00f6glichen, die \u00fcberwacht werden m\u00fcssen.<\/p>\n

      Zu diesem Zeitpunkt war das neue System jedoch noch nicht betriebsbereit. In dieser Phase war es f\u00fcr uns wichtig, die \u00dcberwachung im alten System aufrechtzuerhalten und gleichzeitig den Zugang zu den Ger\u00e4ten im neuen System zu erm\u00f6glichen. Es ist unm\u00f6glich, ein System vern\u00fcnftig zu gestalten, ohne die Ger\u00e4te zu sehen, die zudem nicht von der \u00dcberwachung des alten Systems getrennt werden k\u00f6nnen.\u00a0<\/p>\n

      Obehalten die Ger\u00e4te die gleichzeitige Abfrage durch zwei Systeme, war ohne reale Tests nicht eindeutig. Es bestand die M\u00f6glichkeit, dass eine doppelte gleichzeitige Abfrage zu h\u00e4ufigen Antwortausf\u00e4llen der Ger\u00e4te f\u00fchrt und wir eine Vielzahl von Fehlern aufgrund der Nichterreichbarkeit der Ger\u00e4te erhalten, was wiederum die Funktion des alten \u00dcberwachungssystems blockiert.<\/p>\n

      Die Netzwerkabteilung hat virtuelle Routen vom Prototyp der neuen BMS, die in der Cloud bereitgestellt wurde, zu den Ger\u00e4ten gelegt, und wir erhielten folgende Ergebnisse:\u00a0<\/p>\n