Wie wir ein Notstromversorgungssystem im Rechenzentrum "Tushino" aufgebaut haben: Technik und Finanzen

Das Rechenzentrum "Tushino" – ein kommerzielles Einzelhandels-Rechenzentrum mit einer halben Megawatt Kapazität für alle und alles. Kunden können nicht nur bereits installierte Hardware mieten, sondern auch eigene Geräte unterbringen, einschließlich nicht-standardmäßiger Geräte wie Server in normalen Desktop-Gehäusen, Mining-Farmen oder KI-Systeme. Mit anderen Worten, es erfüllt die vielfältigen Bedürfnisse, die im heimischen Geschäft gefragt sind, unabhängig von deren Größe. Das macht es interessant. In diesem Beitrag finden Sie keine exklusiven technischen Lösungen oder außergewöhnliche Ingenieurideen. Es geht um die Standardprobleme und -lösungen. Das heißt, um das, womit 90 % der Fachkräfte 90 % ihrer Arbeitszeit beschäftigt sind.

Tier – je höher, desto besser?

Die Ausfallsicherheit des Rechenzentrums "Tushino" entspricht dem Tier-II-Niveau. Das bedeutet im Grunde, dass das Rechenzentrum in einem gut vorbereiteten Raum untergebracht ist, über Notstromquellen verfügt und redundante Systemressourcen vorhanden sind.

Entgegen der weit verbreiteten Annahme spiegeln die Tier-Stufen nicht etwa die 'Coolness' eines Rechenzentrums wider, sondern dessen Fähigkeit, aktuellen Geschäftsanforderungen gerecht zu werden. Dabei gibt es viele Anforderungen, bei denen hohe Ausfallsicherheit entweder nicht wichtig oder nicht so entscheidend ist, dass man dafür 20.000 bis 25.000 Rubel pro Jahr bezahlen möchte, was in Krisenzeiten für den Kunden durchaus schmerzhaft sein kann.

Wie kommt dieser Betrag zustande? Er stellt die Differenz zwischen den Preisen für die Unterbringung von Informationen in Rechenzentren untergebracht den Tier II- und Tier III-Stufen pro Server dar. Je mehr Daten verarbeitet werden, desto deutlicher wird das potenzielle Einsparungspotential.

Welche Aufgaben sind damit gemeint? Zum Beispiel die Speicherung von Backups oder das Mining von Kryptowährungen. In diesen Fällen ist der Ausfall, der bei Tier II zulässig ist, günstiger als Tier III. ServerDie Praxis zeigt, dass in den meisten Fällen Einsparungen wichtiger sind als erhöhte Ausfallsicherheit. In Moskau gibt es nur fünf Rechenzentren, die nach Tier III zertifiziert sind. Vollständig zertifizierte Tier IV-Rechenzentren existieren überhaupt nicht.

Wie ist das Stromversorgungssystem des Rechenzentrums 'Tushino' aufgebaut?

Wie ist das Stromversorgungssystem des Rechenzentrums „Tushino“ aufgebaut?

Die Anforderungen an die Stromversorgung des Rechenzentrums "Tushino" entsprechen den Bedingungen der Tier-II-Stufe. Dies umfasst die Redundanz von Stromleitungen nach dem N+1-Schema, die Redundanz von unterbrechungsfreien Stromversorgungen ebenfalls nach dem N+1-Schema und die Redundanz der Dieselgeneratoranlage nach dem N-Schema. N+1 bedeutet in diesem Fall ein Schema mit einem Reserveelement, das ungenutzt bleibt, bis es in der System zu einem Ausfall eines der Hauptkomponenten kommt, während N ein Schema ohne Redundanz bezeichnet, bei dem der Ausfall eines Elements das gesamte System lahmlegt.

Viele mit der Energieversorgung verbundene Probleme werden durch die richtige Standortwahl für das Rechenzentrum gelöst. Das Rechenzentrum "Tushino" befindet sich auf dem Gelände eines Unternehmens, in das bereits zwei 110-kV-Leitungen von verschiedenen städtischen Kraftwerken führen. In der Anlage selbst wird die Hochspannung in Mittelspannung umgewandelt, und zum Eingang des Rechenzentrums gelangen zwei unabhängige 10-kV-Leitungen.

Die Transformatorenstation innerhalb des Rechenzentrums wandelt die Mittelspannung in Verbraucherleistungen von 240-400 V um. Alle Leitungen verlaufen parallel, sodass die Ausrüstung des Rechenzentrums von zwei unabhängigen externen Stromquellen versorgt wird.

Die Niederspannung von den Transformatorenstationen wird an die Automatik zur Notstromversorgung weitergeleitet, die den Wechsel zwischen den städtischen Netzen ermöglicht. Die motorisierten Antriebe für die automatische Umschaltung benötigen dafür 1,2 Sekunden. Während dieser Zeit lastet die gesamte Belastung auf den unterbrechungsfreien Stromversorgungen.

Ein separater Notstrom-Automatenwechselrichter sorgt dafür, dass der Dieselgenerator automatisch eingeschaltet wird, sollte die Stromversorgung an beiden Leitungen ausfallen. Der Start des Dieselgenerators ist ein langsamer Prozess und dauert etwa 40 Sekunden, während dieser Zeit wird die Stromversorgung vollständig von den Batterien der UPS übernommen.

Mit voller Betankung versorgt der Dieselgenerator das Rechenzentrum für bis zu 8 Stunden. Deshalb hat das Rechenzentrum zwei Verträge mit unabhängigen Diesel-Lieferanten abgeschlossen, die sich verpflichtet haben, innerhalb von 4 Stunden nach Anforderung Nachschub zu liefern. Die Wahrscheinlichkeit, dass plötzlich bei beiden Lieferanten Notfälle auftreten, ist äußerst gering. So kann die Autarkie für die Zeit aufrechterhalten werden, die die Reparaturteams benötigen, um die Stromversorgung von einem der städtischen Netzwerke wiederherzustellen.

Wie leicht zu erkennen ist, gibt es hier keine ingenieurtechnischen Besonderheiten. Dies liegt unter anderem daran, dass bei der Errichtung der technischen Infrastruktur vorgefertigte Module verwendet wurden, deren Hersteller sich an einem »durchschnittlichen Verbraucher« orientieren.

Zweifellos wird jeder IT-Spezialist sagen, dass die Mittelwertbildung weder Fisch noch Fleisch ist und empfehlen, einen einzigartigen Komponentenmix für ein bestimmtes System zu entwickeln. Doch diejenigen, die bereit sind, für diesen Luxus zu bezahlen, stehen nicht gerade Schlange. Daher sollte man realistisch sein. In der Praxis wird es ebenso laufen: Die Anschaffung fertiger Hardware und der Aufbau eines Systems, das die geschäftlichen Herausforderungen meistert. Diejenigen, die mit diesem Ansatz nicht einverstanden sind, wird der Finanzdirektor schnell wieder auf den Boden der Tatsachen holen.

Verteilerkästen

Momentan sorgen neun Verteilerkästen für den Betrieb der Einspeise- und Verteilungsgeräte, während vier der RSW direkt für den Anschluss der Last verwendet werden. Es gab keine ernsthaften Platzbeschränkungen, jedoch ist es selten, dass Platz jemals zu viel ist, weshalb ein interessanter ingenieurtechnischer Aspekt dennoch vorhanden war.

Wie leicht zu erkennen ist, stimmt die Anzahl der "Eingangsschaltschränke" und "Verteilerkästen" nicht überein – Letztere sind fast halb so viele. Dies wurde möglich, weil die Infrastrukturdesigner des Rechenzentrums beschlossen haben, größere Schaltschränke zu verwenden, um dort drei oder mehr eingehende Leitungen zu verbinden. Auf jeden Eingangsschalter kommen etwa 36 abgehende Leitungen, die durch separate Schalter geschützt sind.

Somit ermöglicht die Verwendung größerer Modelle manchmal, wertvollen Platz zu sparen. Einfach weil weniger große Schaltschränke benötigt werden.

Unterbrechungsfreie Stromversorgung

Im Rechenzentrum „Tushino“ wird als unterbrechungsfreie Stromversorgung der Eaton 93PM mit einer Leistung von 120 kVA verwendet, der im Doppelwandlerbetrieb arbeitet.

Die USV Eaton 93PM wird in verschiedenen Ausführungen hergestellt. Foto: Eaton

Die Hauptgründe für die Wahl dieses Geräts liegen in den folgenden Eigenschaften.

Erstens erreicht der Wirkungsgrad dieser unterbrechungsfreien Stromversorgung (USV) im Doppelwandlungsmodus 97 % und im Energiesparmodus sogar 99 %. Das Gerät benötigt weniger als 1,5 Quadratmeter und beansprucht keinen Platz im Serverraum für die Hauptausrüstung. Das führt zu geringen Betriebskosten und der notwendigen Einsparung für das Unternehmen.

Zweitens kann die Eaton 93PM USV dank des integrierten Thermoregulierungsystems überall platziert werden, sogar direkt an der Wand. Auch wenn es momentan nicht notwendig ist, könnte es zukünftig erforderlich sein. Zum Beispiel, um etwas Platz für eine zusätzliche Racks zu schaffen.

Drittens ist die Benutzerfreundlichkeit hoch. Dazu gehört auch die Software Intelligent Power, die für die Überwachung und Steuerung eingesetzt wird. Die über SNMP bereitgestellten Metriken ermöglichen die Kontrolle des Stromverbrauchs und von globalen Ausfällen, was eine schnelle Reaktion auf Notfälle erleichtert.

Viertens, Modularität und Skalierbarkeit. Dies ist wohl das wichtigste Merkmal, weshalb im Rechenzentrumsreservierungssystem "Tushino" nur ein modulärer USV eingesetzt wird. Dieser umfasst zwei Arbeitsmodule und ein Backup-Modul. So wird das erforderliche N+1-System für die Tier-II-Ebene sichergestellt.

Dies ist deutlich einfacher und zuverlässiger als eine Konfiguration mit drei USVs. Daher ist die Wahl eines Gerätes, das von Anfang an die Möglichkeit der parallelen Nutzung bietet, durchaus logisch.

Aber warum haben die Planer nicht DR-USVs anstelle von einzelnen USVs und einem Dieselgenerator gewählt? Die Hauptgründe liegen hier nicht in der Technik, sondern in der Finanzierungsstruktur.

Die modulare Struktur ist von vornherein für ein Upgrade ausgelegt – mit steigendem belastung in der ingenieurtechnischen Infrastruktur werden neue Energiequellen und Generatoren hinzugefügt. Die alten Geräte bleiben dabei weiterhin in Betrieb. Bei DRIUPB jedoch ist die Situation grundlegend anders: Der Kauf eines solchen Geräts sollte mit einem erheblichen Leistungsreserven erfolgen. Außerdem sind es 'kleine Maschinen', von denen es nur wenige gibt, und sie sind sehr kostspielig – ungleich teurer als einzelne Dieselgeneratoren und USVs. Zudem sind DRIUPB sehr anspruchsvoll in Bezug auf Transport und Montage, was sich wiederum auf die Gesamtkosten des Systems auswirkt.

Die bestehende Konfiguration erfüllt hingegen ihre Aufgaben sehr erfolgreich. Die USV Eaton 93PM kann die Hauptgeräte des Rechenzentrums für 15 Minuten betreiben, was mehr als 15-fache Reserven bedeutet.

Außerdem sorgt die saubere Sinuswelle, die die USV im Online-Modus liefert, dafür, dass der Betreiber des Rechenzentrums keine separaten Spannungsregler kaufen muss. Das bedeutet Einsparungen.

Trotz der deklarierten Einfachheit des Eaton 93PM ist das Gerät recht komplex. Daher wird die technische Wartung im Rechenzentrum „Tushino“ von einem externen Unternehmen übernommen, das über hochqualifizierte Fachkräfte verfügt. Ein ausgebildeter Mitarbeiter im eigenen Haus für diesen Zweck zu halten, ist eine teure Angelegenheit.

Ergebnisse und Perspektiven

So wurde ein Rechenzentrum geschaffen, das qualitativ hochwertige Dienstleistungen für Kunden anbietet, deren Anforderungen kein hohes Maß an Redundanz erfordern und keine hohen wirtschaftlichen Aufwendungen vorsehen. Ein solcher Service wird immer gefragt sein.

Beim bereits geplanten Bau der zweiten Phase wird das bereits erworbene Eaton-USV-System zur Schaffung eines Systems zur Notstromversorgung verwendet. Dank des modularen Aufbaus wird die Aufrüstung lediglich den Kauf eines zusätzlichen Moduls erfordern, was bequemer und günstiger ist als ein kompletter Austausch des Geräts. Solch ein Ansatz wird sowohl von Ingenieuren als auch von Finanzexperten anerkannt.

Quelle: habr.com