Wie wir im Rechenzentrum "Tushino" ein System für die Backup-Stromversorgung aufgebaut haben: Technik und Finanzen

Das Rechenzentrum „Tushino“ ist ein kommerzielles, halbmegawattes Rechenzentrum für alle und alles. Der Kunde kann nicht nur bereits installierte Hardware mieten, sondern auch eigene Geräte dort unterbringen, einschließlich nicht standardmäßiger Geräte wie Server in normalen Gehäusen für Desktop-Computer, Mining-Rigs oder künstliche Intelligenzsysteme. Einfacher ausgedrückt, es sind die unterschiedlichsten populären Aufgaben, die von inländischen Unternehmen unterschiedlicher Größenordnung stark nachgefragt werden. Das macht es interessant. In diesem Beitrag werden Sie keine exklusiven technischen Lösungen und kreativen Ingenieuransätze finden. Es wird um Standardprobleme und Lösungen gehen. Das heißt, um das, womit 90% der Spezialisten 90% ihrer Arbeitszeit beschäftigt sind.

Tier – je mehr, desto besser?

Die Ausfallsicherheit des Rechenzentrums „Tushino“ entspricht dem Niveau Tier II. Das bedeutet im Wesentlichen, dass das Rechenzentrum in einem normal vorbereiteten Raum untergebracht ist, dass es Backup-Stromquellen gibt und dass redundante Systemressourcen vorhanden sind.

Wider Erwarten beschreibt das Tier-Niveau jedoch nicht die „Coolness“ des Rechenzentrums, sondern den Grad seiner Übereinstimmung mit den aktuellen Geschäftszielen. Und unter diesen gibt es viele, für die eine hohe Ausfallsicherheit entweder unerheblich ist oder nicht so wichtig ist, dass man dafür 20-25 Tausend Rubel pro Jahr mehr bezahlen sollte, was in Krisenzeiten für den Auftraggeber sehr schmerzhaft sein könnte.

Woher stammt diese Summe? Sie macht den Unterschied in den Preisen für die Speicherung von Informationen in Rechenzentren der Tier-II- und Tier-III-Stufen umgerechnet auf einen Server aus. Je mehr Daten, desto deutlicher die potenzielle Einsparung.

Welche Aufgaben sind gemeint? Zum Beispiel die Speicherung von Backups oder das Mining von Kryptowährung. In diesen Fällen wird die zulässige Tier-II-Lösung günstiger sein als Tier III. Server, die in Tier II zulässig ist, wird kostengünstiger sein als Tier III.

Die Praxis zeigt, dass in den meisten Fällen die Einsparungen wichtiger sind als eine erhöhte Ausfallsicherheit. In Moskau gibt es nur fünf Rechenzentren, die nach Tier III zertifiziert sind. Vollständig nach Tier IV zertifiziert sind überhaupt keine vorhanden.

Wie ist das Stromversorgungssystem des Rechenzentrums „Tushino“ aufgebaut?

Die Anforderungen an das Elektrosystem des Rechenzentrums „Tushino“ entsprechen den Bedingungen der Tier-II-Stufe. Dies beinhaltet das Redundieren der Stromleitungen gemäß dem N+1-Schema, die Redundanz der unterbrechungsfreien Stromversorgung gemäß dem N+1-Schema und die Redundanz der Dieselgeneratoranlage gemäß dem N-Schema. N+1 bedeutet in diesem Fall ein Schema mit einem redundanten Element, das ungenutzt bleibt, bis es zu einem Ausfall eines der Hauptkomponenten des Systems kommt, während N ein Schema ohne Redundanz darstellt, bei dem der Ausfall eines beliebigen Elements zum Stillstand des gesamten Systems führt.

Viele mit der Energieversorgung verbundene Probleme werden durch die richtige Wahl des Standorts für ein Rechenzentrum gelöst. Das Rechenzentrum „Tushino“ befindet sich auf dem Gelände eines Unternehmens, zu dem bereits zwei 110-kV-Leitungen von verschiedenen städtischen Kraftwerken führen. An der Ausrüstung des Werks wird die Hochspannung in Mittelspannung umgewandelt, und in das Rechenzentrum gelangen zwei unabhängige 10-kV-Leitungen.

Die Transformatorstation innerhalb des Rechenzentrums wandelt die Mittelspannung in Verbraucherspannung von 240-400 V um. Alle Leitungen werden parallel geführt, sodass die Ausrüstung des Rechenzentrums Strom von zwei unabhängigen externen Quellen erhält.

Die Niederspannung von den Transformatorstationen wird an die automatischen Eingangsschalter des Reservesystems geführt, die den Wechsel zwischen den städtischen Netzen ermöglichen. Für diese Operation benötigen die auf den AVR montierten Motorantriebe 1,2 Sekunden. Während dieser Zeit wird die Last vollständig von den unterbrechungsfreien Stromversorgungen getragen.

Ein separater AVR ist für das automatische Anschalten des Dieselgenerators verantwortlich, falls die Stromversorgung auf beiden Leitungen ausfällt. Der Start des Dieselgenerators ist ein langsamer Prozess und benötigt etwa 40 Sekunden, in denen die Stromversorgung vollständig auf die Batterien der unterbrechungsfreien Stromversorgung übertragen wird.

Bei vollem Tankbetrieb sorgt der Dieselgenerator dafür, dass das Rechenzentrum für 8 Stunden betrieben werden kann. In Anbetracht dessen hat das Rechenzentrum zwei Verträge mit unabhängigen Lieferanten von Dieselkraftstoff abgeschlossen, die sich verpflichtet haben, innerhalb von 4 Stunden nach Aufforderung eine neue Lieferung zu bringen. Die Wahrscheinlichkeit, dass beide gleichzeitig mit unvorhergesehenen Umständen konfrontiert werden, ist äußerst gering. Somit kann die Autonomie so lange aufrechterhalten werden, wie es die Reparaturteams benötigen, um die Stromversorgung mindestens von einem der städtischen Netze wiederherzustellen.

Wie nicht schwer zu erkennen ist, gibt es hier keine Ingenieureingriffe. Dies liegt unter anderem daran, dass bei der Errichtung der Infrastruktur Fertigmodule verwendet wurden, deren Hersteller sich an einem „durchschnittlichen Verbraucher“ orientieren.

Zweifellos wird jeder IT-Spezialist sagen, dass eine Pauschalisierung „weder Fisch noch Fleisch“ ist und vorschlagen, einen einzigartigen Satz von Komponenten für ein bestimmtes System zu entwickeln. Allerdings stehen die Interessierten, die bereit sind, dafür zu zahlen, offensichtlich nicht Schlange. Daher muss man realistisch sein. In der Praxis wird es genau so sein: der Einkauf von Fertigungsgeräten und der Zusammenbau eines Systems, das die geschäftlich relevanten Aufgaben löst. Wer mit diesem Ansatz nicht einverstanden ist, wird schnell von dem Finanzdirektor des Unternehmens wieder auf den Boden der Tatsachen zurückgeholt.

Verteilerschränke

Derzeit gewährleisten neun Verteilerschränke den Betrieb von Einspeise- und Verteilungseinrichtungen, und vier Verteilerschränke werden direkt zur Anschlusslast verwendet. Es gab keine ernsthaften Platzbeschränkungen, aber Platz ist nie genug, sodass es dennoch einen interessanten ingenieurtechnischen Punkt gab.

Wie nicht schwer zu erkennen ist, stimmt die Anzahl der „Einspeise“- und „Last“-Verteiler nicht überein — Letztere sind fast doppelt so wenig. Dies wurde möglich, weil die Planer der Infrastruktur des Rechenzentrums beschlossen, größere Schränke zu verwenden, um darin drei und mehr eingehende Leitungen zuzuführen. Auf jeden Einspeiseautomaten entfallen etwa 36 abgehende Leitungen, die durch separate Automaten geschützt sind.

Somit ermöglicht die Verwendung größerer Modelle manchmal, den begrenzten Platz zu sparen. Einfach weil weniger große Schränke benötigt werden.

Unterbrechungsfreie Stromversorgung

Als unterbrechungsfreie Stromversorgung im Rechenzentrum "Tushino" wird der Eaton 93PM mit einer Leistung von 120 kVA verwendet, der im Doppelwandlerbetrieb arbeitet.

Die USV Eaton 93PM wird in verschiedenen Ausführungen angeboten. Foto: Eaton

Die Hauptgründe für die Wahl dieses Geräts liegen in seinen folgenden Eigenschaften.

Erstens erreicht der Wirkungsgrad dieser USV im Doppelwandlerbetrieb 97 % und im Energiesparmodus 99 %. Das Gerät benötigt weniger als 1,5 m² und nimmt im Serverraum keinen Platz für die Hauptausrüstung ein. Daraus ergeben sich niedrige Betriebskosten und die notwendige Einsparung für das Geschäft.

Zweitens kann die USV Eaton 93PM dank des integrierten Thermoregulationssystems überall platziert werden, sogar direkt an der Wand. Auch wenn dies nicht sofort erforderlich ist, könnte es später notwendig werden. Zum Beispiel, um etwas Platz freizugeben, der für ein zusätzliches Rack benötigt wird.

Drittens ist die Bedienung einfach. Dazu gehört auch die Software Intelligent Power, die zur Überwachung und Steuerung verwendet wird. Die über SNMP übermittelten Metriken ermöglichen die Überwachung des Verbrauchs und möglicher globaler Störungen, was eine schnelle Reaktion auf Notfälle ermöglicht.

Viertens, Modularität und Skalierbarkeit. Dies ist wahrscheinlich die wichtigste Eigenschaft, die es ermöglicht, im System der Notstromversorgung des Rechenzentrums "Tushino" nur ein modulares USV-Gerät zu verwenden. Es umfasst zwei Arbeitsmodule und ein sicheres Modul. So wird das N+1-Schema sichergestellt, das für die Tier-II-Stufe erforderlich ist.

Dies ist erheblich einfacher und zuverlässiger als eine Konfiguration mit drei USVen. Daher ist die Wahl eines Gerätes, bei dem eine parallele Nutzung von Anfang an vorgesehen ist, ein durchaus logischer Schritt.

Aber warum haben die Planer keine DRI-USV anstelle von separaten USVen und einem Dieselgenerator gewählt? Die Hauptgründe liegen hier nicht in der Technik, sondern in den Finanzen.

Die modulare Struktur ist von vornherein auf ein Upgrade ausgelegt – mit dem Anstieg der Last werden in die technische Infrastruktur Quellen und Generatoren hinzugefügt. Die alten Geräte funktionieren dabei weiterhin wie gewohnt. Bei der DRIBP ist die Situation vollkommen anders: Man muss ein solches Gerät mit einem großen Leistungsreservoir kaufen. Außerdem gibt es nur wenige "kleine Kombis", und die kosten auch nicht wenig – unvergleichlich teurer als einzelne Dieselgeneratoren und USVs. Zudem sind DRIBPs sehr empfindlich beim Transport und bei der Montage. Das wirkt sich wiederum auch auf die Gesamtkosten des Systems aus.

Die bestehende Konfiguration erfüllt ihre Aufgaben durchaus erfolgreich. Die USV Eaton 93PM kann den Betrieb der Hauptanlagen des Rechenzentrums für 15 Minuten aufrechterhalten, das heißt mit einem mehr als 15-fachen Leistungsreserve.

Außerdem befreit die reine Sinuswelle, die die USV im Online-Modus abgibt, den Betreiber des Rechenzentrums von der Notwendigkeit, separate Stabilatoren zu kaufen. Hierdurch entsteht eine Einsparung.

Trotz der deklarierten Einfachheit ist die USV Eaton 93PM ein relativ komplexes Gerät. Daher wird die technische Wartung im Rechenzentrum "Tushino" von einem externen Unternehmen durchgeführt, das über hochqualifizierte Fachkräfte verfügt. Einen eigens geschulten Mitarbeiter für diesen Zweck im eigenen Haus zu halten, ist eine kostspielige Angelegenheit.

Ergebnisse und Perspektiven

So wurde ein Rechenzentrum geschaffen, das hochwertige Dienstleistungen für Verbraucher anbieten kann, deren Anforderungen kein hohes Maß an Redundanz erfordern und keine großen wirtschaftlichen Aufwendungen vorsehen. Ein solcher Service wird immer gefragt sein.

Beim bereits geplanten Bau des zweiten Abschnitts wird ein bereits erworbene USV Eaton zur Schaffung des Systems der redundanten Energieversorgung eingesetzt. Dank der modularen Bauweise wird die Modernisierung auf den Kauf eines zusätzlichen Moduls reduziert, was bequemer und günstiger ist als der vollständige Austausch des Geräts. Dieser Ansatz wird sowohl von Ingenieuren als auch von Finanzexperten befürwortet.

Quelle: habr.com