AVR und alles, alles, alles: automatische Stromversorgungssicherung im Rechenzentrum

Im vorherigen Beitrag über PDU haben wir darüber gesprochen, dass in einigen Racks ein AVR – automatischer Wechselrichter installiert ist. Tatsächlich wird der AVR nicht nur im Rack, sondern entlang des gesamten Stromversorgungspfades im Rechenzentrum eingesetzt. An verschiedenen Stellen erfüllen sie unterschiedliche Funktionen:

• In den Hauptverteilungsschränken (HVS) wechselt der AVR die Last zwischen der Stadtversorgung und der Notstromversorgung durch Dieselgeneratoren (DGU); 
• In den unterbrechungsfreien Stromversorgungen (USV) wechselt der AVR die Last von der Hauptversorgung auf den Bypass (darüber gleich mehr); 
• Im Rack wechselt der AVR die Last von einem Eingang auf einen anderen, falls es Probleme mit einem der Eingänge gibt. 

AVR im Standard-Energieversorgungsschema von DataLine-Rechenzentren.

Heute werden wir besprechen, welche AVR wo verwendet werden. 

Es gibt zwei Haupttypen von AVR: ATS (Automatic Transfer Switch) und STS (Static Transfer Switch). Sie unterscheiden sich in ihren Funktionsprinzipien und ihrer Komponentenbasis und werden für unterschiedliche Aufgaben verwendet. Kurz gesagt, STS ist ein „intelligentere“ ATS. Es schaltet die Last schneller um und wird häufiger für hohe Lasten/Stromstärken eingesetzt. Außerdem lässt es sich flexibler konfigurieren, reagiert jedoch empfindlicher auf das Netzwerk: Es kann die Arbeit einstellen, wenn zwei Eingänge von unterschiedlichen Quellen gespeist werden, zum Beispiel von einem Transformator und einem Notstromdieselgenerator.  

AVR im Verteilerkasten

 
Der Haupt-AVR des Rechenzentrums sah vor zwanzig Jahren wie ein komplexes System aus Kontaktoren und Relais aus.

AVR-Modell aus den frühen 2000er Jahren.

Heute ist der AVR ein kompaktes, multifunktionales Gerät.

Das AVR-System im Verteilerkasten steuert die Einspeiseautomaten und gibt Befehle zum Starten und Stoppen des Notstromdieselgenerators. Bei einer Last von mehr als 2 MW ist es auf der Ebene des Verteilerkastens nicht sinnvoll, Geschwindigkeit hinterherzujagen. Selbst wenn es schnell umschaltet, dauert es eine Weile, bis der Notstromdieselgenerator startet. In diesem System werden „langsamer“ ATS verwendet und Verzögerungen (Einstellungen) eingestellt. So funktioniert es: Wenn die Stromversorgung des Rechenzentrums von den Transformatoren unterbrochen wird, befiehlt der AVR den Geräten: „Transformator, schalte dich aus. Jetzt warten wir 10 Sekunden (Einstellung), Notstromdieselgenerator, schalte dich ein, warten wir noch 10 Sekunden.“ 

AVR im UPS  

Anhand von USVs betrachten wir, wie der zweite Typ der automatischen Umschaltung — STS oder static transfer switch — funktioniert.

In der USV wird Wechselstrom im Gleichrichter in Gleichstrom umgewandelt. Dann wird dieser Gleichstrom im Wechselrichter wieder in Wechselstrom umgewandelt, jedoch mit stabilen Parametern. Dies beseitigt Störungen und verbessert die Energiequalität. Bei einem Ausfall der Hauptstromquelle schaltet die USV auf die Batterien um und versorgt das Rechenzentrum, während die Notstromaggregate aktiviert werden. 

Doch was passiert, wenn eines der Elemente wie der Gleichrichter, der Wechselrichter oder die Batterien ausfällt? In jeder USV gibt es dafür einen By-Pass-Mechanismus, der es ermöglicht, dass das Gerät weiterhin direkt aus der Eingangsspannung arbeitet. Der By-Pass wird auch verwendet, um die USV zum Service abzuschalten. 

STS ist in der USV erforderlich, um sicher auf den By-Pass-Eingang zu wechseln. Kurz gesagt, STS überwacht die Netzparameter am Eingang und Ausgang, wartet, bis sie übereinstimmen, und schaltet unter sicheren Bedingungen um. 

Automatische Umschaltung im Rack 

So, two power inputs are connected to the rack. If your equipment has two power supplies, you can easily connect it to different PDUs, and losing one input is not a concern. But what if your server has only one power supply? 
In the rack, an AVR is used so that the benefit of two inputs is not wasted. If there's an issue with one of the inputs, the AVR switches the load to the other input.

Disclaimer: If possible, avoid equipment with a single power supply to prevent creating a single point of failure in the system. Next, we will show the shortcomings of such a connection scheme. 

The task of the AVR in the rack is to switch the equipment to the operational input quickly enough to avoid any interruption in its operation. The required speed was determined empirically: no more than 20 ms. Let's see how this was discovered.

Serverausfälle können durch Spannungsabfälle verursacht werden (z. B. aufgrund von Arbeiten an Umspannwerken, dem Anschluss leistungsstarker Lasten oder Notfällen). Um zu veranschaulichen, wie Geräte unterschiedliche Amplituden und Dauer von Spannungsschwankungen bewältigen, wurden die sicheren Arbeitskurven der elektrischen Geräte von der CBEMA (Computer and Business Equipment Manufacturers Association) entwickelt. Sie sind heute als ITIC-Kurven (Information Technology Industry Council) bekannt und ihre Varianten sind in den Standards IEEE 446 ANSI enthalten (das entspricht unseren GOST-Standards).

Schauen wir auf das Diagramm. Unser Ziel ist es, dass die Geräte im "grünen Bereich" arbeiten. Auf der ITIC-Kurve sehen wir, dass die Geräte einen Spannungsabfall von maximal 20 ms "ertragen" können. Daher orientieren wir uns daran, dass die USV im Rack innerhalb von 20 ms reagiert, besser noch schneller.   

Quelle: meandr.ru.

USV-Gerät. Eine Standard-USV (ATS) in unserem Rechenzentrum nimmt 1 Rack-Einheit ein und hält einer Last von 16 A stand. 

Auf dem Display sehen wir, von welchem Eingang die USV gespeist wird und wie viel Ampere die angeschlossenen Geräte verbrauchen. Mit einer separaten Taste wählen wir, ob der erste oder der zweite Eingang priorisiert werden soll. Rechts befinden sich die Ports für den Anschluss an die USV: 

• Ethernet-Port — zur Verbindung mit dem Monitoring;
• Serieller Anschluss – Melden Sie sich über den Laptop an und überprüfen Sie die Protokolle, um herauszufinden, was passiert. 
• USB – Stecken Sie das Flash-Laufwerk ein und aktualisieren Sie die Firmware. 

Die Ports sind austauschbar: Sie können alle diese Vorgänge ausführen, wenn Sie Zugang zu mindestens einem von ihnen haben. 

Auf der Rückseite – Buchsen für den Anschluss der Haupt- und der Notstromversorgung sowie eine Steckdosenleiste zum Anschluss von IT-Geräten.

Die detaillierten Spezifikationen der USV sehen wir über die Web-Oberfläche. Dort können die Umschaltempfindlichkeit eingestellt und Protokolle angezeigt werden. 

Web-Oberfläche der USV.

Installation und Anschluss der USV. Die USV sollte idealerweise in der Mitte des Racks in der Höhe installiert werden. Wenn wir die Ausstattung des Racks im Voraus nicht kennen, kann das Gerät mit einem Netzteil Kabel sowohl von der oberen als auch von der unteren Seite erreichen.  

Aber hier gibt es Nuancen: Die Tiefe eines Standard-Racks ist deutlich größer als die der USV. Wir empfehlen, ihn so nah wie möglich am Kaltgang zu installieren, aus zwei Gründen:

1. Zugang zur Frontplatte. Wenn die USV näher am heißen Gang installiert wird, sehen wir die Anzeige, können jedoch nicht über die Ports darauf zugreifen. Das bedeutet, dass wir die Protokolle nicht einsehen oder das Gerät neu starten können.

   
   
   
   Irgendwo tief drinnen blinkt die AVR — der Port ist nicht mehr erreichbar.

2. Kühlung. AVRs sollten bei Temperaturen von max. 45 °C verwendet werden. Sie verfügen nicht über eigene Ventilatoren zur Kühlung, sondern sind einfach metallische Geräte mit elektronischen Komponenten. Die gewünschte Temperatur wird auf zwei Arten gehalten: 

• durch Luftströme, die von außen auf sie geblasen werden; 
• durch Befestigungen, die überschüssige Wärme abführen.

Wenn man die AVR an der Seite des heißen Korridors installiert und sie zusätzlich in einem Stapel aus Servern einklemmt, erhält man einen Ofen. Im besten Fall wird die AVR überhitzt und verliert die Verbindung zur Außenwelt, im schlimmsten Fall wechselt sie chaotisch die Last oder gibt sie auf.

Die AVR steht mit dem Gesicht in Richtung des heißen Korridors.

Es gab einen Vorfall. Ein Ingenieur hörte beim Rundgang ungewöhnliche Klickgeräusche.
In den Tiefen des heißen Korridors entdeckte er eine AVR, die ständig zwischen der Haupt- und der Reserveversorgung wechselte. 

Die AVR wurde ausgetauscht. Die Protokolle zeigten, dass sie eine ganze Woche lang jede Sekunde umgeschaltet hat – insgesamt mehr als eine halbe Million Schaltungen. So sieht das aus. es

Welche anderen AVRs gibt es im Rack?

Eingang ATS für das Rack. In unserem Rechenzentrum fungiert dieses USV-System als die einzige Stromverteilung im Rack: es arbeitet als USV+PDU. Es nimmt mehrere Units ein, hat eine Belastbarkeit von 32 A, wird mit industriellen Steckdosen angeschlossen und kann Equipment mit bis zu 6 kW versorgen. Es kann verwendet werden, wenn Standard-PDUs nicht montiert werden können und monolithische Geräte im Rack keine kritischen Lasten unterstützen. 

Rack-STU. Das STU im Rack wird für Geräte verwendet, die empfindlich auf Spannungsschwankungen reagieren. Diese USV schaltet schneller um als eine ATS. 
 

Dieses spezielle STU benötigt 6 Units und hat ein etwas "vintage"-artiges Interface.

Mini-USV. Solche kleinen Geräte gibt es auch, aber bei uns im Rechenzentrum sind solche nicht vorhanden. Dies ist eine Mini-USV für einen Server. 

Diese USV wird direkt an das Netzteil des Servers angeschlossen.

Wie wir die perfekte USV finden

Wir testen viele verschiedene USVs und prüfen, wie sie sich unter hohen Temperaturen verhalten.

So testen wir die USVs: 

• wir schließen ein Netzwerkqualitätslogger, einen Server und mehrere Geräte zur Belastung an;
• wir isolieren das Rack mit Stopfen oder Folie, um hohe Temperaturen zu erreichen;
• auf bis zu 50 °C heizen;
• die Eingänge abwechselnd jeweils 20 Mal deaktivieren;
• überprüfen, ob es Stromausfälle gab, wie sich der Server verhält;
• wenn die USV den Test besteht — auf 70 °C heizen.

Wärmebildaufnahme von einem der Tests.

Der Netzwerk-Analyser erfasst die Spannung über die Zeit. In der Aufzeichnung sehen wir, wie lange der Umschaltvorgang dauerte: an diesem Punkt wurde die Sinuskurve unterbrochen.

Übrigens, wir nehmen die USV zum Test: wir prüfen Ihr Gerät auf Belastbarkeit und berichten, was dabei herauskam 😉 

USV im Rack: eine versteckte Gefahr

Das Hauptproblem mit der USV im Rack ist, dass sie nur die Last vom Haupt- auf den Reserveeingang umschalten kann, jedoch keinen Schutz vor Kurzschlüssen oder Überlastung bietet. Tritt ein Kurzschluss im Netzteil auf, löst der übergeordnete automatische Schutzschalter aus: am PDU oder im Verteilungsschrank. Infolgedessen wird ein Eingang abgeschaltet, die USV erkennt dies und wechselt auf den zweiten Eingang. Wenn der Kurzschluss weiterhin besteht, wird der automatische Schutzschalter des zweiten Eingangs ausgelöst. Dadurch kann aufgrund eines Problems mit einem Gerät das gesamte Rack stromlos werden.

Ich wiederhole: Denken Sie tausendmal nach, bevor Sie ein AVR in einem Rack installieren und Geräte mit einem einzigen Netzteil verwenden.

Quelle: habr.com