AVR und alles, alles, alles: automatische Einführung der Reserve im Rechenzentrum

Im vorherigen Beitrag über PDU Wir sagten, dass in einigen Racks ein ATS installiert ist – automatische Reserveübertragung. Tatsächlich werden ATSs in einem Rechenzentrum jedoch nicht nur im Rack, sondern entlang des gesamten Strompfads platziert. An verschiedenen Orten lösen sie unterschiedliche Probleme:

  • In den Hauptverteilern (MSB) schaltet der AVR die Last zwischen der Einspeisung aus der Stadt und der Notstromversorgung aus Dieselaggregaten (DGS) um; 
  • Bei unterbrechungsfreien Stromversorgungen (USV) schaltet das ATS die Last vom Haupteingang auf den Bypass um (mehr dazu weiter unten); 
  • In Racks schaltet das ATS die Last von einem Eingang auf einen anderen um, wenn Probleme mit einem der Eingänge auftreten. 

AVR und alles, alles, alles: automatische Einführung der Reserve im Rechenzentrum
ATS im Standard-Stromversorgungsschema für DataLine-Rechenzentren.

Wir werden darüber sprechen, welche AVRs heute wo eingesetzt werden. 

Es gibt zwei Haupttypen von ATS: ATS (automatischer Transferschalter) und STS (statischer Transferschalter). Sie unterscheiden sich in Funktionsprinzip und Elementbasis und werden für unterschiedliche Aufgaben eingesetzt. Kurz gesagt, das STS ist ein intelligenteres ATS. Es schaltet Lasten schneller und wird häufiger bei höheren Lasten/Strömen eingesetzt. Es ist flexibler in der Konfiguration, unterliegt aber den Launen des Netzwerks: Es kann sein, dass es nicht funktioniert, wenn zwei Eingänge aus unterschiedlichen Quellen gespeist werden, zum Beispiel: von einem Transformator und einem Dieselgeneratorsatz.  

AVR in der Hauptschalttafel

 
Das Haupt-ATS eines Rechenzentrums sah vor zwanzig Jahren wie ein komplexes System aus Schützen und Relais aus.

AVR und alles, alles, alles: automatische Einführung der Reserve im Rechenzentrum
AVR-Modell aus den frühen 2000er Jahren.

Jetzt ist AVR ein kompaktes Multifunktionsgerät.

AVR und alles, alles, alles: automatische Einführung der Reserve im Rechenzentrum

Das ATS-System in der Hauptschalttafel steuert die Eingangsleistungsschalter und gibt Befehle zum Starten und Stoppen des Dieselgeneratorsatzes. Wenn die Last auf der Ebene der Hauptschaltanlage mehr als 2 MW beträgt, ist es nicht ratsam, der Geschwindigkeit hinterherzujagen. Auch bei schnellem Umschalten dauert es einige Zeit, bis das Dieselaggregat startet. Dieses System verwendet langsamere ATSs und legt Verzögerungen (Sollwerte) fest. Das funktioniert so: Wenn die Stromversorgung des Rechenzentrums über die Transformatoren ausfällt, befiehlt das ATS den Geräten: „Transformator, ausschalten.“ Jetzt warten wir 10 Sekunden (Sollwert), Dieselgenerator, einschalten, weitere 10 Sekunden warten.“ 

ATS in UPS  

Sehen wir uns am Beispiel einer USV an, wie die zweite Art von ATS funktioniert – STS oder statischer Transferschalter.

In einer USV wird Wechselstrom durch einen Gleichrichter in Gleichstrom umgewandelt. Am Wechselrichter wird dann wieder Wechselstrom erzeugt, allerdings mit stabilen Parametern. Dadurch werden Störungen eliminiert und die Energiequalität verbessert. Wenn die Hauptstromversorgung ausgeschaltet ist USV-Schalter auf Batterien und versorgt das Rechenzentrum mit Strom, während die Dieselaggregate in Betrieb genommen werden. 

Was aber, wenn eines der Elemente ausfällt: der Gleichrichter, der Wechselrichter oder die Batterien? In diesem Fall verfügt jede USV über einen Bypass-Mechanismus oder Bypass. Damit arbeitet das Gerät unter Umgehung der Hauptelemente direkt an der Eingangsspannung weiter. Der Bypass wird auch verwendet, wenn Sie die USV ausschalten und zur Reparatur herausnehmen müssen. 

Der STS in der USV wird für die sichere Übertragung auf den Bypass-Eingang benötigt. Kurz gesagt: Der STS überwacht die Eingangs- und Ausgangsnetzwerkparameter, wartet auf deren Übereinstimmung und schaltet unter sicheren Bedingungen um. 

AVR und alles, alles, alles: automatische Einführung der Reserve im Rechenzentrum

AVR in einem Rack 

Es werden also zwei Stromeingänge an das Rack angeschlossen. Wenn Ihr Gerät über zwei Netzteile verfügt, können Sie es problemlos an verschiedene PDUs anschließen und müssen keine Angst vor dem Verlust eines Eingangs haben. Was ist, wenn Ihr Server über ein Netzteil verfügt? 
Im Rack kommt ATS zum Einsatz, damit der Gewinn aus zwei Eingängen nicht verloren geht. Bei Problemen mit einem der Eingänge schaltet das ATS die Last auf einen anderen Eingang um.

Haftungsausschluss: Wenn möglich, vermeiden Sie Geräte mit einer einzigen Stromversorgung, um eine Fehlerquelle im System zu vermeiden. Als nächstes zeigen wir, welche Nachteile dieses Verbindungsschema hat. 

AVR und alles, alles, alles: automatische Einführung der Reserve im Rechenzentrum

Die Aufgabe des ATS im Rack besteht darin, die Geräte so schnell auf den Arbeitseingang zu schalten, dass es zu keiner Unterbrechung des Betriebs kommt. Die dafür erforderliche Geschwindigkeit wurde experimentell ermittelt: nicht mehr als 20 ms. Mal sehen, wie das entdeckt wurde.

Aufgrund von Spannungseinbrüchen (durch Arbeiten in Umspannwerken, Anschluss starker Lasten oder Unfälle) kommt es zu Ausfällen im Betrieb von Serveranlagen. Um zu veranschaulichen, wie Geräte unterschiedlichen Amplituden und Dauern von Spannungsspitzen standhalten können, wurden Sicherheitskurven für elektrische Geräte der CBEMA (Computer and Business Equipment Manufacturers Association) entwickelt. Jetzt sind sie als ITIC-Kurven (Information Technology Industry Council) bekannt, ihre Varianten sind in den IEEE 446 ANSI-Standards enthalten (dies ist ein Analogon unserer GOSTs).

Schauen wir uns den Zeitplan an. Unsere Aufgabe ist es, dafür zu sorgen, dass Geräte im „grünen Bereich“ arbeiten. Auf der ITIC-Kurve sehen wir, dass das Gerät bereit ist, einen Einbruch von maximal 20 ms zu „tolerieren“. Deshalb streben wir an, dass das ATS im Rack in 20 ms oder besser noch schneller arbeitet.   

AVR und alles, alles, alles: automatische Einführung der Reserve im Rechenzentrum
Source: meandr.ru.

ATS-Gerät. Ein typischer ATS in unserem Rechenzentrums-Rack nimmt 1 Einheit ein und kann einer Belastung von 16 A standhalten. 

Auf dem Display sehen wir, über welchen Eingang der ATS mit Strom versorgt wird und wie viel Ampere die angeschlossenen Geräte verbrauchen. Über eine separate Schaltfläche können Sie auswählen, ob dem ersten oder zweiten Eingang Vorrang eingeräumt werden soll. Auf der rechten Seite befinden sich Ports für die Verbindung zum ATS: 

  • Ethernet-Port – Verbindungsüberwachung;
  • Serieller Anschluss – Melden Sie sich über den Laptop an und sehen Sie, was in den Protokollen passiert. 
  • USB – Stecken Sie ein Flash-Laufwerk ein und aktualisieren Sie die Firmware. 

Die Ports sind austauschbar: Sie können alle diese Vorgänge ausführen, wenn Sie Zugriff auf mindestens einen davon haben. 

AVR und alles, alles, alles: automatische Einführung der Reserve im Rechenzentrum

Auf der Rückseite befinden sich Stecker zum Anschluss der Haupt- und Backup-Eingänge sowie eine Buchsengruppe zum Anschluss von IT-Geräten.

AVR und alles, alles, alles: automatische Einführung der Reserve im Rechenzentrum

Die detaillierten Eigenschaften des AVR sehen wir über die Weboberfläche. Dort können Sie die Schaltempfindlichkeit anpassen und die Protokolle einsehen. 

AVR und alles, alles, alles: automatische Einführung der Reserve im Rechenzentrum
AVR-Weboberfläche.

Installation und Anschluss von ATS. Es ist besser, den AVR in der Höhe in der Mitte des Racks zu installieren. Wenn wir die Konfiguration des Racks nicht im Voraus kennen, können Geräte mit einer Stromversorgung sowohl von unten als auch von oben mit Kabeln erreicht werden.  

Aber dann gibt es noch Nuancen: Die Tiefe eines Standard-Racks ist viel größer als die Tiefe des AVR. Aus zwei Gründen empfehlen wir die Installation so nah wie möglich am Kaltgang:

  1. Zugang über die Frontplatte. Wenn wir das ATS näher am Warmgang installieren, sehen wir die Anzeige, können aber keine Verbindung über die Ports herstellen. Dies bedeutet, dass wir die Protokolle nicht anzeigen oder das Gerät nicht neu starten können.

    AVR und alles, alles, alles: automatische Einführung der Reserve im Rechenzentrum

    AVR und alles, alles, alles: automatische Einführung der Reserve im Rechenzentrum
    Irgendwo in der Tiefe blinkt der AVR – der Port ist nicht mehr erreichbar.

  2. Kühlung. Es wird empfohlen, AVR bei Temperaturen von nicht mehr als 45 °C zu verwenden. Allerdings verfügt es über keine eigenen Lüfter zur Kühlung, es handelt sich lediglich um ein Metallgerät mit elektronischer Befüllung. Halten Sie die gewünschte Temperatur auf zwei Arten aufrecht: 

  • Luftströme, die von außen darauf blasen; 
  • Befestigungselemente, die überschüssige Wärme ableiten.

Wenn wir das ATS an der Seite des Warmgangs installieren und es zusätzlich mit einer Reihe von Servern belegen, erhalten wir einen Herd. Im besten Fall wird der AVR sein Gehirn ausbrennen und den Kontakt zur Außenwelt verlieren, im schlimmsten Fall beginnt er, die Last willkürlich umzuschalten oder aufzugeben.

AVR und alles, alles, alles: automatische Einführung der Reserve im Rechenzentrum
Der AVR dampft vor dem heißen Korridor.

Es gab einen Fall. Ein Ingenieur hörte auf seinem Rundgang ungewöhnliche Klickgeräusche.
In den Tiefen des heißen Korridors wurde unter einem Stapel Server ein ATS entdeckt, das ständig vom Haupteingang zum Backup-Eingang wechselte. 

Der AVR wurde ersetzt. Die Protokolle zeigten, dass eine ganze Woche lang jede Sekunde gewechselt wurde – insgesamt mehr als eine halbe Million Schaltvorgänge. so ist das war

Welche anderen AVRs sind in einem Rack verfügbar?

Einführung in das Rack ATS. In unserem Rechenzentrum fungiert ein solches ATS als einzige Stromverteilungsquelle im Rack: Es funktioniert als ATS+PDU. Belegt mehrere Einheiten, hält einer Belastung von 32 A stand, wird mit Industriesteckern angeschlossen und kann Geräte mit bis zu 6 kW versorgen. Es kann verwendet werden, wenn die Montage von Standard-PDUs nicht möglich ist und einzelne Geräte in einem Rack keine kritischen Lasten bedienen. 

AVR und alles, alles, alles: automatische Einführung der Reserve im Rechenzentrum

Rack STS. Rackmontiertes STS wird für überspannungsempfindliche Geräte verwendet. Dieses ATS schaltet schneller als das ATS. 
 
AVR und alles, alles, alles: automatische Einführung der Reserve im Rechenzentrum
Dieses spezielle STS nimmt 6 Einheiten auf und verfügt über eine leicht „vintage“ Schnittstelle.

Mini-AVR. Es gibt solche Babys, aber in unserem Rechenzentrum ist das nicht der Fall. Dies ist ein Mini-ATS für einen Server. 

AVR und alles, alles, alles: automatische Einführung der Reserve im Rechenzentrum
Dieses ATS wird direkt an die Stromversorgung des Servers angeschlossen.

Wie wir nach dem idealen AVR suchen

Wir testen viele verschiedene ATS und prüfen, wie sie sich unter Hochtemperaturbedingungen verhalten.

So verspotten wir den AVR, um ihn zu überprüfen: 

  • wir schließen daran einen Netzwerkqualitätsrekorder, einen Server und mehrere weitere Geräte für die Last an;
  • wir isolieren das Rack mit Dübeln oder Folie, um hohe Temperaturen zu erreichen;
  • auf 50°C erhitzen;
  • schalten Sie die Eingänge abwechselnd 20 Mal aus;
  • Wir prüfen, ob es Stromausfälle gab und wie sich der Server anfühlt.
  • Wenn der AVR den Test besteht, erhitzen Sie ihn auf 70 °C.

AVR und alles, alles, alles: automatische Einführung der Reserve im Rechenzentrum
Foto mit einer Wärmebildkamera von einem der Tests.

AVR und alles, alles, alles: automatische Einführung der Reserve im Rechenzentrum
Der Netzwerkanalysator zeichnet die Spannung über die Zeit auf. In der Aufnahme sehen wir, wie lange die Umschaltung gedauert hat: In diesem Moment wurde die Sinuswelle unterbrochen

Übrigens machen wir mit dem AVR einen Test: Wir überprüfen Ihr Gerät auf Stärke und sagen Ihnen, was passiert ist 😉 

AVR im Rack: eine versteckte Bedrohung

Das Hauptproblem bei einem im Rack montierten ATS besteht darin, dass es die Last nur vom Haupt- auf den Backup-Eingang umschalten kann, aber keinen Schutz vor Kurzschlüssen oder Überlastungen bietet. Tritt an der Stromversorgung ein Kurzschluss auf, dann wird zum Schutz der Schutzschalter auf einer höheren Ebene aktiviert: auf der PDU oder im Verteiler. Dadurch wird ein Eingang ausgeschaltet, das ATS erkennt dies und schaltet auf den zweiten Eingang um. Bleibt der Kurzschluss weiterhin bestehen, löst der zweite Eingangsschutzschalter aus. Infolgedessen kann ein Problem an einem Gerät dazu führen, dass das gesamte Rack nicht mehr mit Strom versorgt wird.

Deshalb wiederhole ich es noch einmal: Denken Sie tausendmal nach, bevor Sie das ATS in ein Rack einbauen und Geräte mit einem Netzteil verwenden.

Source: habr.com

Kommentar hinzufügen