Im letzten Beitrag haben wir darüber gesprochen, dass in einigen Schränken eine automatische Umschaltung (AVR) installiert ist. Tatsächlich wird AVR nicht nur im Rack, sondern entlang des gesamten Strompfades in Rechenzentren installiert. An verschiedenen Stellen erfüllen sie unterschiedliche Aufgaben:
- In den Hauptverteilungsschaltern (HVS) schaltet die AVR die Last zwischen dem Netzanschluss und der Notstromversorgung durch Dieselgeneratoren (DGU);
- In den unterbrechungsfreien Stromversorgungen (USV) wechselt die AVR die Last vom Hauptanschluss auf den Bypass (darüber gleich mehr);
- In den Racks wechselt die AVR die Last von einem Eingang auf einen anderen, falls es Probleme mit einem der Eingänge gibt.
Die AVR in der Standardstromverteilung von DataLine-Rechenzentren.
Über die verschiedenen AVRs und ihre Verwendung werden wir heute sprechen.
Es gibt zwei Haupttypen von AVRs: ATS (automatische Umschaltung) und STS (statische Umschaltung). Sie unterscheiden sich in ihrer Funktionsweise und der verwendeten Elektronik und werden für unterschiedliche Aufgaben eingesetzt. Kurz gesagt, STS ist eine „intelligentere“ ATS. Sie schaltet die Last schneller um und wird häufiger für höhere Lasten/Stromstärken verwendet. Sie ist flexibler in der Konfiguration, hat jedoch „Launen“ hinsichtlich des Netzanschlusses: Sie kann sich weigern zu arbeiten, wenn zwei Eingänge aus unterschiedlichen Quellen gespeist werden, z. B. von einem Transformator und DGU.
AVR in HVS
Vor zwanzig Jahren sah die Haupt-AVR eines Rechenzentrums wie ein komplexes System aus Schützen und Relais aus.
AVR aus den frühen 2000er Jahren.
Heute ist die AVR ein kompaktes Multifunktionsgerät.
Das AVR-System in den HVS steuert die Eingangssicherungen und gibt Befehle zum Starten und Stoppen der DGU. Bei einer Last von über 2 MW ist es auf der Ebene der HVS nicht sinnvoll, nur auf Geschwindigkeit zu setzen. Selbst wenn die Umschaltung schnell erfolgt, dauert es eine Weile, bis die DGU gestartet ist. In diesem System werden „langsamere“ ATS verwendet und es werden Verzögerungen (Einstellungen) festgelegt. So funktioniert es: Wenn die Stromversorgung für das Rechenzentrum von den Transformatoren ausfällt, befiehlt die AVR den Geräten: „Transformator, schalte dich aus. Jetzt warten wir 10 Sekunden (Einstellung), DGU, schalte dich ein, wir warten noch 10 Sekunden.“
AVR in USV
Am Beispiel der USV schauen wir uns an, wie der zweite Typ der AVR — STS oder statische Umschaltung, funktioniert.
In der USV wird Wechselstrom im Gleichrichter in Gleichstrom umgewandelt. Dann wird er im Wechselrichter wieder in Wechselstrom umgewandelt, jedoch mit stabilen Parametern. Dies eliminiert Störungen und verbessert die Energiequalität. Bei Ausfall der Hauptstromversorgung auf Batterien und versorgt das Rechenzentrum, während das Notstromaggregat aktiviert wird.
Was passiert jedoch, wenn eines der Elemente: der Gleichrichter, der Wechselrichter oder die Batterien ausfällt? Für diesen Fall verfügt jede USV über einen Bypass-Mechanismus. Mit ihm kann das Gerät weiterhin arbeiten, ohne die Hauptkomponenten zu nutzen, direkt vom Eingangsstrom. Der Bypass wird auch verwendet, wenn die USV abgeschaltet und zur Wartung gebracht werden muss.
Der STS in der USV ist notwendig, um sicher auf den Bypass-Eingang zu wechseln. Kurz gesagt, der STS überwacht die Netzparameter am Ein- und Ausgang, wartet darauf, dass sie übereinstimmen, und schaltet unter sicheren Bedingungen um.
AVR im Rack
Also, im Rack gibt es zwei Stromzuführungen. Wenn Ihre Ausrüstung über zwei Netzteile verfügt, können Sie sie problemlos an verschiedene PDUs anschließen, und das Versagen einer Zuführung ist Ihnen nicht gefährlich. Aber was ist, wenn Ihr Server nur ein Netzteil hat?
Im Rack wird AVR verwendet, um sicherzustellen, dass der Vorteil aus zwei Zuführungen nicht verloren geht. Bei Problemen mit einer der Zuführungen wechselt der AVR die Last auf die andere Zuführung.
Haftungsausschluss: Vermeiden Sie es, wenn möglich, Geräte mit einem einzigen Netzteil zu verwenden, um einen Ausfallpunkt im System zu vermeiden. Im Folgenden zeigen wir auf, welche Nachteile ein solches Anschlusschema hat.
Die Aufgabe des AVR im Rack ist es, die Ausrüstung so schnell wie möglich auf den funktionierenden Eingang umzuschalten, sodass es keine Unterbrechung im Betrieb gibt. Die dafür benötigte Geschwindigkeit wurde empirisch gefunden: nicht mehr als 20 ms. Lassen Sie uns sehen, wie dies entdeckt wurde.
Ausfälle in der Serverausstattung treten aufgrund von Spannungseinbrüchen auf (wegen Arbeiten an Umspannwerken, dem Anschluss leistungsstarker Lasten oder Notfällen). Um zu veranschaulichen, wie die Ausrüstung unterschiedlicher Amplitude und Dauer von Spannungsschwankungen standhält, wurden die Sicherheitskurven für elektronische Geräte von der CBEMA (Computer and Business Equipment Manufacturers Association) entwickelt. Diese sind heute als ITIC-Kurven (Information Technology Industry Council) bekannt, und ihre Varianten sind in den Standards IEEE 446 ANSI enthalten (dies entspricht unseren GOSTs).
Lassen Sie uns mit dem Diagramm abgleichen. Unser Ziel ist es, dass die Geräte im „grünen Bereich“ arbeiten. Auf der ITIC-Kurve sehen wir, dass die Ausrüstung bereit ist, einen Abfall von maximal 20 ms zu tolerieren. Daher orientieren wir uns daran, dass der AVR im Rack innerhalb von 20 ms reagieren sollte, besser noch schneller.
Quelle: .
Das AVR-Gerät. Der Standard-Automatische Umschalter (ATS) in unserem Rechenzentrum nimmt 1 Einheit ein und kann eine Last von 16 A tragen.
Auf dem Display sehen wir, von welcher Quelle der Umschalter gespeist wird und wie viel Strom die angeschlossenen Geräte in Ampere verbrauchen. Mit einer separaten Taste wählen wir, ob wir die Priorität auf die erste oder die zweite Quelle legen. Rechts sind die Anschlüsse für den Umschalter:
- Ethernet-Port — Überwachung anschließen;
- Serieller Port — Über einen Laptop einloggen und die Protokolle einsehen, um zu sehen, was passiert;
- USB — USB-Stick einstecken und die Firmware aktualisieren.
Die Ports sind austauschbar: Man kann alle diese Operationen durchführen, wenn man Zugang zu mindestens einem von ihnen hat.
Auf der Rückseite befinden sich Buchsen für die Haupt- und die Backup-Stromversorgung sowie eine Steckdosenleiste für IT-Ausrüstung.
Die detaillierten Eigenschaften des Umschalters sehen wir über die Web-Oberfläche. Dort wird die Empfindlichkeit des Umschaltens eingestellt und die Protokolle sind sichtbar.
Web-Oberfläche des Umschalters.
Installation und Anschluss des Umschalters. Der Umschalter sollte in der Mitte des Schrankes montiert werden. Wenn wir die Ausstattung des Schrankes im Voraus nicht wissen, kann die Ausrüstung mit einem Netzteil sowohl von der unteren als auch von der oberen Seite erreicht werden.
Hier gibt es jedoch Feinheiten: Die Tiefe des Standard-Schranks ist viel größer als die Tiefe des Umschalters. Wir empfehlen, ihn so nah wie möglich am kalten Gang zu installieren aus zwei Gründen:
- Zugang zur Vorderseite. Wenn der Umschalter näher am heißen Gang installiert wird, sehen wir die Anzeige, können aber nicht über die Ports auf ihn zugreifen. Das bedeutet, dass wir die Protokolle nicht einsehen oder das Gerät neu starten können.
Irgendwo dort hinten blinkt der Umschalter — der Port ist bereits nicht mehr erreichbar. - Kühlung. Der Umschalter sollte bei Temperaturen von mehr als 45 °C verwendet werden. Er hat keine eigenen Ventilatoren zur Kühlung, es handelt sich lediglich um ein metallisches Gerät mit elektronischen Komponenten. Die erforderliche Temperatur wird auf zwei Arten gehalten:
- Durch Luftströme, die von außen auf ihn blasen;
- Durch Halterungen, die überschüssige Wärme abführen.
Wenn der Umschalter von der Seite des heißen Gangs installiert wird und zusätzlich von einem Sturm aus Servern eingeengt wird, haben wir einen Ofen. Im besten Fall werden die Gehirne des Umschalters überhitzt und er verliert die Verbindung zur Außenwelt; im schlimmsten Fall beginnt er, die Last chaotisch umzuschalten oder sie ganz abzulehnen.
Der Umschalter steht dem heißen Gang zugewandt.
Es gab einen Vorfall. Ein Ingenieur hörte während einer Inspektion untypische Klickgeräusche.
In den Tiefen des heißen Flurs, unter einem Haufen Server, wurde eine USV entdeckt, die ständig zwischen der Hauptversorgung und der Reserve wechselte.Die USV wurde ersetzt. Die Protokolle zeigten, dass sie eine ganze Woche lang jede Sekunde wechselte — insgesamt über eine halbe Million Schaltvorgänge. So geht das
Welche anderen USVen gibt es im Rack?
Eingangs-ATS für das Rack. In unserem Rechenzentrum fungiert diese USV als einzige Stromverteilung im Rack: sie arbeitet als USV+PDU. Nimmt mehrere Einheiten ein, hält einer Last von 32 A stand, wird mit Industrieanschlüssen verbunden und kann bis zu 6 kW an Geräten speisen. Sie kann verwendet werden, wenn es nicht möglich ist, Standard-PDUs zu installieren, und wenn einblockige Geräte im Rack keine kritischen Lasten bedienen.
Rack-STS. STS im Rack wird für Geräte verwendet, die empfindlich auf Spannungsschwankungen reagieren. Diese USV schaltet schneller um als das ATS.
Dieser spezielle STS benötigt 6 Einheiten und hat eine etwas "vintage" Benutzeroberfläche.
Mini-USV. Solche Kleingeräte gibt es auch, aber in unserem Rechenzentrum haben wir so etwas nicht. Dies ist eine Mini-USV für einen Server.
Diese USV wird direkt in das Netzteil des Servers angeschlossen.
Wie wir die ideale USV suchen
Wir testen viele verschiedene USVen und prüfen, wie sie sich bei hohen Temperaturen verhalten.
So testen wir die USV, um dies zu überprüfen:
- wir schließen einen Netzwerkqualitätslogger, den Server und noch einige Geräte zur Last an;
- wir isolieren das Rack mit Stopfen oder Folie, um hohe Temperaturen zu erreichen;
- wir erwärmen auf 50°C;
- wir schalten nacheinander die Eingänge 20 Mal ab;
- wir schauen, ob es Stromausfälle gab und wie der Server reagiert;
- wenn die USV den Test besteht — erhitzen wir auf 70°C.
Ein Bild mit einer Wärmebildkamera von einem der Tests.
Der Netzwerkanalysator erfasst die Spannung im Zeitverlauf. In der Aufnahme sehen wir, wie lange das Umschalten dauerte: zu diesem Zeitpunkt wurde die Sinuskurve unterbrochen
Übrigens, wir nehmen die USV zum Test: wir werden Ihr Gerät auf die Probe stellen und Ihnen erzählen, was herauskam 😉
USV im Rack: eine versteckte Bedrohung
Das Hauptproblem mit dem AVR im Rack ist, dass er nur die Last vom Hauptstromanschluss auf den Backup-Stromanschluss umschalten kann, jedoch keinen Schutz vor Kurzschluss oder Überlast bietet. Wenn es an dem Netzteil zu einem Kurzschluss kommt, löst der Schutz den nächstliegenden Leistungsschutzschalter aus: an der PDU oder im Verteilerkasten. Infolgedessen wird ein Anschluss abgeschaltet, der AVR erkennt dies und schaltet auf den zweiten Anschluss um. Wenn der Kurzschluss weiterhin besteht, wird der Leistungsschutzschalter des zweiten Anschlusses auslösen. Letztendlich kann aufgrund eines Problems mit einem Gerät das gesamte Rack stromlos werden.
Also, ich wiederhole nochmal: Denken Sie tausend Mal nach, bevor Sie einen AVR im Rack installieren und Geräte mit nur einem Netzteil verwenden.
Quelle: habr.com
