PDU und alles, alles, alles: Stromverteilung im Rack

Eine der Racks der internen Virtualisierung. Wir haben uns mit der Farbkennzeichnung der Kabel beschäftigt: orange steht für ungerätespeisungszufuhr, grün für gerade.

Hier sprechen wir meistens über "große Geräte" – Chiller, Notstromaggregate, Schaltanlagen. Heute geht es um die "Kleinigkeiten" – Steckdosen in den Racks, auch bekannt als Power Distribution Unit (PDU). In unseren Rechenzentren gibt es über 4.000 Racks, die mit IT-Ausrüstung gefüllt sind. Daher habe ich viel gesehen: klassische PDUs, "smarte" – mit Überwachung und Steuerung, gewöhnliche Steckdosenleisten. Heute erkläre ich, welche PDUs es gibt und was man in einer bestimmten Situation am besten wählen sollte.

Welche Arten von PDUs gibt es?

Einfache Steckdosenleiste. Ja, genau die, die jeder zu Hause oder im Büro hat.
Formal gesehen ist dies nicht ganz eine PDU im Sinne der industriellen Nutzung in Racks mit IT-Ausrüstung, aber diese Geräte haben auch ihre Anhänger. Der einzige Vorteil dieser Lösung ist der Preis (die Kosten beginnen bei 2.000 Rubel). Sie können auch nützlich sein, wenn man offene Racks verwendet, in die eine Standard-PDU nicht passt, und man möchte keine Einheiten für eine horizontale PDU verlieren. Das führt uns wieder zur Frage der Wirtschaftlichkeit.

Die Nachteile überwiegen deutlich: Solche Geräte haben nicht immer einen internen Schutz gegen Kurzschluss und Überlastung, man kann die Werte nicht überwachen und insbesondere keine Steckdosen steuern. Sie werden meistens unten im Rack platziert, was für die Verkabelung der Ausrüstung nicht die bequemste Position ist.

Im Allgemeinen kann man "Pilotgeräte" verwenden, wenn:

• Sie Tausende von Servern haben und sparen müssen,
• Sie es sich leisten können, Geräte blind anzuschließen, ohne zu verstehen, was mit dem tatsächlichen Verbrauch passiert,
• Sie bereit sind, mit Ausfällen der Geräte zu rechnen.

Wir nutzen das nicht, aber wir haben Kunden, die dies достаточно успешно praktizieren. Allerdings bauen sie ihre Infrastruktur so auf, dass der Ausfall von Dutzenden von Servern keine Auswirkungen auf die Funktionalität der Kundenanwendung hat.

Günstig und einfach.

Vertikale Anordnung.

"Dumme" PDUs. Das ist eigentlich ein klassischer PDU für den Einsatz in Racks mit IT-Ausrüstung, und das ist bereits gut. Sie verfügen über den passenden Formfaktor für die seitliche Montage im Rack, was eine bequeme Anbindung von Geräten ermöglicht. Es gibt einen internen Schutz. Solche PDUs haben keine Überwachung, was bedeutet, dass wir nicht wissen, wie viel Strom die Geräte verbrauchen und was im Inneren geschieht. Solche PDUs haben wir kaum noch, und insgesamt verschwinden sie allmählich aus der Massenverwendung.

Solche PDUs kosten ab 25.000 Rubel.

„Intelligente“ PDUs mit Überwachung. Diese Geräte verfügen über „Gehirne“ und können die Energieverbrauchswerte überwachen. Es gibt ein Display, das die Hauptparameter anzeigt: Spannung, Stromstärke und Leistung. Sie können diese Werte nach einzelnen Steckdosen-Gruppen verfolgen: Abschnitte oder Banken. An solchen PDUs kann man sich aus der Ferne anmelden und die Datenübertragung an ein Überwachungssystem einrichten. Sie führen Protokolle, aus denen man einsehen kann, was mit ihnen geschehen ist, zum Beispiel, wann genau die PDU ausgeschaltet wurde.

Außerdem können sie den Verbrauch (kWh) für die technische Abrechnung ermitteln, um zu verstehen, wie viel ein Rack über einen bestimmten Zeitraum verbraucht.

Dies sind Standard-PDUs, die wir unseren Kunden zur Miete anbieten, und solche PDUs sind in unseren Rechenzentren am häufigsten.

Wenn Sie kaufen möchten, seien Sie bereit, ab 75.000 Rubel pro Stück auszugeben.

Grafik aus unserer internen PDU-Überwachung.

„Intelligente“ PDUs mit Steuerung. Neben den oben beschriebenen Funktionen bieten diese PDUs zusätzlich Steuerungsfunktionen. Die fortschrittlichsten PDUs steuern und überwachen jede Steckdose: man kann sie ein- und ausschalten, was in Situationen nützlich ist, in denen ein Server aus der Ferne neu gestartet werden muss. Das ist sowohl der Vorteil als auch die Gefahr solcher PDUs: Ein unerfahrener Benutzer kann aus Unkenntnis in die Web-Oberfläche gelangen, etwas drücken und das gesamte System auf einmal neu starten oder abschalten. Ja, das System wird zweimal vor den Folgen warnen, aber die Praxis zeigt, dass selbst Warnmeldungen nicht immer vor unüberlegten Handlungen des Benutzers schützen.

Ein großes Problem bei „intelligenten“ PDUs ist die Überhitzung und der Ausfall des Controllers und des Displays. PDUs werden normalerweise an der Rückseite des Racks installiert, wo die warme Luft ausgeblasen wird. Dort ist es heiß, und die Controller halten nicht stand. Dabei ist es nicht notwendig, die gesamte PDU zu ersetzen; der Controller kann unter Spannung gewechselt werden.

Nun, auch preislich ist es ziemlich hoch – ab 120.000 Rubel.

Die PDU mit Steuerung kann anhand der Indikatoren unter jeder Steckdose erkannt werden.

Meiner Meinung nach ist die Steuerungsfunktion in der PDU eine Geschmacksfrage, aber das Monitoring ist ein Muss. Andernfalls kann der Verbrauch und die Last nicht verfolgt werden. Warum das wichtig ist, erkläre ich später.

Wie berechnet man die benötigte Leistung einer PDU?

Auf den ersten Blick ist es ganz einfach: Die Leistung der PDU wird entsprechend der Leistung des Schranks ausgewählt, aber es gibt Feinheiten. Angenommen, Sie benötigen einen Schrank mit 10 kW. Die Hersteller von PDUs bieten Modelle mit 3, 7, 11 und 22 kW an. Sie wählen 11 kW, und leider liegen Sie falsch. Wir müssen 22 kW wählen. Warum so viel Puffer? Ich erkläre gleich.

Erstens geben die Hersteller oft die Leistung der PDU in Kilowatt und nicht in Kilovoltampere an, was zwar korrekter, aber für den Durchschnittsbürger nicht offensichtlich ist.
Manchmal bringen die Hersteller selbst zusätzliche Verwirrung:

Hier wird zuerst von 11 kW gesprochen,

und in der detaillierten Beschreibung geht es bereits um 11000 VA:

Wenn Sie es mit Wasserkochern und ähnlichen Verbrauchern zu tun haben, gibt es keinen Unterschied zwischen kW und kVA. Ein Schrank mit 10 kW wird 10 kVA verbrauchen. Haben wir jedoch IT-Ausrüstung, kommt der Leistungsfaktor (cos φ) ins Spiel: je neuer die Ausstattung, desto näher liegt dieser Faktor an Eins. Im Durchschnitt kann man für IT-Ausrüstung 0,93–0,95 annehmen. Daher wird ein Schrank mit 10 kW in der IT 10,7 kVA verbrauchen. Hier ist die Formel, mit der wir 10,7 kVA berechnet haben.

Pp = Pact. / Cos(φ)
10 / 0,93 = 10,7 kVA

Nun werden Sie zu Recht fragen, 10,7 ist ja weniger als 11. Warum brauchen wir eine PDU mit 22 kW? Es gibt einen weiteren Punkt: Der Stromverbrauch der Geräte variiert je nach Tageszeit und Wochentag. Bei der Verteilung der Stromversorgung muss dieser Punkt berücksichtigt werden, und es sollten etwa 10% für Schwankungen und Spitzen eingeplant werden, damit die PDU zu Zeiten erhöhten Verbrauchs nicht überlastet wird und die Geräte keinen Strom verlieren.

Grafik des Verbrauchs eines 10 kW Schranks über 4 Tage.

Das bedeutet, dass wir zu den vorhandenen 10,7 kW noch 10% hinzufügen müssen, und damit passt die PDU mit 11 kW bereits nicht mehr.

Ausschnitt aus der Leistungstabelle spezifischer PDU-Modelle laut DataLine. Unter Berücksichtigung der Umrechnung von kVA in kW und des Puffers für Spitzen während des Tages.

Besonderheiten der Installation

Am praktischsten ist es, mit einer PDU zu arbeiten, wenn sie vertikal an der linken und rechten Seite des Racks befestigt ist. In diesem Fall nimmt sie keinen wertvollen Platz ein. Standardmäßig können bis zu vier PDUs im Rack installiert werden – zwei auf der linken Seite und zwei auf der rechten. In der Regel wird an jeder Seite eine PDU installiert. Jede PDU hat einen eigenen Stromanschluss.

Der Standard-Einsatz eines Racks umfasst 2 PDUs und 1 AVR.

Manchmal gibt es im Rack keinen Platz für vertikale PDUs, zum Beispiel, wenn es sich um ein offenes Rack handelt. Hier kommen horizontale PDUs ins Spiel. In diesem Fall muss man sich jedoch damit abfinden, dass 2 bis 4 Einheiten im Rack verloren gehen, abhängig vom Modell der PDU.

Hier hat die PDU 4 Einheiten belegt. Dieser PDU-Typ wird auch verwendet, wenn zwei Kunden in einem Rack getrennt werden müssen. In diesem Fall hat jeder Kunde ein eigenes Pärchen PDUs.

Es kommt vor, dass das Rack nicht tief genug gewählt wurde und der Server heraussteht, wodurch die PDU blockiert wird. Das Traurige daran ist nicht nur, dass einige Steckdosen ungenutzt bleiben, sondern dass, wenn eine solche PDU ausfällt, man sie direkt im Rack zurücklassen oder alles störende Equipment abklemmen und herausziehen muss.

Machen Sie das nicht - 1.

Machen Sie das nicht - 2.

Anschluss von Geräten

Selbst die ausgeklügeltste PDU kann nicht helfen, wenn die Geräte falsch angeschlossen sind und keine Möglichkeit zur Überwachung des Verbrauchs besteht.

Was kann schiefgehen? Ein bisschen Technische Details. An jedes Rack kommen zwei Stromanschlüsse, in einem Standardrack zwei PDUs. Das bedeutet, dass jede PDU einen eigenen Anschluss hat. Wenn mit einem der Anschlüsse (sprich PDU) etwas passiert, lebt das Rack mit dem zweiten weiter. Damit dieses Schema funktioniert, müssen einige Regeln beachtet werden. Hier sind die wichtigsten (eine vollständige Liste finden Sie hier):

Die Geräte müssen an verschiedene PDUs angeschlossen werden. Wenn das Gerät eine Stromversorgung und einen Stecker hat, wird es über den AVR (automatische Umschalteinrichtung) oder ATS (Automatic Transfer Switch) an die PDU angeschlossen. Bei Problemen mit einem der Anschlüsse oder der PDU selbst wechselt der AVR das Gerät auf die funktionierende PDU/Anschluss. Das Gerät wird nichts merken.

Gegenseitige Belastung an zwei Anschlüssen/PDU. Ein redundanter Eingang rettet nur, wenn er die Last des ausgefallenen Eingangs aushält. Dazu muss eine Reserve eingeplant werden: Jeder Eingang sollte mit weniger als der Hälfte der Nennleistung belastet werden, und die Gesamtlast auf beiden Eingängen sollte weniger als 100 % der Nennleistung betragen. Nur dann hält der verbleibende Eingang die doppelte Last aus. Wenn dies nicht der Fall ist, wird der Schalter auf die Reserve nicht funktionieren - die Geräte bleiben ohne Strom. Um das Schlimmste zu vermeiden, überwachen wir diesen Parameter.

Lastverteilung zwischen den PDU-Sektionen. Die PDU-Steckdosen sind in Gruppen – Sektionen – zusammengefasst. Normalerweise aus 2 oder 3 Stück. Jede Sektion hat ihr eigenes Leistungsgrenzwert. Es ist wichtig, dieses nicht zu überschreiten und die Last gleichmäßig über alle Sektionen zu verteilen. Auch hier gilt das Konzept der gepaarten Lasten, wie oben erwähnt.

Zusammenfassend

1. Wählen Sie nach Möglichkeit eine PDU mit Überwachungsfunktion.
2. Lassen Sie beim Auswählen des PDU-Modells einen Leistungsspielraum.
3. Montieren Sie die PDU so, dass Sie sie ersetzen können, ohne die IT-Ausrüstung zu stören.
4. Schließen Sie richtig an: Schließen Sie Geräte an zwei PDUs an, überlasten Sie die Sektionen nicht und denken Sie an die gepaarten Lasten.

Quelle: habr.com