🥇Wie wir uns auf die Energieeffizienz des Maschinenraums konzentrierten

Ich widme diesen Beitrag den Menschen, die in Zertifikaten gelogen haben, was dazu führte, dass wir fast bengalische Feuer in unseren Räumen installiert hätten.

Die Geschichte ist über vier Jahre alt, aber ich veröffentliche sie jetzt, da die NDA abgelaufen ist. Damals stellten wir fest, dass wir unser fast vollständig vermietetes Rechenzentrum nahezu ausgelastet hatten und die Energieeffizienz nicht wirklich gestiegen war. Zuvor war die Hypothese, dass je stärker wir es füllen, desto besser es wäre, da die Technik auf alle verteilt wird. Doch es stellte sich heraus, dass wir uns diesbezüglich getäuscht hatten und bei hoher Auslastung irgendwo Verluste entstanden. Wir haben in vielen Bereichen gearbeitet, aber unser mutiges Team hat sich dem Kühlungssystem gewidmet.

Das wirkliche Leben eines Rechenzentrums weicht etwas vom Projekt ab. Ständige Anpassungen durch den Betrieb zur Steigerung der Effizienz und Optimierung der Einstellungen für neue Aufgaben. Nehmen wir zum Beispiel die mythische Standard-Rack-Einheit. In der Praxis existiert sie nicht; die Lastverteilung ist ungleichmäßig, manchmal ist es stark belegt, manchmal leer. Daher mussten einige Dinge für eine bessere Energieeffizienz neu konfiguriert werden.

Unser Rechenzentrum Kompressor ist für verschiedene Kundenbedürfnisse ausgelegt. Daher kann es zwischen den herkömmlichen zwei- bis vierkilowatt Ständern durchaus einen 23-Kilowatt-Ständer oder sogar größere geben. Die Klimaanlagen wurden entsprechend eingestellt, um diese zu kühlen, und die Luft strömte einfach an den weniger leistungsstarken Ständern vorbei.

Die zweite Hypothese war, dass sich warme und kalte Flure nicht vermischen. Nach den Messungen kann ich sagen, dass dies eine Illusion ist und die tatsächliche Aerodynamik sich etwa in allen Aspekten von dem Modell unterscheidet.

Untersuchung

Zunächst haben wir die Luftströme in den Hallen betrachtet. Warum haben wir das getan? Weil wir wussten, dass das Rechenzentrum für fünf bis sechs kW pro Rack ausgelegt ist, aber tatsächlich Werte zwischen 0 und 25 kW hat. Es ist fast unmöglich, dies alles mit Platten zu regulieren: Die ersten Messungen haben gezeigt, dass sie nahezu gleichmäßig durchlassen. Und Platten für 25 kW gibt es nicht, sie müssen nicht nur leer sein, sondern mit flüssigem Vakuum.

Wir haben einen Anemometer gekauft und begonnen, die Luftströme zwischen den Racks und über den Racks zu messen. Man sollte dabei die relevanten Normen und Standards einhalten, was ohne eine Unterbrechung des Rechenzentrums ziemlich schwierig ist. Uns interessierte nicht die Präzision, sondern das grundlegende Bild. Das heißt, wir haben ungefähr gemessen.

Bei der Messung stellte sich heraus, dass von den 100 Prozent Luft, die aus den Platten austreten, 60 Prozent in die Racks gelangen, der Rest streicht vorbei. Das liegt daran, dass es schwere Racks mit 15–25 kW gibt, auf denen die Kühlung basiert.

Wir können die Klimaanlagen nicht einfach abstellen, da es in den wärmeren Racks im Bereich der oberen Server sonst zu warm wird. In diesem Moment wird uns klar, dass wir etwas isolieren müssen, damit die Luft nicht von Reihe zu Reihe springt und der Wärmeübergang im Block dennoch stattfinden kann.

Parallel dazu stellt sich die Frage, ob dies finanziell sinnvoll ist.

Es überrascht uns, dass wir insgesamt den Energieverbrauch des Rechenzentrums ermittelt haben, aber die spezifischen Werte für die Fan-Coils in bestimmten Räumen einfach nicht berechnen können. Theoretisch können wir das, aber praktisch geht es nicht. Daher sind wir nicht in der Lage, die Einsparungen zu bewerten. Die Aufgabe wird immer interessanter. Wenn wir 10 % der Leistung der Klimaanlagen einsparen — wie viel Geld können wir dann für die Isolierung zurücklegen? Wie berechnen wir das?

Wir haben uns an die Automatisierer gewandt, die das Überwachungssystem optimiert haben. Danke an die Jungs: Sie hatten alle Sensoren, wir mussten nur den Code ergänzen. Sie haben angefangen, die Chiller, die USVs und die Beleuchtung separat darzustellen. Mit dem neuen System können wir nun beobachten, wie sich die Situation in den einzelnen Systemkomponenten verändert.

Experimente mit Vorhängen

Parallel dazu beginnen wir mit Experimenten mit Vorhängen (Abtrennungen). Wir entscheiden, sie an die Stäbe der Kabelkanäle zu befestigen (da gibt es sonst nichts mehr), zum Glück sollten sie leicht sein. Mit den Überdachungen oder Riegeln haben wir uns schnell geeinigt.

Das Problem ist, dass wir zuvor mit vielen Anbietern gearbeitet haben. Alle haben Lösungen für ihre eigenen Unternehmens-Rechenzentren, aber für kommerzielle Rechenzentren gibt es praktisch keine fertigen Lösungen. Unsere Kunden kommen und gehen ständig. Wir sind eines der wenigen „großen“ Rechenzentren ohne Begrenzung der Rack-Breite und können diese Hochleistungsserver bis zu 25 kW aufnehmen. Eine vorherige Planung der Infrastruktur gibt es nicht. Wenn wir modulare Systeme von Anbietern für die Käfigbildung verwenden, entstehen immer Lücken von zwei Monaten. Das heißt, der Maschinenraum wird nie grundsätzlich energieeffizient sein.

Wir haben uns entschieden, es selbst zu machen, da wir unsere eigenen Ingenieure haben.

Das erste, was wir besorgt haben, sind Bänder von industriellen Kühlsystemen. Das sind flexible Polyethylenschläuche, mit denen man sehr gut arbeiten kann. Sie haben diese sicher schon einmal im Eingangsbereich der Fleischabteilung in großen Supermärkten gesehen. Wir haben nach ungiftigen und nicht brennbaren Materialien gesucht. Wir fanden welche, kauften sie für zwei Reihen und hängten sie auf, um zu sehen, was dabei herauskommt.

Wir hatten das Gefühl, dass es nicht ideal sein würde. Aber es stellte sich als wirklich alles andere als ideal heraus. Sie beginnen, wie Spaghetti, sich in den Strömungen zu entfalten. Wir fanden magnetische Bänder, ähnlich wie die Magnete für den Kühlschrank. Wir klebten sie an diese Streifen, verbanden sie miteinander, und so entstand eine Wand, die gerade so monolithisch war.

Wir fingen an zu überlegen, wie es im Saal aussehen würde.

Wir gingen zu den Bauarbeitern, zeigten ihnen unser Projekt. Sie schauten und sagten: "Eure Vorhänge sind ziemlich schwer. Insgesamt 700 Kilogramm im Maschinenraum. Geht, sagt man, gute Leute, zum Teufel. Genauer gesagt, zum Team der strukturierten Verkabelung. Lasst sie berechnen, wie viel Nudeln sie in den Rinnen haben, denn 120 kg pro Quadratmeter – das ist das Maximum."

Das Team für strukturierte Verkabelung sagte: "Erinnern Sie sich, ein großer Kunde kam zu uns? Er hat zehntausende Ports in einem Raum. An den Rändern des Maschinenraums ist es noch in Ordnung, aber näher zur Kreuzungsstelle wird es nicht funktionieren: die Rinnen werden abfallen."

Die Bauarbeiter baten zudem um ein Zertifikat für das Material. Ich möchte anmerken, dass wir zuvor auf das ehrliche Wort des Lieferanten vertraut hatten, da es sich nur um einen Testlauf handelte. Wir wandten uns an diesen Lieferanten und sagten: "Okay, wir sind bereit, in die Beta-Phase zu gehen, lasst uns alle Papiere." Sie schickten uns etwas, das nicht gerade einem festgelegten Muster entsprach.

Wir sagen: Hört mal, wo habt ihr dieses Papier her? Sie: Das hat uns unser chinesischer Hersteller als Antwort auf unsere Anfragen geschickt. Laut dem Papier brennt dieses Zeug überhaupt nicht.

In diesem Moment haben wir erkannt, dass es Zeit ist, innezuhalten und die Fakten zu überprüfen. Wir gehen zu den Damen von der Brandschutzabteilung des Rechenzentrums, sie nennen uns ein Labor, das die Brennbarkeit testet. Preislich und zeitlich völlig im Rahmen (wir haben alles verflucht, während wir die nötige Menge an Unterlagen zusammengetragen haben). Dort sagen die Wissenschaftler: Bringt das Material mit, wir werden Tests durchführen.

Im Abschlussbericht stand, dass von einem Kilogramm des Stoffes etwa 50 Gramm Asche zurückbleiben. Der Rest brennt leuchtend, schmilzt und unterstützt das Feuer sehr gut in der Pfütze.

Wir verstehen — gut, dass wir es nicht gekauft haben. Wir haben angefangen, nach einem anderen Material zu suchen.

Wir fanden Polycarbonat. Es stellte sich als stabiler heraus. Die transparente Platte hat eine Dicke von zwei mm, die Türen sind aus vier mm dickem Material. Im Grunde handelt es sich um Plexiglas. Zusammen mit dem Hersteller beginnen wir das Gespräch über Brandschutz: Geben Sie uns das Zertifikat. Sie schicken es. Vom selben Institut unterzeichnet. Wir rufen dort an und fragen: Na, Leute, habt ihr das überprüft?

Sie sagen: Ja, wir haben getestet. Zuerst haben sie es bei sich verbrannt, dann haben sie es nur für die Tests mitgebracht. Aus einem Kilogramm Material bleiben (wenn man es mit einem Brenner verbrennt) etwa 930 Gramm Asche übrig. Es schmilzt und tropft, aber eine Pfütze wird nicht brennen.

Sofort überprüfen wir unsere Magnete (diese sind auf einer Polymerunterlage). Zu unserer Überraschung brennen sie schlecht.

Zusammenbau

Damit beginnen wir zu sammeln. Polycarbonat ist hervorragend, weil es leichter ist als Polyethylen, welches sich viel schlechter biegt. Allerdings kommen die Platten in den Maßen 2,5 auf 3 Meter, und dem Lieferanten ist es egal, was wir damit machen sollen. Wir brauchen jedoch 2,8 in der Breite und 20–25 Zentimeter. Die Türen wurden an Firmen geschickt, die die Platten richtig zuschneiden. Die Lamellen haben wir selbst geschnitten. Der gesamte Zuschneideprozess kostet etwa doppelt so viel wie die Platte.

Das ist das Ergebnis:

Das Ergebnis — das System der Käfigbildung amortisiert sich in weniger als einem Jahr. Damit haben wir ständig 200–250 kWh an Leistung der Fan-Coils gespart. Etwas auch bei den Chillern, wie viel genau — wissen wir nicht. Die Server ziehen konstant den Strom, die Fan-Coils blasen. Die Kühler werden mit einem Schalter ein- und ausgeschaltet: aus ihr sind die Daten schwer zu entnehmen. Das Maschinenzimmer kann für Tests nicht gestoppt werden.

Wir freuen uns, dass es zu unserer Zeit eine Regel gab, die 5x5-Racks so anzuordnen, dass ihr durchschnittlicher Verbrauch maximal sechs kW beträgt. Dadurch wird Wärme nicht in einem Block konzentriert, sondern gleichmäßig im Maschinenraum verteilt. Es gibt jedoch eine Situation, in der zehn 15-kW-Racks nebeneinander stehen, während auf der gegenüberliegenden Seite ein kalter Speicher ist. Das wird ausbalanciert.

Wo es kein Rack gibt, ist eine Trennwand bis zum Boden notwendig.

Einige unserer Kunden sind zudem durch Gitter abgeschottet. Auch mit ihnen gab es einige Besonderheiten.

Auf den Lamellen wurde geschnitten, da die Breite der Racks nicht festgelegt ist und der Abstand der Befestigungsgitter immer drei bis vier cm nach rechts oder links betragen wird. Wenn du ein Modul von 600 unter einem Rack hast, steht die Wahrscheinlichkeit bei 85 Prozent, dass es nicht passt. Kurze und lange Lamellen koexistieren und werden zusammengeklebt. Manchmal schneiden wir die Lamellen in Form eines L nach den Konturen der Racks.

Sensoren

Bevor die Leistung der Fan-Coils verringert wird, muss eine präzise Temperaturüberwachung an verschiedenen Stellen im Raum eingerichtet werden, um unerwartete Überraschungen zu vermeiden. So kamen drahtlose Sensoren ins Spiel. Bei drahtgebundenen Sensoren muss für jede Reihe eine eigene Einheit zur Koppelung dieser Sensoren angebracht werden, und manchmal sind dafür Verlängerungen nötig. Das wird schnell unübersichtlich. Zudem geraten die Sicherheitskräfte in Aufregung, wenn diese Kabel in die Racks der Kunden gebracht werden, und verlangen sofort eine Erklärung mit Zertifikat, was über diese Kabel abgerufen wird. Die Nerven der Sicherheitskräfte sollten geschont werden. Aus irgendeinem Grund haben sie es nicht auf drahtlose Sensoren abgesehen.

Außerdem kommen die Racks an und ab. Ein Magnet-Sensor ist einfacher neu zu montieren, da er jedes Mal höher oder niedriger angebracht werden muss. Wenn die Server im unteren Drittel des Racks sind, muss er unten angebracht werden, und nicht, wie es der Standard vorsieht, anderthalb Meter über dem Boden an der Tür des Racks im kalten Gang. Es ist sinnlos, an dieser Stelle zu messen; man muss das messen, was im Gerät ist.

Ein Sensor für drei Racks — oft ist es nicht notwendig, mehr zu installieren. Die Temperatur unterscheidet sich nicht. Wir hatten Bedenken, dass Luft durch die Racks selbst strömt, aber das ist nicht passiert. Dennoch geben wir etwas mehr kalte Luft ab, als berechnet. Wir haben Öffnungen in den Lamellen 3, 7 und 12 gemacht und über dem Rack ein Loch gebohrt. Darin platzieren wir beim Rundgang ein Anemometer: wir prüfen, ob der Luftstrom dorthin geht, wo er soll.

Dann haben wir bunte Schnüre aufgehängt: eine alte Praxis für Sniper. Sieht seltsam aus, ermöglicht aber, mögliche Probleme schneller zu erkennen.

Lustig

Während wir all dies stillschweigend machten, kam ein Anbieter, der Technik für Rechenzentren produziert. Er sagte: Lassen Sie uns vorbei kommen und über Energieeffizienz sprechen. Sie kommen, fangen an, über den suboptimalen Raum und Luftströme zu reden. Wir nicken verständnisvoll. Denn wir haben das seit drei Jahren installiert.

Für jedes Rack werden drei Sensoren angebracht. Die Überwachungsbilder sind beeindruckend und ansprechend. Mehr als die Hälfte dieser Lösung liegt im Preis – die Software. Auf dem Niveau von „Alert in Zabbix“, aber proprietär und sehr teuer. Das Problem ist auch, dass sie Sensoren und Software haben, aber dann suchen sie einen lokalen Auftragnehmer: sie haben keine eigenen Anbieter für Cage-In.

Es stellt sich heraus, dass ihre Umsetzung fünf bis sieben Mal teurer ist als das, was wir gemacht haben.