🥇Wie wir uns in der Energieeffizienz des Maschinenraums verausgabt haben

Ich widme diesen Post den Menschen, die in Zertifikaten gelogen haben, weshalb wir kurz davor waren, bengalische Feuer in unseren Hallen zu installieren.

Die Geschichte ist über vier Jahre alt, aber ich veröffentliche sie jetzt, weil die NDA abgelaufen ist. Damals haben wir festgestellt, dass wir das Rechenzentrum (das wir mieten) fast vollständig ausgelastet haben, während die Energieeffizienz sich nicht wesentlich verbessert hatte. Früher war die Hypothese, dass je mehr wir es füllen, desto besser, weil die Ingenieurtechnik auf alle verteilt wird. Aber es stellte sich heraus, dass wir uns in dieser Hinsicht getäuscht hatten, und bei hoher Auslastung gab es überall Verluste. Wir arbeiteten in vielen Bereichen, aber unser mutiges Team kümmerte sich um die Kühlung.

Das echte Leben eines Rechenzentrums ist ein wenig anders als im Projekt. Ständige Anpassungen vom Betriebsteam zur Steigerung der Effizienz und Optimierung der Einstellungen für neue Aufgaben. Nehmen wir das mythische durchschnittliche Rack. In der Praxis gibt es so etwas nicht, die Lastverteilung ist ungleichmäßig, dort wo viel ist, ist woanders wenig. Daher mussten wir einige Einstellungen zur Verbesserung der Energieeffizienz überarbeiten.

Unser Rechenzentrum Kompressor ist für die verschiedensten Kunden gedacht. Deshalb kann es mitten zwischen gewöhnlichen zwei–vier Kilowatt-Racks auch ein ganz normales 23-Kilowatt-Rack oder mehr geben. Entsprechend wurden die Klimaanlagen darauf eingestellt, diese zu kühlen, und die Luft strömte einfach an den weniger leistungsstarken Racks vorbei.

Die zweite Hypothese war, dass warme und kalte Gänge sich nicht vermischen. Nach den Messungen kann ich sagen, dass das eine Illusion ist, und die echte Aerodynamik unterscheidet sich in fast jeder Hinsicht von dem Modell.

Untersuchung

Zuerst begannen wir, die Luftströme in den Hallen zu beobachten. Warum haben wir uns da hineingewagt? Weil wir verstanden, dass das Rechenzentrum auf fünf bis sechs kW pro Rack ausgelegt ist, aber wussten, dass die tatsächliche Last zwischen 0 und 25 kW liegt. Alles mit Platten zu regeln, ist fast unmöglich: Die ersten Messungen zeigten, dass sie fast gleich viel durchlässt. Und Platten für 25 kW gibt es überhaupt nicht, sie müssen nicht nur leer sein, sondern mit Flüssigkeitsvakuum.

Wir kauften ein Anemometer und begannen, die Strömungen zwischen und über den Racks zu messen. Man muss mit ihm nach GOST und einer Menge Standards arbeiten, die ohne Unterbrechung des Maschinenraums schwer umsetzbar sind. Uns interessierte nicht die Genauigkeit, sondern das sinnvolle Gesamtbild. Das heißt, wir haben ungefähr gemessen.

Von 100 Prozent der Luft, die aus den Racks entweicht, gelangen 60 Prozent in die Stützrahmen, der Rest geht vorbei. Das liegt daran, dass es schwere Stützrahmen mit 15–25 kW gibt, über die die Kühlung läuft.

Wir können die Klimaanlagen nicht einfach abschalten, da es an den warmen Stützrahmen in der Nähe der oberen Server zu warm werden würde. In diesem Moment erkennen wir, dass wir etwas isolieren müssen, damit die Luft nicht von Reihe zu Reihe springt und der Wärmeübergang im Block dennoch stattfindet.

Parallel dazu stellen wir uns die Frage, ob dies finanziell sinnvoll ist.

Mit Überraschung stellen wir fest, dass wir einen Überblick über den Energieverbrauch des Rechenzentrums haben, aber die Fan-Coils für einen konkreten Raum einfach nicht berechnen können. Das heißt, analytisch wäre es möglich, aber faktisch nicht. Und wir können die Einsparungen nicht einschätzen. Die Aufgabe wird immer interessanter. Wenn wir 10 % der Kühlleistung einsparen — wie viel Geld können wir dann für die Isolation zurücklegen? Wie rechnen wir das aus?

Wir sind zu den Automatisierern gegangen, die das Überwachungssystem optimierten. Danke an die Jungs: Alle Sensoren waren vorhanden, es musste nur zusätzlicher Code geschrieben werden. Sie haben die Chiller, USV-Anlagen und Beleuchtung separat dargestellt. Mit dem neuen Gerät konnten wir sehen, wie sich die Situation bei den Elementen des Systems verändert.

Experimente mit Vorhängen

Parallel beginnen wir Experimente mit Vorhängen (Abtrennungen). Wir entscheiden uns, sie an den Stangen der Kabelrinnen zu befestigen (mehr gibt es sowieso nicht), da sie leicht sein sollten. Mit den Dachbauten oder Riegeln haben wir uns schnell entschieden.

Das Problem ist, dass wir zuvor mit einer Vielzahl von Anbietern gearbeitet haben. Alle haben Lösungen für ihre eigenen Rechenzentren, aber für kommerzielle Rechenzentren gibt es praktisch keine fertigen Lösungen. Unsere Kunden kommen und gehen ständig. Wir sind eines der wenigen „schwereren“ Rechenzentren ohne Einschränkungen in der Rack-Breite mit der Möglichkeit, diese Hochleistungsserver bis zu 25 kW zu akzeptieren. Es gibt keine Planung der Infrastruktur im Voraus. Das heißt, wenn wir modulare Systemkäfige der Anbieter nehmen — wird es immer Löcher für zwei Monate geben. Das bedeutet, dass der Maschinenraum prinzipiell nie energieeffizient sein kann.

Wir haben beschlossen, es selbst zu machen, da wir eigene Ingenieure haben.

Zuerst haben wir die Bänder von industriellen Kühlschränken genommen. Es handelt sich um flexible Polyethylenstreifen, mit denen man richtig zupacken kann. Ihr habt sie wahrscheinlich irgendwo am Eingang zur Fleischabteilung der größten Supermärkte gesehen. Wir haben nach ungiftigen und nicht brennbaren Materialien gesucht. Wir haben welche gefunden, die wir in zwei Reihen gekauft haben. Wir haben sie aufgehängt und geschaut, was passiert.

Wir wussten, dass es nicht ganz einfach sein würde. Aber es kam insgesamt doch sehr, sehr schlecht heraus. Sie beginnen, sich wie Spaghetti in den Strömen zu entfalten. Wir fanden magnetische Bänder, wie die Kühlschrankmagnete. Wir klebten sie auf diese Streifen und zusammen, die Wand wurde einigermaßen massiv.

Wir begannen zu überlegen, was im Raum geschehen würde.

Wir gingen zu den Bauarbeitern und zeigten ihnen unser Projekt. Sie schauten uns an und sagten: "Eure Vorhänge sind irgendwie sehr schwer. 700 Kilogramm im gesamten Maschinenraum. Geht, sagen sie, gute Leute, zum Teufel. Genauer gesagt zu dem SKS-Team. Lasst sie zählen, wie viel Nudel in den Wannen ist, denn 120 kg pro Quadratmeter sind das Maximale."

Das SKS-Team sagt: "Erinnerst du dich, dass ein großer Kunde zu uns kam? Er hat Tausende von Anschlüssen in einem Raum. Am Rand des Maschinenraums ist es noch in Ordnung, aber näher am Kreuzungsbereich wird es nicht klappen: die Behälter werden abfallen."

Die Bauarbeiter forderten auch ein Zertifikat für das Material. Ich möchte erwähnen, dass wir vorher auf das ehrliche Wort des Lieferanten gesetzt hatten, da es sich nur um einen Testlauf handelte. Wir wandten uns an diesen Lieferanten und sagten: "OK, wir sind bereit, in die Beta-Phase zu gehen, lasst uns alle Unterlagen." Sie schickten uns etwas, das nicht wirklich Standard war.

Wir sagten: "Moment mal, wo habt ihr dieses Dokument her?" Sie antworteten: "Das hat uns unser chinesischer Hersteller als Antwort auf unsere Anfragen geschickt. Laut dem Dokument brennt das Zeug überhaupt nicht."

In diesem Moment verstanden wir, dass es Zeit war, innezuhalten und Fakten zu überprüfen. Wir gingen zu den Mädels aus der Brandschutzabteilung des Rechenzentrums, sie nannten uns ein Labor, das die Brennbarkeit überprüft. Die Kosten und der Zeitrahmen sind recht erträglich (aber wir haben alles verflucht, als wir die erforderliche Menge an Unterlagen zusammenstellten). Dort sagten die Wissenschaftler: "Bringt das Material mit, wir werden Tests durchführen."

Im Abschlussbericht stand, dass von einem Kilogramm Substanz etwa 50 Gramm Asche übrigbleiben. Der Rest brennt hell, läuft ab und unterstützt das Brennen in der Pfütze sehr gut.

Wir waren froh, dass wir nicht gekauft hatten. Wir begannen, nach einem anderen Material zu suchen.

Wir haben Polycarbonat gefunden. Es stellte sich als steifer heraus. Die transparente Platte ist zwei mm dick, die Türen sind aus vier mm dickem Material. Im Grunde genommen handelt es sich um Acrylglas. Zusammen mit dem Hersteller beginnen wir ein Gespräch über Brandschutz: Lassen Sie uns das Zertifikat sehen. Sie schicken es. Unterzeichnet von demselben Institut. Wir rufen dort an und fragen: Na, Jungs, habt ihr das getestet?

Sie sagen: Ja, das haben wir getestet. Zuerst haben wir es selbst verbrannt und erst dann zur Prüfung gebracht. Von einem Kilogramm Material bleiben (wenn man es mit einem Brenner verbrennt) etwa 930 Gramm Asche übrig. Es schmilzt und tropft, aber es wird keine Pfütze brennen.

Umgehend überprüfen wir unsere Magnete (sie haben eine polymere Unterlage). Überraschenderweise brennen sie schlecht.

Bau

Darauf basierend beginnen wir mit dem Zusammenbau. Polycarbonat ist hervorragend, da es leichter als Polyethylen ist und viel schlechter biegt. Allerdings werden Platten in den Größen 2,5 auf 3 Meter geliefert, und der Lieferant ist egal, was damit zu machen ist. Wir benötigen jedoch 2,8 m in einer Breite von 20-25 cm. Die Türen wurden zu Firmen geschickt, die die Platten nach Bedarf zuschneiden. Die Lamellen haben wir selbst geschnitten. Der Schneideprozess selbst kostet etwa doppelt so viel wie die Platte.

Das ist das Ergebnis:

Das Ergebnis ist, dass sich das Cage-System in weniger als einem Jahr amortisiert. Dadurch haben wir ständig 200–250 kWh an der Leistung der Fan-Coils gespart. Dazu kommt noch etwas an den Chiller, genau wissen wir es nicht. Die Server ziehen konstant Strom, während die Fan-Coils Luft blasen. Die Chiller schalten sich in einem Raster ein und aus: Es ist schwierig, die Daten zu extrahieren. Den Maschinenraum für Tests abzustellen, ist nicht möglich.

Wir freuen uns, dass es damals eine Regel gab, die besagte, dass in Modulen mit 5×5 Gestellen so platziert werden, dass ihr durchschnittlicher Verbrauch maximal sechs kWh beträgt. Also ist die Wärme nicht wie eine Insel konzentriert, sondern im Maschinenraum verteilt. Es gibt jedoch eine Situation, in der 10 Stück 15-kW-Stellen dicht beieinanderstehen, aber gegenüber ist ein kaltes Lager. Das gleicht sich aus.

Wo es kein Gestell gibt, ist eine Trennwand bis zum Boden erforderlich.

Außerdem haben einige unserer Kunden Gitter zur Isolation. Auch hier gab es einige Besonderheiten.

Die Lamellen wurden geschnitten, weil die Breite der Gestelle nicht festgelegt ist, die Häufigkeit des Rasters der Befestigungen jedoch definiert ist: drei bis vier cm, entweder nach rechts oder nach links, wird es immer geben. Wenn du einen Block von 600 unter dem Arbeitsplatz hast, wird er mit einer Wahrscheinlichkeit von 85 Prozent nicht stehen. Kurze und lange Lamellen koexistieren und werden verklebt. Manchmal schneiden wir die Lamellen in Form eines 'L' entlang der Konturen der Gestelle.

Sensoren

Bevor die Leistung der Fancoils verringert wurde, musste eine sehr präzise Temperaturüberwachung an verschiedenen Punkten im Raum eingerichtet werden, um unangenehme Überraschungen zu vermeiden. So entstanden drahtlose Sensoren. Bei den kabelgebundenen muss man für jede Reihe ein eigenes Gerät zur Kreuzung dieser Sensoren anbringen und manchmal auch Verlängerungskabel. Das verwandelt sich in eine Lichterkette. Sehr unpraktisch. Und wenn diese Kabel in die Racks der Kunden eindringen, reagieren die Sicherheitsbeauftragten sofort und verlangen eine Erklärung mit Zertifikat, was dort über diese Kabel abgelesen wird. Die Nerven der Sicherheitsbeauftragten müssen geschont werden. Drahtlose Sensoren scheinen sie aus irgendeinem Grund nicht zu stören.

Und außerdem kommen die Racks an und fahren wieder weg. Ein Sensor mit Magnet ist einfacher umzusetzen, weil man ihn jedes Mal höher oder niedriger aufhängen muss. Wenn die Server im unteren Drittel des Racks sind, muss man ihn unten anbringen und nicht nach dem Standard anderthalb Meter über dem Boden an der Tür des Racks im kalten Gang. Dort ist es nutzlos zu messen, man muss das messen, was im Metall ist.

Ein Sensor für drei Racks – meistens kann man es sich sparen, ihn aufzuhängen. Die Temperatur unterscheidet sich nicht. Man hatte Angst, dass eine Luftverlagerung durch die Racks selbst stattfindet, - ist aber nicht passiert. Trotzdem geben wir etwas mehr kalte Luft ab als die berechneten Werte. Wir haben Fenster in den Lamellen 3, 7 und 12 gemacht und über dem Rack machen wir ein Loch. Darin stellen wir beim Rundgang ein Anemometer auf: wir schauen, dass der Luftstrom dorthin geht, wo er hin soll.

Dann haben wir bunte Schnüre aufgehängt: eine alte Praxis für Scharfschützen. Sieht seltsam aus, ermöglicht aber eine schnellere Erkennung möglicher Probleme.

Witzig

Während wir all dies stillschweigend taten, kam ein Anbieter, der Technik für Rechenzentren herstellt. Er sagt: Lassen Sie uns kommen und über Energieeffizienz sprechen. Sie kamen, fingen an, über den suboptimalen Raum, über Luftströme zu reden. Wir nicken verständnisvoll. Denn wir haben das seit drei Jahren installiert.

Sie hängen für jedes Rack drei Sensoren auf. Die Überwachungsbilder sind beeindruckend, schön. Mehr als die Hälfte dieser Lösung ist im Preis – Software. Auf dem Niveau „Alert in Zabbix“, aber proprietär und sehr teuer. Das Problem ist zudem, dass sie Sensoren und Software haben, und danach suchen sie vor Ort einen Auftragnehmer: sie haben keine eigenen Anbieter für die Käfige.

Es stellt sich heraus, dass es von ihrer Seite fünf bis sieben Mal teurer ist, als wir es gemacht haben.